JP5641127B2 - 撮像装置と振れ補正方法 - Google Patents

Description

この発明は、撮像装置と振れ補正方法に関する。詳しくは、撮像素子の撮像領域を有効に利用して振れ補正を行えるようにする。

従来、銀塩カメラや固体撮像素子を用いた撮像装置では、手持ち撮影時の振れによる画像性能の劣化や画像変位を防ぐ方法として、種々の振れ補正技術が提案されている。

この振れ補正技術では、例えば角速度センサからのセンサ信号によって撮像装置の振れの検出や、撮像素子からの画像信号を用いて被写体像の動きから撮像装置の振れを検出することが行われている。また、必要な撮像範囲を示す抽出領域よりも広い撮像領域を持つ撮像素子を用いて、振れ検出結果に応じて移動させた抽出領域の画像を抽出して出力することで、撮像装置の振れが補正された画像信号を得ることが行われている（例えば特許文献１参照）。

特開平７−１７７４１９号公報

ところで、抽出領域よりも広い撮像領域（有効画素領域）を持つ撮像素子を用いれば、図１３の（Ａ）に示すように、抽出領域に対して垂直方向や水平方向に余剰領域を設けることができる。また、抽出領域よりも広い撮像領域を持つ撮像素子を用いて余剰領域を確保するだけでなく、画素信号の読み出しを行う抽出領域を小さくすることで余剰領域を確保することもできる。例えば図１３の（Ｂ）に示すように、抽出領域を小さくすることで垂直方向や水平方向の余剰領域を設けることができる。このように、垂直方向や水平方向に余剰領域を設ける場合、図１３の（Ｃ）に示す光軸回りの振れを補正するためには、余剰領域を広くしなければならない。

ここで、抽出領域よりも撮像素子の撮像領域を広くして余剰領域を設ける場合、余剰領域は振れ補正が行われる場合にのみ利用される。したがって、余剰領域を広くすると振れ補正が行われた画像の生成で利用される領域が少なくなり撮像素子が有効に活用されなくなってしまう。また、抽出領域を小さくして余剰領域を設ける場合、光軸回りの振れ補正では、垂直方向や水平方向の振れの補正に比べて広い余剰領域が必要となることから、抽出領域が小さくなる。このため、抽出領域の画像を表示画像のサイズに拡大したとき、画質等が劣化した画像となってしまう。

そこで、この発明では、撮像素子の撮像領域を有効に利用して振れ補正を行うことができる撮像装置と振れ補正方法を提供する。

この発明の第１の側面は、撮像光学系により形成された光学像を光電変換して撮像画像の画像信号を生成する撮像部と、前記撮像光学系の光軸に対する回転方向の振れを検出する振れ検出部と、前記振れ検出部で検出された前記回転方向の振れに基づいて、該振れを補正するための振れ補正量を設定する補正量設定部と、前記撮像画像に対して前記撮像光学系で生じた歪曲収差の補正を行い補正前よりも画像領域の広い補正画像を得る処理と、前記補正画像に対して前記振れ補正量に応じて抽出領域を回転方向に移動する処理と、前記補正画像から前記抽出領域の画像を抽出する処理を行う補正処理部とを備える撮像装置にある。

この発明においては、撮像光学系により形成された光学像の光電変換を行うことで撮像画像の画像信号が生成される。また、振れ検出センサを用いて、あるいは時間順の複数の撮像画像を用いた動きベクトル検出によって、撮像光学系の光軸を中心とした回転方向の振れ、または、光軸を中心とした回転方向の振れと光軸に対して直交する軸を中心とした回転方向の振れが検出されて、検出された振れに基づいて、この振れを補正するための振れ補正量が設定される。さらに、撮像画像に対して前記撮像光学系で生じた歪曲収差の補正を行い補正前よりも画像領域の広い補正画像を得る処理と、補正画像に対して振れ補正量に応じて抽出領域を回転方向に移動する処理が行われて、この抽出領域の画像を抽出することで、振れを補正した画像の画像信号が得られる。例えば、歪曲収差の補正を行うための歪曲収差補正データを用いて、撮像画像の画像信号から画像の四隅を中心から外側方向に引き延ばして補正前よりも画像領域の広い樽型歪曲収差の補正画像の画像信号が生成される。また、樽型歪曲収差の補正が行われた画像信号から振れ補正量に応じて移動された抽出領域の画像信号が抽出される。あるいは、歪曲収差の補正を行うための歪曲収差補正データと振れ補正量を用いて撮像画像に対する座標変換が行われて、座標変換後の画像における所定の座標範囲を移動後の抽出領域とされる。

この発明の第２の側面は、振れ検出部で撮像光学系の光軸を中心とした回転方向の振れを検出するステップと、補正量設定部で、検出された前記回転方向の振れに基づいて、該振れを補正するための振れ補正量を設定するステップと、補正処理部で、撮像画像に対して前記撮像光学系で生じた歪曲収差の補正を行い補正前よりも画像領域の広い補正画像を得る処理と、前記補正画像に対して前記振れ補正量に応じて抽出領域を回転方向に移動する処理と、前記補正画像から前記抽出領域の画像を抽出する処理を行うステップとを有する振れ補正方法にある。

この発明によれば、撮像光学系により形成された光学像を光電変換して得られた撮像画像に対して撮像光学系で生じた歪曲収差の補正を行い補正前よりも画像領域の広い補正画像を得る処理と、補正画像に対して振れ補正量に応じて抽出領域を回転方向に移動する処理と、補正画像から前記抽出領域の画像を抽出する処理が行われる。

このように、補正前よりも画像領域の広い補正画像から、振れ補正量に応じて移動させた抽出領域の画像を抽出することで、振れを補正した画像の画像信号を得ることができるので、撮像素子に余剰領域が設けられていなくとも、または撮像素子に広い余剰領域を設けなくとも、振れ補正を行うことが可能となり、撮像素子の撮像領域を有効に利用して振れ補正を行うことができる。

第１の実施の形態の構成を示す機能ブロック図である。 被写体画像と歪曲収差補正前後の撮像画像を例示した図である。 歪曲収差補正動作を説明するための図である。 光軸回転振れ補正部の動作を説明するための図である。 光軸回転振れ補正部の動作を説明するための図である。 第２の実施の形態の構成を示す機能ブロック図である。 ２軸回転振れ補正部の動作を説明するための図である。 第３の実施の形態の構成を示す機能ブロック図である。 第４の実施の形態の構成を示す機能ブロック図である。 補正処理部の動作を示すフローチャートである。 補正処理部の動作を説明するための図である。 補正処理部の他の動作を説明するための図である。 従来の振れ補正動作を示す図である。

以下、発明を実施するための形態について説明する。この発明では、撮像光学系により形成された光学像を光電変換して撮像画像の画像信号を撮像部で生成する。また、振れ検出部で振れを検出する。この検出された振れに基づいて、該振れを補正するための振れ補正量を補正量設定部で設定する。補正処理部は、撮像画像に対して撮像光学系で生じた歪曲収差の補正と、振れ補正量に応じて歪曲収差の補正が行われた画像に対する抽出領域の移動と、抽出領域の画像の抽出を行い、歪曲収差の補正によって生じた余剰領域を利用して振れを補正するように抽出領域を移動する。さらに、抽出領域の画像の抽出することで、振れ補正が行われた画像信号を生成する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態

＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、第１の実施の形態の構成を示す機能ブロック図である。撮像装置１０ａは、撮像光学系１１、撮像部１２、信号処理部１３ａ、光軸回転振れ検出部１４、記録再生処理部１６、ユーザーインタフェース（ユーザーＩ／Ｆ）部１７、制御部１８ａを有している。

撮像光学系１１は、ズームユニット１１１、フォーカスユニット１１２、絞りユニット１１３、ユニット駆動部１１４等で構成されている。ズームユニット１１１は、ズームレンズを用いて構成されている。ズームユニット１１１は、ズームレンズを光軸方向に移動して焦点距離を可変する。すなわち、ズーム機能を実現する。フォーカスユニット１１２はフォーカスレンズを用いて構成されている。フォーカスユニット１１２は、フォーカスレンズを光軸方向に移動して、フォーカス調整を行う。絞りユニット１１３は、アイリスを用いて構成されている。絞りユニット１１３は、アイリスの開口量を可変させて光量調整を行う。

撮像部１２は、撮像素子１２１、前処理部１２２、駆動部１２３等で構成されている。撮像素子１２１は、光電変換処理を行い、撮像光学系１１によって撮像面に結像された光学像を電気信号に変換する。撮像素子１２１は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。

前処理部１２２は、撮像素子１２１で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理を行う。また、前処理部１２２は、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、前処理部１２２は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して出力する。

駆動部１２３は、撮像素子１２１を駆動するために必要な動作パルス等の生成を行う。例えば、電荷を読み出すための電荷読出パルス、垂直方向や水平方向の転送を行うための転送パルス、電子シャッター動作を行うためのシャッターパルス等の生成を行う。

信号処理部１３ａは、画像処理部１３１、歪曲収差補正部１３２、光軸回転振れ補正部１３３等で構成されている。

画像処理部１３１は、撮像部１２から出力されたディジタルの画像信号に対してカメラプロセス処理等を行う。画像処理部１３１は、例えば画像信号に対してガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行う。

歪曲収差補正部１３２は、撮像光学系１１で生じる歪曲収差の補正を行う。歪曲収差補正部１３２は、歪曲収差量に基づいた歪曲補正データを用いて、歪曲成分を含んだ画像信号の各画素の座標を補正後の座標に変換して、歪曲収差が除去または軽減された画像の画像信号を生成する。また、歪曲収差補正部１３２は、ズームレンズの位置によって、歪曲収差量が変動するとき、撮像光学系１１からズームレンズの位置を示す位置情報を取得して、この位置情報に応じて歪曲補正データの切り換えを行う。歪曲収差補正部１３２は、歪曲収差が除去または軽減された画像の画像信号を光軸回転振れ補正部１３３に出力する。なお、ズームレンズの位置に応じた歪曲補正データは、後述する制御部１８ａから歪曲収差補正部１３２に供給するようにしてもよい。

光軸回転振れ補正部１３３は、歪曲収差補正が行われた画像から抽出領域の画像の抽出を行う。また、光軸回転振れ補正部１３３は、後述する制御部１８ａから通知された振れ補正量（補正角度）に応じて抽出領域を移動（回転）する。このように、抽出領域を回転させて、光軸回りの振れが生じても静止している被写体が画面上で一定位置となるように、歪曲収差補正が行われた画像から画像の抽出を行い、光軸周りの振れが補正された画像の画像信号を生成する。光軸回転振れ補正部１３３は、回転振れ補正後の画像信号を記録再生処理部１６や外部機器に出力する。

光軸回転振れ検出部１４は、光軸回りの振れを検出して、検出結果を制御部１８ａに出力する。光軸回転振れ検出部１４は、例えば角速度センサ１４１や検出信号処理部１４２を有している。角速度センサ１４１は、光軸を中心とした回転方向の振れに応じた検出信号を生成して、検出信号処理部１４２に出力する。検出信号処理部１４２は、検出信号に対してノイズ除去処理やゲイン調整、直流成分除去処理、Ａ／Ｄ変換処理等を行い、処理後の検出信号を制御部１８ａに出力する。

記録再生処理部１６は、光軸回転振れ補正部１３３から出力された画像信号を記録媒体に記録する。また、記録媒体に記録されている画像信号を読み出して、外部機器に出力する。記録媒体としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤや半導体メモリモジュール等であってもよい。また、記録再生処理部１６に、エンコーダやデコーダを設けて画像信号の圧縮符号化や伸張復号化を行い、記録媒体には符号化信号を記録するようにしてもよい。

ユーザーインタフェース部１７は、操作スイッチや操作ボタン等で構成されている。ユーザーインタフェース部１７は、ユーザー操作に応じた操作信号を生成して制御部１８ａに出力する。

制御部１８ａは、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、上述のように、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の設定パラメータ等の情報や補正データ等を記憶する。

制御部１８ａは、ユーザーインタフェース部１７からの操作信号等に応じて各部の制御を行い、ユーザー操作に応じた動作を撮像装置１０ａで行わせる。

また、制御部１８ａは、振れ補正を行うとき補正量設定部として動作する。制御部１８ａは、光軸回転振れ検出部１４から出力された検出信号に基づき振れ補正量（補正角度）を設定して、光軸回転振れ補正部１３３に通知する。例えば、光軸回転振れ検出部１４で角速度センサ１４１が用いられている場合、制御部１８ａは、光軸回転振れ検出部１４からの検出信号を積分することで振れ角度を算出する。さらに、制御部１８ａは、振れ角度を補正する補正角度を設定して、設定した補正角度を光軸回転振れ補正部１３３に通知する。また、手持ち撮影時の回転振れでは、振れの周波数が高くないことから、制御部１８ａは、検出信号に対して手振れの周波数成分のみを通過させるフィルタ処理を行う。このようなフィルタ処理を行うことで、制御部１８ａは、光軸周りの振れを精度よく算出できるようになる。なお、制御部１８ａは、上述のようにズームレンズの位置に応じた歪曲補正データを歪曲収差補正部１３２に出力してもよい。

［撮像装置の動作］
撮像装置１０ａで撮像動作が行われて撮像部１２から画像信号が信号処理部１３ａに供給されると、信号処理部１３ａの画像処理部１３１は、画像信号に対してカメラプロセス処理等を行い、処理後の画像信号を歪曲収差補正部１３２に出力する。歪曲収差補正部１３２は、画像処理部１３１から供給された画像信号を用いて歪曲収差の補正を行う。

レンズの周縁部では、レンズの光収差の影響で画像の歪曲という現状が生じる。この歪曲収差は、撮像光学系１１のレンズによって決まり、レンズの光軸から離れた位置の画像の縮小等を発生する。すなわち、レンズの光軸を中心とした同心円状に歪曲が発生する。図２は、被写体画像と歪曲収差補正前後の撮像画像を例示している。例えば、図２の（Ａ）に示す被写体ＯＢを撮像したとき、撮像光学系１１の光収差の影響で、撮像素子１２１の撮像面上に結像される画像は、図２の（Ｂ）に示すように樽型歪曲収差が発生した画像となる。

歪曲収差補正部１３２は、歪曲収差量に基づいた歪曲補正データを用いて、歪曲成分を含んだ画像信号の各画素の座標を補正後の座標に変換して、歪曲収差が除去または軽減された画像の画像信号を生成する。図３は、歪曲収差補正動作を説明するための図である。歪曲収差補正部１３２は、例えば撮像領域（有効画素領域）の座標（Ｘa，Ｙb）に対して、歪曲収差量に基づいた歪曲補正データを乗算して、座標（Ｘa，Ｙb）の画素を座標（Ｘc，Ｙd）に変換する。歪曲収差は、レンズの光軸を中心とした同心円状に歪曲が生じる。したがって、歪曲補正データは、光軸からの距離に応じて異なる値を示す。また、ズームレンズの位置に応じて歪曲収差が変化するときは、ズームレンズの位置に対応した歪曲補正データを用いて補正を行う。このように、樽型歪曲収差の補正を行うと、撮像領域は、補正図２の（Ｃ）および図３に示すように画像の四隅を画像の中心から外側方向に引き延ばした糸巻き状の画像領域となる。

光軸回転振れ補正部１３３は、歪曲収差補正が行われた画像から抽出領域の画像を抽出する。図４と図５は、光軸回転振れ補正部１３３の動作を示している。光軸回転振れ補正部１３３は、制御部１８ａから振れ補正量（補正角度）が通知されていないとき、あるいは補正角度が「０」であるとき、歪曲収差補正が行われた画像から、図４に示すように、光軸の位置が画像の中心となるように抽出領域を設定して、抽出領域の画像を抽出する。このように、歪曲収差補正が行われた画像を用いると、歪曲収差補正が行われた画像は、歪曲収差補正によって歪曲収差補正前の領域サイズよりも領域サイズが拡大された画像であることから、抽出領域の外側に余剰領域が設けられている状態となる。

撮像装置１０ａで回転振れが生じたとき、光軸回転振れ検出部１４は、光軸回りの振れに応じた検出信号を生成して制御部１８ａに出力する。制御部１８ａは、光軸回転振れ検出部１４からの検出信号に基づき補正角度を算出して光軸回転振れ補正部１３３に通知する。

光軸回転振れ補正部１３３は、制御部１８ａから振れ補正量（補正角度）が通知された補正角度が「０」でないとき、歪曲収差補正が行われた画像から、図５の（Ａ）に示すように、光軸の位置が画像の中心となるように設定された抽出領域を、光軸の位置を中心として補正角度だけ回転させる。さらに回転後の抽出領域から画像の抽出を行う。ここで、歪曲収差の補正後の画像は、四隅が画像の中心から外側方向に引き延ばした糸巻き状とされているので、四隅における余剰領域が広くなっている。光軸回転振れ補正部１３３は、歪曲収差の補正後の画像から抽出領域の画像を抽出するとき、より大きな補正角度に対応することができるようになる。なお、図５の（Ｂ）は、抽出領域よりも撮像領域が広い撮像素子を用いることで余剰領域を確保する従来の場合を参考として示している。この場合、抽出領域の例えば上側ではいずれの位置でも余剰領域の幅が等しい。同様に、抽出領域の下側や抽出領域の左右ではいずれの位置でも余剰領域の幅が等しい。したがって、抽出領域を上下左右方向に移動して振れ補正を行うときには、余剰領域を有効に活用できる。しかし、抽出領域を回転させるときには、抽出領域の四隅の上下方向や左右方向の移動量が余剰領域の幅で規制されてしまう。したがって、歪曲収差の補正後の画像を用いた場合のように、余剰領域を有効に活用して回転振れの補正を行うことができない。

このように、歪曲収差の補正後の画像を用いて回転振れの補正を行うことで、抽出領域を小さくしたり、抽出領域よりも撮像領域の広い撮像素子を用いることなく、回転方向の振れの補正を行うことが可能となる。したがって、撮像素子の撮像領域を有効に利用して振れ補正を行うことができる。また、抽出領域よりも撮像領域の広い撮像素子を用いた場合、従来に比べてより大きな回転方向の振れを補正できる。

＜２．第２の実施の形態＞
第１の実施の形態では、光軸回りの振れ補正動作について説明したが、歪曲収差の補正後の画像を用いた振れ補正は、光軸回りの振れに限られるものではなく、水平方向や垂直方向の振れを補正することもできる。次に、第２の実施の形態として、歪曲収差の補正後の画像を用いて水平方向や垂直方向の振れ補正について説明する。

［撮像装置の構成］
図６は、第２の実施の形態の構成を示す機能ブロック図である。撮像装置１０ｂは、撮像光学系１１、撮像部１２、信号処理部１３ｂ、２軸回転振れ検出部１５、記録再生処理部１６、ユーザーインタフェース部１７，制御部１８ｂを有している。

撮像光学系１１は、ズームユニット１１１、フォーカスユニット１１２、絞りユニット１１３、ユニット駆動部１１４等で構成されている。ズームユニット１１１は、ズームレンズを用いて構成されている。ズームユニット１１１は、ズームレンズを光軸方向に移動して焦点距離を可変する。フォーカスユニット１１２はフォーカスレンズを用いて構成されている。フォーカスユニット１１２は、フォーカスレンズを光軸方向に移動して、フォーカス調整を行う。絞りユニット１１３は、アイリスを用いて構成されている。絞りユニット１１３は、アイリスの開口量を可変させて光量調整を行う。

撮像部１２は、撮像素子１２１、前処理部１２２、駆動部１２３等で構成されている。撮像素子１２１は、光電変換処理を行い、撮像光学系１１によって撮像面に結像された光学像を電気信号に変換する。撮像素子１２１は、ＣＣＤイメージセンサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。

前処理部１２２は、撮像素子１２１で生成された電気信号に対してＣＤＳ等のノイズ除去処理を行う。また、前処理部１２２は、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、前処理部１２２は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して出力する。

駆動部１２３は、撮像素子１２１を駆動するために必要な動作パルス等の生成を行う。例えば、電荷を読み出すための電荷読出パルス、垂直方向や水平方向の転送を行うための転送パルス、電子シャッター動作を行うためのシャッターパルス等の生成を行う。

信号処理部１３ｂは、画像処理部１３１、歪曲収差補正部１３２、２軸回転振れ補正部１３４等で構成されている。

画像処理部１３１は、撮像部１２から出力されたディジタルの画像信号に対してカメラプロセス処理等を行う。画像処理部１３１は、例えば画像信号に対してガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行う。

歪曲収差補正部１３２は、撮像光学系１１で生じる歪曲収差の補正を行う。歪曲収差補正部１３２は、歪曲収差量に基づいた歪曲補正データを用いて、歪曲成分を含んだ画像信号の各画素の座標を補正後の座標に変換して、歪曲収差が除去または軽減された画像の画像信号を生成する。また、歪曲収差補正部１３２は、ズームレンズの位置によって、歪曲収差量が変動するとき、撮像光学系１１からズームレンズの位置を示す位置情報を取得して、この位置情報に応じて歪曲補正データの切り換えを行う。歪曲収差補正部１３２は、歪曲収差が除去または軽減された画像の画像信号を２軸回転振れ補正部１３４に出力する。なお、ズームレンズの位置に応じた歪曲補正データは、後述する制御部１８ｂから歪曲収差補正部１３２に供給するようにしてもよい。

２軸回転振れ補正部１３４は、歪曲収差補正が行われた画像から抽出領域の画像の抽出を行う。また、２軸回転振れ補正部１３４は、後述する制御部１８ｂから通知された振れ補正量（補正移動量）に応じて抽出領域を移動させる。このように、抽出領域を移動させて、２軸回りの振れが生じても静止している被写体が画面上で一定位置となるように歪曲収差補正が行われた画像から画像の抽出を行い、振れが補正された画像の画像信号を生成する。２軸回転振れ補正部１３４は、振れ補正後の画像信号を記録再生処理部１６や外部機器に出力する。

２軸回転振れ検出部１５は、光軸と直交した２つの軸回りの振れを検出して、検出結果を制御部１８ｂに出力する。２軸回転振れ検出部１５は、例えば角速度センサ１５１や検出信号処理部１５２を有している。角速度センサ１５１は、光軸と直交した２軸回りの振れに応じた検出信号を生成する。例えば、角速度センサ１５１は、光軸と直交した垂直軸と水平軸の２つの軸について、それぞれの軸を中心とした回転振れに応じた検出信号を生成する。すなわち、垂直軸を中心とした回転振れはパン方向の振れに相当する。また、水平軸を中心とした回転振れはチルト方向の振れに相当する。したがって、垂直軸と水平軸を中心としたそれぞれの回転振れに応じて検出信号を生成したとき、検出信号はパン・チルト方向の振れを示す信号となる。角速度センサ１５１は、生成した検出信号を検出信号処理部１５２に出力する。

検出信号処理部１５２は、検出信号に対してノイズ除去処理やゲイン調整、直流成分除去処理、Ａ／Ｄ変換処理等を行い、処理後の検出信号を制御部１８ｂに出力する。

記録再生処理部１６は、２軸回転振れ補正部１３４から出力された画像信号を記録媒体に記録する。また、記録媒体に記録されている画像信号を読み出して、外部機器に出力する。記録媒体としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤや半導体メモリモジュール等であってもよい。また、記録再生処理部１６に、エンコーダやデコーダを設けて画像信号の圧縮符号化や伸張復号化を行い、記録媒体には符号化信号を記録するようにしてもよい。

ユーザーインタフェース部１７は、操作スイッチや操作ボタン等で構成されている。ユーザーインタフェース部１７は、ユーザー操作に応じた操作信号を生成して制御部１８ｂに出力する。

制御部１８ｂは、ユーザーインタフェース部１７からの操作信号等に応じて各部の制御を行い、ユーザー操作に応じた動作を撮像装置１０ｂで行わせる。

また、制御部１８ｂは、振れ補正を行うとき補正量設定部として動作する。制御部１８ｂは、２軸回転振れ検出部１５から出力された検出信号に基づき振れ補正量（補正移動量）を設定して、設定した振れ補正量を２軸回転振れ補正部１３４に通知する。例えば２軸回転振れ検出部１５で角速度センサ１５１が用いられている場合、制御部１８ｂは、検出信号を積分することでパン方向やチルト方向の振れ角度を算出できる。したがって、制御部１８ｂは、振れ角度を補正するように振れ補正量（補正移動量）を設定して２軸回転振れ補正部１３４に通知する。また、手持ち撮影時の振れでは、振れの周波数が高くならないことから、制御部１８ｂは、検出信号に対して手振れの周波数成分のみを通過させるフィルタ処理を行う。このようなフィルタ処理を行うことで、制御部１８ｂはパン方向やチルト方向の振れを精度よく算出できるようになる。なお、制御部１８ｂは、上述のようにズームレンズの位置に応じた歪曲補正データを歪曲収差補正部１３２に出力してもよい。

［撮像装置の動作］
撮像装置１０ｂで撮像動作が行われて撮像部１２から画像信号が信号処理部１３ｂに供給されると、信号処理部１３ｂの画像処理部１３１は、画像信号に対してカメラプロセス処理等を行い、処理後の画像信号を歪曲収差補正部１３２に出力する。歪曲収差補正部１３２は、画像処理部１３１から供給された画像信号を用いて歪曲収差の補正を行う。

歪曲収差は、撮像光学系１１のレンズによって決まり、レンズの光軸から離れた位置の画像が縮小される等の歪曲が発生する。すなわち、第１の実施の形態で説明したように、レンズの光軸を中心とした同心円状に歪曲が発生する。

歪曲収差補正部１３２は、歪曲収差量に基づいた歪曲補正データを用いて、歪曲成分を含んだ画像信号の各画素の座標を補正後の座標に変換して、歪曲収差が除去または軽減された画像の画像信号を生成する。

２軸回転振れ補正部１３４は、歪曲収差補正が行われた画像から抽出領域の画像の抽出を行う。２軸回転振れ補正部１３４は、制御部１８ｂから振れ補正量（補正移動量）が通知されていないとき、あるいは振れ補正量が「０」であるとき、歪曲収差補正が行われた画像から、図４に示すように、光軸の位置が画像の中心となるように抽出領域を設定して、抽出領域の画像を抽出する。このように、歪曲収差補正が行われた画像を用いると、歪曲収差補正が行われた画像は、歪曲収差補正によって抽出領域の領域サイズよりも領域サイズが拡大された画像であることから、抽出領域の外側に余剰領域が設けられている状態となる。

撮像装置１０ｂでパン方向やチルト方向の振れが生じたとき、２軸回転振れ検出部１５は、パン方向やチルト方向の振れに応じた検出信号を生成して制御部１８ｂに出力する。制御部１８ｂは、２軸回転振れ検出部１５からの検出信号に基づき振れ補正量（補正移動量）を設定して２軸回転振れ補正部１３４に通知する。

２軸回転振れ補正部１３４は、制御部１８ｂから振れ補正量（補正移動量）が通知された振れ補正量が「０」でないとき、歪曲収差補正が行われた画像から、図７に示すように、抽出領域を振れ補正量だけ移動させる。さらに移動後の抽出領域から画像の抽出を行う。ここで、歪曲収差の補正後の画像は、四隅が画像の中心から外側方向に引き延ばした糸巻き状とされているので、四隅における余剰領域が広くなっている。２軸回転振れ補正部１３４は、歪曲収差の補正後の画像から、振れ補正量だけ移動した抽出領域の画像の抽出を行う。

このように、歪曲収差の補正後の画像を用いて２軸回転振れの補正を行うことで、抽出領域を小さくしたり、抽出領域よりも撮像領域の広い撮像素子を用いることなく、パン方向やチルト方向の振れの補正を行うことが可能となる。したがって、撮像素子の撮像領域を有効に利用して振れ補正を行うことができる。また、抽出領域よりも撮像領域の広い撮像素子を用いた場合、従来に比べてより大きなパン方向やチルト方向の振れの補正を行うことができる。なお、図７において、一点鎖線で示す領域は、２軸回転振れに応じて移動される抽出領域の移動範囲を示しており、抽出領域を一点鎖線で示す領域内で移動させて２軸回転振れの補正が行われる。

＜３．第３の実施の形態＞
第１および第２の実施の形態では、角速度センサを用いて光軸回りや２軸回りの振れを検出する場合について説明したが、撮像画像から光軸回りや２軸回りの振れを検出してもよい。次に、第３の実施の形態として、撮像画像から振れを検出して、検出された振れの補正を歪曲収差の補正後の画像を用いて行う場合について説明する。

［撮像装置の構成］
図８は、第３の実施の形態の構成を示す機能ブロック図である。撮像装置１０ｃは、撮像光学系１１、撮像部１２、信号処理部１３ｃ、記録再生処理部１６、ユーザーインタフェース部１７、制御部１８ｃを有している。

撮像光学系１１は、ズームユニット１１１、フォーカスユニット１１２、絞りユニット１１３、ユニット駆動部１１４等で構成されている。ズームユニット１１１は、ズームレンズを用いて構成されている。ズームユニット１１１は、ズームレンズを光軸方向に移動して焦点距離を可変する。フォーカスユニット１１２はフォーカスレンズを用いて構成されている。フォーカスユニット１１２は、フォーカスレンズを光軸方向に移動して、フォーカス調整を行う。絞りユニット１１３は、アイリスを用いて構成されている。絞りユニット１１３は、アイリスの開口量を可変させて光量調整を行う。

撮像部１２は、撮像素子１２１、前処理部１２２、駆動部１２３等で構成されている。撮像素子１２１は、光電変換処理を行い、撮像光学系１１によって撮像面に結像された光学像を電気信号に変換する。撮像素子１２１は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ等が用いられる。

前処理部１２２は、撮像素子１２１で生成された電気信号に対してＣＤＳ等のノイズ除去処理を行う。また、前処理部１２２は、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、前処理部１２２は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して出力する。

駆動部１２３は、撮像素子１２１を駆動するために必要な動作パルス等の生成を行う。例えば、電荷を読み出すための電荷読出パルス、垂直方向や水平方向の転送を行うための転送パルス、電子シャッター動作を行うためのシャッターパルス等の生成を行う。

信号処理部１３ｃは、画像処理部１３１、歪曲収差補正部１３２、振れ検出部１３５、振れ補正部１３６等で構成されている。

画像処理部１３１は、撮像部１２から出力されたディジタルの画像信号に対してカメラプロセス処理等を行う。画像処理部１３１は、例えば画像信号に対してガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行う。

歪曲収差補正部１３２は、撮像光学系１１で生じる歪曲収差の補正を行う。歪曲収差補正部１３２は、歪曲収差量に基づいた歪曲補正データを用いて、歪曲成分を含んだ画像信号の各画素の座標を補正後の座標に変換して、歪曲収差が除去または軽減された画像の画像信号を生成する。また、歪曲収差補正部１３２は、ズームレンズの位置によって、歪曲収差量が変動するとき、撮像光学系１１からズームレンズの位置を示す位置情報を取得して、この位置情報に応じて歪曲補正データの切り換えを行う。歪曲収差補正部１３２は、歪曲収差が除去または軽減された画像の画像信号を振れ検出部１３５と振れ補正部１３６に出力する。なお、ズームレンズの位置に応じた歪曲補正データは、後述する制御部１８ｃから歪曲収差補正部１３２に供給するようにしてもよい。

振れ検出部１３５は、歪曲収差補正部１３２からの画像信号に基づき、時間順の複数の画像から、振れによって生じた画像の動きベクトルを検出する動きベクトル検出部を備えている。動きベクトル検出部では、例えば代表点マッチング法を用いて画像の動きベクトルを算出する。代表点マッチング法は、時刻の異なる撮像画像の画像信号において、第２の時刻の画像信号のうち、第１の時刻の画像信号におけるある代表点の輝度レベルに最も近い輝度レベルの画素を検出することにより動きベクトルを検出する方法である。なお、動きベクトルの算出は、代表点マッチング法だけでなく他の方法を用いるようにしてもよい。

振れ補正部１３６は、歪曲収差補正が行われた画像から抽出領域の画像の抽出を行う。さらに、振れ補正部１３６は、後述する制御部１８ｃから通知された振れ補正量（補正移動量および／または補正角度）に応じて抽出領域を移動および／または回転させる。このように、抽出領域を移動および／または回転させることで、手振れが生じても静止している被写体が画面上で一定位置となるように歪曲収差補正が行われた画像から画像の抽出を行う。振れ補正部１３６は、振れ補正後の画像信号を記録再生処理部１６や外部機器に出力する。

ユーザーインタフェース部１７は、操作スイッチや操作ボタン等で構成されている。ユーザーインタフェース部１７は、ユーザー操作に応じた操作信号を生成して制御部１８ｃに出力する。

制御部１８ｃは、ユーザーインタフェース部１７からの操作信号等に応じて各部の制御を行い、ユーザー操作に応じた動作を撮像装置１０ｃで行わせる。また、制御部１８ｃは、振れ補正を行うとき補正量設定部として動作する。制御部１８ｃは、振れ検出部１３５で検出された動きベクトルに基づき、振れ補正量を設定して、設定した振れ補正量を振れ補正部１３６に通知する。なお、制御部１８ｃは、上述のようにズームレンズの位置に応じた歪曲補正データを歪曲収差補正部１３２に出力してもよい。

［撮像装置の動作］
撮像装置１０ｃで撮像動作が行われて撮像部１２から画像信号が信号処理部１３ｃに供給されると、信号処理部１３ｃの画像処理部１３１は、画像信号に対してカメラプロセス処理等を行い、処理後の画像信号を歪曲収差補正部１３２に出力する。歪曲収差補正部１３２は、画像処理部１３１から供給された画像信号を用いて歪曲収差の補正を行う。

歪曲収差は、撮像光学系１１のレンズによって決まり、レンズの光軸から離れた位置の画像が縮小される等の歪曲が発生する。すなわち、第１の実施の形態で説明したように、レンズの光軸を中心とした同心円状に歪曲が発生する。

歪曲収差補正部１３２は、歪曲収差量に基づいた歪曲補正データを用いて、歪曲成分を含んだ画像信号の各画素の座標を補正後の座標に変換して、歪曲収差が除去または軽減された画像の画像信号を生成する。

振れ検出部１３５は、歪曲収差補正部１３２からの画像信号を基にして、画像の動きベクトルを検出して制御部１８ｃに出力する。制御部１８ｃは、動きベクトルを積分して振れ量の判別を行い、判別した振れの補正を行うるための振れ補正量を算出して振れ補正部１３６に出力する。

振れ補正部１３６は、歪曲収差補正が行われた画像から抽出領域の画像の抽出を行う。振れ補正部１３６は、制御部１８ｃから振れ補正量が通知されていないとき、あるいは振れ補正量が「０」であるとき、歪曲収差補正が行われた画像から、図４に示すように、光軸の位置が画像の中心となるように抽出領域を設定して、抽出領域の画像を抽出する。このように、歪曲収差補正が行われた画像を用いると、歪曲収差補正が行われた画像は、歪曲収差補正によって抽出領域の領域サイズよりも領域サイズが拡大された画像であることから、抽出領域の外側に余剰領域が設けられている状態となる。

撮像装置１０ｃでパン方向やチルト方向や光軸を中心とした回転方向の振れが生じたとき、振れ検出部１３５は、パン方向やチルト方向や光軸を中心とした回転方向の振れを示す動きベクトルを生成して制御部１８ｃに出力する。制御部１８ｃは、振れ検出部１３５からの動きベクトルに基づき振れ補正量を設定して振れ補正部１３６に通知する。

振れ補正部１３６は、制御部１８ｃから振れ補正量が通知された振れ補正量が「０」でないとき、歪曲収差補正が行われた画像から、図７に示すように、抽出領域を振れ補正量だけ移動させる。さらに移動後の抽出領域から画像の抽出を行う。ここで、歪曲収差の補正後の画像は、四隅が画像の中心から外側方向に引き延ばした糸巻き状とされているので、四隅における余剰領域が広くなっている。振れ補正部１３６は、歪曲収差の補正後の画像から、振れ補正量だけ移動した抽出領域の画像の抽出を行う。

このように、歪曲収差の補正後の画像を用いて振れの補正を行うことで、撮像素子を効率よく活用して振れ補正を行うことが可能となる。
このように、歪曲収差の補正後の画像を用いて回転振れの補正を行うことで、抽出領域を小さくしたり、抽出領域よりも撮像領域の広い撮像素子を用いることなく、振れの補正を行うことが可能となる。したがって、撮像素子の撮像領域を有効に利用して振れ補正を行うことができる。また、抽出領域よりも撮像領域の広い撮像素子を用いた場合、従来に比べてより大きな振れを補正できる。

＜４．第４の実施の形態＞
第１〜第３の実施の形態では、歪曲収差補正部１３２で歪曲収差が補正された画像信号の生成を行い、この歪曲収差が補正された画像信号から振れ補正が行われた画像の画像信号を抽出する場合について説明した。ここで、歪曲収差の補正と振れ補正を同時に行えば、歪曲収差が補正された画像信号を生成することなく、撮像画像の画像信号から歪曲収差の補正と振れ補正が行われた画像信号を生成できる。次に、第４の実施の形態として、歪曲収差の補正と振れ補正を同時に行う場合について説明する。

［撮像装置の構成］
図９は、第４の実施の形態の構成を示す機能ブロック図である。撮像装置１０ｄは、撮像光学系１１、撮像部１２、信号処理部１３ｄ、記録再生処理部１６、ユーザーインタフェース部１７、制御部１８ａ（１８ｃ）を有している。また、撮像装置１０ｄは、振れを検出するため、光軸回転振れ検出部１４および／または２軸回転振れ検出部１５を有している。

撮像光学系１１は、ズームユニット１１１、フォーカスユニット１１２、絞りユニット１１３、ユニット駆動部１１４等で構成されている。ズームユニット１１１は、ズームレンズを用いて構成されている。ズームユニット１１１は、ズームレンズを光軸方向に移動して焦点距離を可変する。フォーカスユニット１１２はフォーカスレンズを用いて構成されている。フォーカスユニット１１２は、フォーカスレンズを光軸方向に移動して、フォーカス調整を行う。絞りユニット１１３は、アイリスを用いて構成されている。絞りユニット１１３は、アイリスの開口量を可変させて光量調整を行う。

撮像部１２は、撮像素子１２１、前処理部１２２、駆動部１２３等で構成されている。撮像素子１２１は、光電変換処理を行い、撮像光学系１１によって撮像面に結像された光学像を電気信号に変換する。撮像素子１２１は、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ等が用いられる。

前処理部１２２は、撮像素子１２１で生成された電気信号に対してＣＤＳ等のノイズ除去処理を行う。また、前処理部１２２は、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、前処理部１２２は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して出力する。

駆動部１２３は、撮像素子１２１を駆動するために必要な動作パルス等の生成を行う。例えば、電荷を読み出すための電荷読出パルス、垂直方向や水平方向の転送を行うための転送パルス、電子シャッター動作を行うためのシャッターパルス等の生成を行う。

信号処理部１３ｄは、画像処理部１３１、補正処理部１３７で構成されている。

画像処理部１３１は、撮像部１２から出力されたディジタルの画像信号に対してカメラプロセス処理等を行う。画像処理部１３１は、例えば画像信号に対してガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行う。

補正処理部１３７は、撮像光学系１１で生じる歪曲収差の補正を行うための歪曲収差補正データと、後述する制御部１８ｄから通知された振れ補正量を用いて撮像画像に対する座標変換を行う。また、補正処理部１３７は、座標変換前の撮像画像の領域を抽出領域として、この抽出領域から画像を抽出することで、歪曲収差の補正と振れ補正が行われた画像信号を生成する。また、補正処理部１３７は、振れ補正が行われた画像信号を記録再生処理部１６や外部機器に出力する。

光軸回転振れ検出部１４および／または２軸回転振れ検出部１５は、回転振れの検出を行い、検出結果を示す検出信号を制御部１８ｄに出力する。

記録再生処理部１６は、２軸回転振れ補正部１３４から出力された画像信号を記録媒体に記録する。また、記録媒体に記録されている画像信号を読み出して、外部機器に出力する。記録媒体としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤや半導体メモリモジュール等であってもよい。また、記録再生処理部１６に、エンコーダやデコーダを設けて画像信号の圧縮符号化や伸張復号化を行い、記録媒体には符号化信号を記録するようにしてもよい。

ユーザーインタフェース部１７は、操作スイッチや操作ボタン等で構成されている。ユーザーインタフェース部１７は、ユーザー操作に応じた操作信号を生成して制御部１８ｄに出力する。

制御部１８ｄは、ユーザーインタフェース部１７からの操作信号等に応じて各部の制御を行い、ユーザー操作に応じた動作を撮像装置１０ｄで行わせる。また、制御部１８ｄは、振れ補正を行うとき補正量設定部として動作する。制御部１８ｄは、光軸回転振れ検出部１４および／または２軸回転振れ検出部１５から供給された検出信号に基づき振れ補正量を設定して、設定した振れ補正量を補正処理部１３７に通知する。

［撮像装置の動作］
撮像装置１０ｄで撮像動作が行われて撮像部１２から画像信号が信号処理部１３ｄに供給されると、信号処理部１３ｄの画像処理部１３１は、画像信号に対してカメラプロセス処理等を行い、処理後の画像信号を補正処理部１３７に出力する。

図１０は、補正処理部１３７の動作を示すフローチャートである。ステップＳＴ１で補正処理部１３７は歪曲収差補正データを決定する。補正処理部１３７は、例えば所定間隔の画素単位で、歪曲収差補正前の座標を歪曲収差補正後の座標に変換する歪曲収差補正データ（ベクトルデータ）をテーブルとして予め保持している。また、補正処理部１３７は、歪曲収差補正データのテーブルを所定のズーム倍率毎に保持している。補正処理部１３７は、歪曲収差補正データのテーブルを用いて、補正前の各画素の歪曲収差補正データを決定する。補正処理部１３７は、歪曲収差補正データが保持されていない画素について、周囲の画素の歪曲収差補正データを用いて補間処理例えば線形補間を行い、歪曲収差補正データが保持されていない画素に対応する歪曲収差補正データを算出する。また、補正処理部１３７は、テーブルが保持されていないズーム倍率について、テーブルが保持されているズーム倍率のテーブルを用いた補間処理を行い、テーブルが保持されていないズーム倍率に対応するテーブルを算出する。

ステップＳＴ２で補正処理部１３７は振れ補正量を取得する。補正処理部１３７は、制御部１８ｄから振れ補正量を取得して、抽出領域の移動量や回転角を決定する。

ステップＳＴ３で補正処理部１３７は振れ補正データを決定する。補正処理部１３７は、ステップＳＴ２で決定した振れ補正量に基づき、歪曲収差補正後の座標を振れ補正後の座標に変換する振れ補正データを決定する。

ステップＳＴ４で補正処理部１３７は、歪曲収差補正データと振れ補正データを用いて補正処理を行い、歪曲収差と振れ補正を同時に行う。

図１１は、補正処理部１３７の動作を説明するための図である。図１１の（Ａ）に示すように、撮像領域の座標（Ｘa，Ｙb）は、歪曲収差補正データを用いて歪曲収差の補正が行われると座標（Ｘc，Ｙd）に変換されて、歪曲収差補正後では、画像の四隅を画像の中心から外側方向に引き延ばした糸巻き状の画像領域となる。また、振れ補正量が回転角θであるとき、振れ補正データを用いて式（１）の演算を行うことで、歪曲収差補正後の座標（Ｘc，Ｙd）は振れ補正後の座標（Ｘe，Ｙf）に変換される。

このように、歪曲収差補正データと振れ補正データを用いて演算を行うことにより、撮像領域の座標（Ｘa，Ｙb）は、歪曲収差の補正と振れ補正によって座標（Ｘe，Ｙf）に変換される。したがって、画像処理部１３１から出力される画像信号に対して、歪曲収差補正データと振れ補正データを用いた座標変換を行うことで、歪曲収差補正後の画像を振れ補正量に応じて移動させた画像を得ることができる。すなわち、撮像領域は、歪曲収差の補正と振れ補正データに応じた回転によって、画像の四隅を画像の中心から外側方向に引き延ばした糸巻き状の画像領域を、画像の中心を軸として回転された画像領域に変換される。

さらに、補正後の画像領域の画像から、図１１の（Ｂ）に示すように、撮像領域を抽出領域として、この抽出領域の画像を示す画像信号を抽出して出力する。このようにすれば、補正処理部１３７から出力される画像信号は、歪曲収差補正と光軸回りの振れ補正が行われた所定の領域サイズの画像を示す画像信号となる。

図１２は、補正処理部１３７の他の動作を説明するための図である。図１２では、振れにおいて、光軸を中心とした回転とパン方向の振れが生じた場合を示している。図１２の（Ａ）に示すように、撮像領域の座標（Ｘa，Ｙb）は、歪曲収差補正データを用いて歪曲収差の補正が行われると座標（Ｘc，Ｙd）に変換される。さらに振れ補正量が回転角θ、水平方向の移動量が「ｍｈ」、垂直方向の移動量が「ｍｖ」であるとき、振れ補正データを用いて式（２）の演算を行うことで、歪曲収差の補正後の座標（Ｘc，Ｙd）は振れ補正後の座標（Ｘe，Ｙf）に変換される。なお、図１２では「ｍｖ＝０」の場合を例示している。

このように、歪曲収差補正データと振れ補正データを用いて上述の演算を行うことにより、撮像領域の座標（Ｘa，Ｙb）は、歪曲収差の補正と振れ補正によって座標（Ｘe，Ｙf）に変換される。したがって、画像処理部１３１から出力される画像信号に対して、歪曲収差補正データと振れ補正データを用いた座標変換を行うことで、歪曲収差補正後の画像を振れ補正量に応じて移動させた画像を得ることができる。

さらに、補正後の画像領域の画像から、図１２の（Ｂ）に示すように、撮像領域を抽出領域として、この抽出領域の画像を抽出して出力する。このようにすれば、補正処理部１３７から出力される画像信号は、歪曲収差補正と光軸回りおよびパン方向の振れ補正が行われた所定の領域サイズの画像を示す画像信号となる。

以上のように、歪曲収差補正データと振れ補正データを用いて座標変換を行えば、歪曲収差補正後の画像信号を生成することなく、歪曲収差補正と振れ補正が行われた画像信号を生成できる。このため、歪曲収差補正が行われた画像信号を記憶するメモリ等を設ける必要がないので、撮像装置の構成を簡単とすることができる。また、抽出領域を小さくしたり、抽出領域よりも撮像領域の広い撮像素子を用いることなく、回転方向の振れの補正を行うことが可能となり、撮像素子の撮像領域を有効に利用して振れ補正を行うことができるようになる。

なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

この発明の撮像装置と振れ補正方法では、撮像光学系により形成された光学像を光電変換して得られた撮像画像に対して撮像光学系で生じた歪曲収差の補正を行い補正前よりも画像領域の広い補正画像を得る処理と、補正画像に対して振れ補正量に応じて抽出領域を回転方向に移動する処理と、補正画像から前記抽出領域の画像を抽出する処理が行われる。このように、補正前よりも画像領域の広い補正画像から、振れ補正量に応じて移動させた抽出領域の画像を抽出することで、振れを補正した画像の画像信号を得ることができるので、撮像素子に余剰領域が設けられていなくとも、または撮像素子に広い余剰領域を設けなくとも、振れ補正を行うことが可能となり、撮像素子の撮像領域を有効に利用して振れ補正を行うことができる。したがって、静止画や動画の生成機能を有した電子機器に好適である。

１０ａ，１０ｂ，１０ｃ，１０ｄ・・・撮像装置、１１・・・撮像光学系、１２・・・撮像部、１３ａ，１３ｂ，１３ｃ，１３ｄ・・・信号処理部、１４・・・光軸回転振れ検出部、１５・・・２軸回転振れ検出部、１６・・・記録再生処理部、１７・・・ユーザーインタフェース（ユーザーＩ／Ｆ）部、１８ａ，１８ｂ，１８ｃ，１８ｄ・・・制御部（補正量設定部）、１１１・・・ズームユニット、１１２・・・フォーカスユニット、１１３・・・絞りユニット、１１４・・・ユニット駆動部、１２１・・・撮像素子、１２２・・・前処理部、１２３・・・駆動部、１３１・・・画像処理部、１３２・・・歪曲収差補正部、１３３・・・光軸回転振れ補正部、１３４・・・２軸回転振れ補正部、１３５・・・振れ検出部、１３６・・・振れ補正部、１３７・・・補正処理部、１４１，１５１・・・角速度センサ、１４２，１５２・・・検出信号処理部

Claims (8)

1. 撮像光学系により形成された光学像を光電変換して撮像画像の画像信号を生成する撮像部と、
   前記撮像光学系の光軸を中心とした回転方向の振れを検出する振れ検出部と、
   前記振れ検出部で検出された前記回転方向の振れに基づいて、該振れを補正するための振れ補正量を設定する補正量設定部と、
   前記撮像画像に対して前記撮像光学系で生じた歪曲収差の補正を行い補正前よりも画像領域の広い補正画像を得る処理と、前記補正画像に対して前記振れ補正量に応じて抽出領域を回転方向に移動する処理と、前記補正画像から前記抽出領域の画像を抽出する処理を行う補正処理部と
   を備える撮像装置。
2. 前記補正処理部は、前記撮像光学系で生じた樽型歪曲収差の補正を行う
   請求項１記載の撮像装置。
3. 前記補正処理部は、画像の四隅を中心から外側方向に引き延ばして前記補正前よりも画像領域の広い補正画像を得る
   請求項２記載の撮像装置。
4. 前記補正処理部は、歪曲収差の補正を行うための歪曲収差補正データを用いて、前記撮像画像の画像信号から前記歪曲収差の補正が行われた補正画像の画像信号の生成を行い、前記補正画像の画像信号から前記振れ補正量に応じて回転方向に移動された前記抽出領域の画像信号を抽出する
   請求項３記載の撮像装置。
5. 前記補正処理部は、歪曲収差の補正を行うための歪曲収差補正データと前記振れ補正量を用いて前記撮像画像に対する座標変換によって、前記補正画像を得る処理と、前記補正画像に対して前記振れ補正量に応じて抽出領域を回転方向に移動する処理を行い、前記座標変換後の画像における前記撮像画像の位置に対応した座標範囲を、前記移動後の抽出領域とする
   請求項３記載の撮像装置。
6. 前記振れ検出部は、前記光軸に対して直交する第１の軸を中心とした回転方向の振れと、前記光軸と前記第１の軸に対して直交する第２の軸を中心とした回転方向の振れの検出を合わせて行う
   請求項５記載の撮像装置。
7. 前記振れ検出部は動きベクトル検出部を有し、該動きベクトル検出部は、時間順の複数の前記撮像画像を用いて前記振れによって生じた画像の動きを示す動きベクトルを検出する
   請求項３記載の撮像装置。
8. 振れ検出部で撮像光学系の光軸を中心とした回転方向の振れを検出するステップと、
   補正量設定部で、検出された前記回転方向の振れに基づいて、該振れを補正するための振れ補正量を設定するステップと、
   補正処理部で、撮像画像に対して前記撮像光学系で生じた歪曲収差の補正を行い補正前よりも画像領域の広い補正画像を得る処理と、前記補正画像に対して前記振れ補正量に応じて抽出領域を回転方向に移動する処理と、前記補正画像から前記抽出領域の画像を抽出する処理を行うステップと
   を有する振れ補正方法。

Images