JP4418317B2

JP4418317B2 - 撮像装置

Info

Publication number: JP4418317B2
Application number: JP2004213579A
Authority: JP
Inventors: 光將大久保; 右二今井; 正樹日暮; 雅司半川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-07-21
Filing date: 2004-07-21
Publication date: 2010-02-17
Anticipated expiration: 2024-07-21
Also published as: JP2006033759A; CN1725811B; CN1725811A; US20060017813A1

Description

本発明は、手ぶれを検出してぶれ画像をぶれのない画像に復元する撮像装置に関する。

デジタルカメラ、ビデオカメラなどの撮像装置において、撮像時の手ぶれによる劣化画像を補正して原画像に近い画像を復元する必要がある。たとえば、デジタルカメラ(以下、「カメラ」と適宜略す)においては、静止画などの手ぶれ補正は角速度センサなどを用いてカメラの手ぶれの軌跡を検出し、検出したぶれ軌跡に基づいて撮像後に所定の画像復元演算を行っている。

ぶれ復元に際して、点ひろがり関数（ＰＳＦ）で補正することが提案されており、点ひろがり関数を利用すれば、比較的容易に画像の復元が行なえる。しかし、点ひろがり関数で補正された復元画像はぶれ軌跡上の画素の輝度値を関数としているが、ぶれ軌跡以外の画素の影響も無視できない。そのため、点ひろがり関数から演算したぶれ軌跡とぶれ画像のぶれ軌跡とが完全に対応せず、正確な画像復元が難しい。

そのため、たとえば、特開平１１ー１３４４８１号公報では、ぶれ画像とぶれ軌跡データから求めた点ひろがり関数とからぶれ画像を復元し、復元に際して、ぶれ軌跡の周辺の画素の輝度値を考慮して復元画像を生成している。この画像復元方法によれば、ぶれ軌跡以外の画素の影響も考慮され、従来よりも良好な復元画像が得られる。

しかし、画像の歪、特に光学系にディストーションなどの画像歪があると、手ぶれでカメラの方向が変化した場合、画像中央付近の近軸領域と画像中央付近から離反した周辺領域との画像のぶれが異なる。そのため、単純に、近軸領域での計算によってぶれ軌跡を算出しても、計算上のぶれ軌跡と撮像手段（ＣＣＤ）上でのぶれ軌跡が異なるため、画面全体で正しい画像復元ができない。
特開平１１ー１３４４８１号公報

本発明の目的は、撮像レンズ系の画像歪の影響を排除して画像を正確に復元するとともに、違和感のある不自然な画像の生成を防止する撮像装置を提供することである。

上記目的を達成するために、本発明によれば、光学系の画像劣化情報を記憶するとともに、撮影時の手ぶれを検出して時系列の手ぶれ検出信号を記憶し、画像データを光学系の画像劣化情報に基づいて補正し、画像劣化情報で補正した画像データを手ぶれ検出信号に基づいて手ぶれによる画像データの劣化を復元している。そして、圧縮処理して内部フラッシュメモリーや外部メモリーなどの画像記録媒体に記録している。

つまり、請求項１に係る本発明においては、被写体像を形成するための光学系と；前記光学系により形成された被写体像より画像データを得るための撮像手段と；前記撮像手段への露光を制御するための露光制御手段と；手ぶれを検出するための手ぶれ検出手段と；前記撮像手段の露光期間中における、前記手ぶれ検出手段から出力される時系列の手ぶれ検出信号を記憶するための手ぶれ検出信号記憶手段と；前記光学系により発生するディストーションに関する情報を記憶するためのディストーション情報記憶手段と；前記撮像手段から出力された画像データに対して、前記ディストーション情報記憶手段に記憶されたデータによりディストーションの補正を行うディストーション補正手段と；前記ディストーション補正手段からの画像データに対して、前記手ぶれ検出信号記憶手段に記憶された時系列の手ぶれ検出信号により手ぶれによる劣化の復元を行う手ぶれ復元手段と；前記手ぶれ復元手段からの画像データに対して所定量、樽型方向にディストーションの逆補正を行うためのディストーション逆補正手段と；前記ディストーション逆補正手段からの画像データを適用された記録媒体に記録するための記録手段とを具備して構成されている。

請求項２に係る発明において、前記ディストーションの逆補正が、ディストーションの補正に対して少ない割合で補正されている。

請求項１に係る本発明の構成によれば、光学系のディストーション等による画像劣化があって、手ぶれ復元演算の前に光学系によって発生する画像劣化を補正して、画像劣化の影響を除去してから手ぶれ復元演算を行うため、簡単な演算で画面全体にわたり正確な手ぶれ復元ができ、画面全体で鮮鋭な画像を得ることができる、とともに、個別レンズ特性の相違による歪補正のばらつきによって生ずる違和感のある不自然な糸巻き型に歪んだ画像の生成を防止することが可能な撮像装置を提供することができる。

本発明によれば、光学系の画像劣化情報を記憶するとともに、撮影時の手ぶれを検出して時系列の手ぶれ検出信号を記憶し、画像データを光学系の画像劣化情報に基づいて補正し、画像劣化情報で補正した画像データを手ぶれ検出信号に基づいて手ぶれによる画像データの劣化を復元することにより、光学系の画像歪の影響を排除した画像の復元を実現している。

以下、図面を参照して本発明の各実施例を説明する。図１は、撮像装置としてデジタルカメラに適用した本発明の実施例１を示し、（Ａ）（Ｂ）はデジタルカメラの前面斜視図、背面斜視図である。図１（Ａ）（Ｂ）からわかるように、カメラボディ１の前面にレンズユニット２が接続されるとともに、ファインダ６がカメラボディ１の背面に一体的に組み付けられている。レンズユニット２は、複数枚の撮影用レンズとその駆動手段とから構成されており、その詳細は図２に即して後述する。

３はレリーズスイッチであり、押すと（オンすると）撮影動作が開始される。４はＴボタン４ー１、Ｗボタン４ー２からなるズームスイッチであり、Ｔボタンを押すとテレ側への撮影レンズの変倍動作が行なわれ、Ｗボタンを押すとワイド側への変倍動作が行なわれる。５は手ぶれモードの設定スイッチであり、手ぶれモードスイッチ５を押して手ぶれモードに設定すると、モードランプ５ー１が点灯して手ぶれモードであることがわかる。６はビューファインダであり、ビューファインダ６はたとえば小型ＬＣＤをルーペで拡大する電子ビューファインダからなり、撮像素子（ＣＣＤ）の画像をリアルタイムで表示し、いわゆるスルー画がビューファインダに表示可能となっている。７は静止画、動画を切替えるモードキー(スライドキー)であり、モードキー７をＳ側（ＳＴＩＬＬ）にすると静止画撮影モードが設定され、Ｍ側（ＭＯＶＩＥ）にすると動画撮影モードが設定される。

８はフラッシュであり、低輝度時には発光して被写体を照明する補助光となる。９はモード操作キーであり、モード操作キー９の中央の決定ボタンの周囲に４個のボタンが配置され、マクロ撮影、セルフタイマー、フラッシュなどのオンがモード操作キー９によって設定される。１０は背面ＬＣＤパネルであり、撮影した画像が再生されるとともに、スルー画も表示可能となっている。１１はパワースイッチであり、パワースイッチ１１を押してオンとすることにより、露光、撮像などが可能となる。背面ＬＣＤパネル１０は、ビューファインダ６とともにモニタとして利用される。

図２は光学系であるレンズユニット２の概略図であり、レンズユニットは、たとえば３枚のレンズ１２、１３、１４を持つ。３枚のレンズのうち、レンズ１２、１３は、相互の位置関係を変えることによってレンズの焦点距離を変化させる、いわゆる変倍レンズ(ズームレンズ)であり、ズームの際には、ズームモータ１０４の駆動力が、ギア１８ａ、１８ｂを介してズーム用レンズ駆動カム機構１７に伝達され、レンズ駆動カム機構によってレンズ１２、１３が光軸に沿って動かされる。

レンズ１４は光軸に沿って前後に移動することによってピントずれの調整を行なういわゆるフォーカスレンズであり、フォーカス調整の際には、フォーカスモータ１０５の駆動力が、ギア２０ａ、２０ｂ介してフォーカス用レンズ駆動カム機構１９に伝達され、レンズ駆動カム機構によってレンズ１４が動かされる。レンズ１４の後方には、たとえばＣＣＤからなる撮像素子（撮像手段）１１４が位置し、レンズ１２、１３、１４を通過した光束が撮像素子上に結像し、撮像素子の各画素で光電変換されて撮像する。１５は絞り、１６はシャッタであり、絞り１５、シャッタ１６によって撮像素子１１４への光量（露光）が制御される。メカニカルなシャッタ１６に代えて、撮像素子１１４の素子シャッタ（電子シャッタ）を使用してもよい。

図３はデジタルカメラの制御回路の構成図であり、１０１はたとえばリチウムイオン充電池などの充電可能な電池からなるバッテリである。１０２は、バッテリ１０１から昇圧回路や降圧回路によって必要な電圧の電源を生成して各処理回路に供給する電源回路である。１０３はモータドライバ回路であり、スイッチングトランジスタを含む電気回路で構成され、シーケンス制御回路１１９の指示にしたがってフォーカスモータ１０４、ズームモータ１０５、シャッタモータ１０６、絞りモータ１０７を駆動制御する。１０８、１０９は相互に直交するＸ軸、Ｙ軸の回りの角速度を検出する角速度センサ（手ぶれ検出手段）であり、図１（Ａ）に示すように、素子の長辺方向を軸として互いに直交する方向に配置され、その軸に沿った角速度を検出する。

１１０は角速度センサ１０８、１０９の出力のオフセットをキャンセルしたり、その出力を増幅するアナログ処理回路であり、角速度センサ１０８、１０９とともに手ぶれ検出手段を構成する。アナログ処理回路１１０の出力はＡ／Ｄ変換回路１１１でデジタル信号に変換されて基本軌跡演算回路１１２に入力される。基本軌跡演算回路１１２はその入力を時間で積分して時間毎の変位角度を算出し、この変位角度を時間に対応して出力して、つまり時系列に出力して、撮像面上の(ＣＣＤ１１４上の)画像の光軸付近の手ぶれによる上下方向、左右方向のぶれ軌跡を検出する。ここで、手ぶれの検出は角速度センサ１０８、１０９に限定されず、角速度センサ１０８、１０９の代わりに、その演算処理を変更すれば、角加速度センサや２個ワンペアの加速度センサで手ぶれを検出して、同様のぶれ軌跡を算出してもよい。１１３は、基本軌跡演算回路１１２で検出されたぶれ軌跡を記憶する軌跡メモリー回路であり、手ぶれ検出信号記憶手段として機能する。

１１４は、図２で述べたレンズユニット２の背後に位置するＣＣＤからなる撮像素子、１１５は撮像素子（ＣＣＤ）１１４からの出力を処理するＣＣＤ出力処理回路、１１６は撮像素子１１４の出力データおよびＣＣＤ出力処理回路１１５での処理途中の画像データを一時保持する画像メモリーである。画像メモリー１１６に記憶されたデータは、画像処理回路１１７によってＲＧＢ処理、シェーディング補正処理などの基本処理を施される。しかし、画像処理回路１１７では、手ぶれ画像の復元演算の障害となるγ変換や画像圧縮は行なわれず（これらは後述する画像圧縮・伸長回路１５１でなされる）、データは、画像復元演算回路１２３や画像シフト回路１３２に送られる。なお、撮像素子１１４はシーケンス制御回路１１９からの制御信号により、ＣＣＤドライバ（図示しない）を介して駆動制御される。

１２２は手ぶれによる画像の劣化を復元するための画像復元関数ｆ^-1を算出する回路であり、画像復元関数ｆ^-1は、基本軌跡演算回路１１２の出力から原画像がどのように変化するかを予測して出力される。画像復元関数ｆ^-1は、画面中央では基本軌跡演算回路１１２の出力から直接算出され、画面中央以外については、デジタルカメラのレンズ１２、１３、１４が、ズーム位置およびフォーカス位置に依存した画像歪（デイストーション）を持っているため、補正が必要になる。このため、実施例のデジタルカメラでは、画面のエリアごとに、ズーム位置、フォーカス位置に対応した画像歪（ディストーション）補正データが補正値記憶メモリー１１８（ディストーション情報記憶手段）に記憶される。

たとえば、ディストーションの影響で画面の周辺の画像が画面中央の画像に対して圧縮されていれば、画面の周辺では画面中央に対して軌跡変化も圧縮されるため、軌跡補正回路１２１では、まず、基本軌跡演算回路１１２から出力された軌跡データを画像エリアごとに、補正値記憶メモリー１１８の値に基づいて補正し、補正された軌跡データを画像復元関数算出回路１２２に出力する。つまり、補正値記憶メモリー１１８に記憶された軌跡補正データは軌跡補正回路１２１に入力され、画像復元関数算出回路１２２では、軌跡補正回路１２１の出力に基づいて各画面エリアごとに画像復元関数ｆ^-1を算出する。ここで画像復元関数ｆ^-1は、手ぶれによって発生する画像劣化関数ｆの逆関数である。

γ変換や画像圧縮の行なわないデータが画像処理回路１１７から送られる画像復元演算回路１２３では、画面のエリアごとに画像復元関数算出回路１２２で算出された画像復元関数ｆ^-1によって画像変換が行なわれる。画像復元演算回路１２３で画像歪（デイストーション）の影響を排して、手ぶれによる画像劣化の復元がなされた画像は、画像圧縮・伸長回路１５１でデータ圧縮され、内蔵フラッシュメモリーなどの画像記憶媒体１５３に記録手段１５２を利用して書き込まれる。内蔵フラッシュメモリーの代わりに、装填式メモリーカードのような外部メモリーを画像記憶媒体１５３としてもよい。なお、軌跡補正回路１２１、画像復元関数算出回路１２２、画像復元演算回路１２３から、レンズ１２、１３、１４の画像歪（デイストーション）を画面のエリアごとに電子的に補正する静止画の電子手ぶれ補正回路１２０が形成され、軌跡補正回路１２１は手ぶれ検出信号補正手段として、画像復元関数算出回路１２２は画像復元関数算出手段として、画像復元演算回路１２３は手ぶれ復元手段として、画像庄縮・伸長回路１５１は圧縮手段としてそれぞれ機能する。

１１９はマイクロコンピュータなどのＣＰＵからなるシーケンス制御回路であり、レリーズスイッチ３、ズームスイッチ４（Ｔ、Ｗ）、パワースイッチ１１、手ぶれモードスイッチ５、モードキー７などのオン・オフを検出し、各構成要素の動きを制御してデジタルカメラ全体の制御を行なう。シーケンス制御回路１１９は、具体的には、（シーケンス）コントローラ、撮像素子を連続的に動作させる連続動作手段、モニタ（ビューファインダ６、背面ＬＣＤパネル１０）の表示を制御する表示制御手段、第１、第２の手ぶれ補正手段（画像復元演算回路１２３、画像シフト回路１３２）のコントローラなどとなる。

１３１は、スルー画を取得している期間のフレーム間シフト量を算出する回路であり、フレーム間シフト量算出回路１３１は、基本軌跡演算回路１１２から各フレーム期間ごとの手ぶれの軌跡を受け取り、対応する画像のシフトすべき量を算出する。１３２は画像シフト回路であり、撮像素子（ＣＣＤ）１１４からの画像を画像メモリー１１６から受け取り、フレーム間シフト量算出回路１３１の出力に基づいて、手ぶれ量だけシフトして、動画（またはスルー画）における手ぶれ補正を行なう。フレーム間シフト量算出回路１３１、画像シフト回路１３２から動画の電子手ぶれ補正回路１３０が形成される。そして、静止画における画像復元演算手段１２３を第１の手ぶれ補正手段とすれば、動画における画像シフト回路１３２は第２の手ぶれ補正手段ということができる。

動画電子手ぶれ補正回路１３０で処理された手ぶれ補正済みの動画は、画像圧縮・伸長回路１５１（圧縮手段）によってデータ圧縮され、記録手段１５２によって画像記録媒体１５３に記録される。また、静止画、動画を問わず、モニタ画像としてカメラボディ背面の背面ＬＣＤパネル１０やビューファインダ６に送られて表示される。画像圧縮・伸長回路１５１は、画像記憶媒体１５３から記録手段１５２によって読み出された画像データをディスプレイ１０、ビューファインダ６に表示するための伸長機能も備えている。なお、内蔵フラッシュメモリー、外部メモリー（たとえば、装填式メモリーカード）などの画像記憶媒体１５３に画像復元演算回路１２３からの出力を記録手段１５２によって記録すれば、画面全体で鮮鋭な画像を記録できる。

静止画での電子手ぶれ補正について述べると、図４は静止画での電子手ぶれ補正のイメージであり、図４（Ａ）（Ｂ）はＸ軸、Ｙ軸での手ぶれ(回転角)θｘ、θｙの変化、図４（Ｃ）は撮像素子（ＣＣＤ）１１４上でのぶれ軌跡、図４（Ｄ）は原画像と撮像画像との関係を示す。

図３に即して述べたように、角速度センサ１０８、１０９で検出したＸ軸およびＹ軸の手ぶれから、基本軌跡演算回路１１２に、図４（Ａ）（Ｂ）に示すような時間対応のつまり時系列の変位角θｘ、θｙのデータが出力される。次に、その時点でのズームの位置からレンズの焦点距離がわかるため近軸計算によって、図４（Ｃ）に示すように、撮像素子（ＣＣＤ）１１４上のぶれの変位軌跡が算出される。そして、撮像素子１１４上のぶれ軌跡から、手ぶれによる画像劣化係数ｆを算出し、画像劣化係数ｆによって撮像画像（原画像）ｉがぶれ画像ｊに劣化しているはずであるから、ｆの逆関数ｆ^-1すなわち画像復元関数を演算して求めて、この画像復元関数ｆ^-1を用いて逆変換すれば、撮像画像ｉが復元される。

このように静止画においては、撮影時の手ぶれによる時系列の手ぶれによる撮像素子１１４上のぶれ軌跡から画像劣化係数ｆを算出し、ｆの逆関数ｆ^-1すなわち画像復元関数による逆変換によってぶれ画像を復元している。この際、軌跡補正回路１２１においてぶれ軌跡に対して補正を行ない、光学系のディストーションの影響を排除しているので、光学系にディストーションがあっても、中央から周辺まで、画面エリアごとに正確な手ぶれによる像の軌跡が出力され、画面全体にわたって正確な手ぶれ復元ができ、画面全体で鮮鋭な画像を得ることができる。

図５は動画電子手ぶれ補正のイメージであり、図５（Ａ）（Ｂ）（Ｃ）は変動する３つのフレームを示し、図５（Ｄ）（Ｅ）は３つのフレームの単純に順次表示した画像と、補正された画像を順次表示した画像を示す。図４（Ｄ）の画像は手ぶれ補正されない画像に、図５（Ｅ）の画像は手ぶれ補正された画像にそれぞれ相当する。

動画においてはフレーム間のずれが手ぶれとして認識されるため、画像シフトによって補正する。図５（Ａ）（Ｂ）（Ｃ）に示すように、たとえば３枚の画像１、２、３を考えた場合、１と２の間は（ｕ→）で表される画像が紙面上で、左下側にずれる方向でのベクトル移動、２と３の間は（ｖ→）で表される画像が紙面上で、右下側にずれる方向でのベクトル移動と仮定する。この場合、単純に画像１、２、３を順次表示すると図５（Ｄ）に示すように、ぶれて見える。しかし、ｕ→およびｖ→の逆ベクトル分をずらして順次表示すれば（画像１＋画像２＊（−ｕ→）＋画像３＊（−ｕ→）＊（−ｖ→））、図５（Ｅ）に示すように、手ぶれのない明瞭な像が見える。ここで「＊」は、画像シフトを表す演算子とする。

図６（Ａ）（Ｂ）は、動画、動画モード時のスルー画、静止画モード時のスルー画、および静止画での画像の電子手ぶれ補正の補正量（最大シフト）、および画像切り出し範囲を示す。

手ぶれモードでない場合でのＣＣＤ画像の有効範囲を１００％とすると、静止画の手ぶれモード時は、画像復元関数によって画像が所定の広がりを持ち、撮像範囲の外側の画像データがないと周辺の画像が補正できないため、たとえば、対角の長さ比で９５％の範囲を撮像範囲とし、この範囲での撮像画像を電子手ぶれ補正して記録する。しかし、静止画の手ぶれ量は、動画で順次ずれていく場合とくらべるとシャッタ露光時間内であるから小さく、周辺の余裕は動画の場合に比較すると小さくてよい。

動画手ぶれモード時の有効撮像範囲のサイズは、静止画に比較して小さく、たとえば対角の長さ比で７０％の範囲が撮像範囲とされる。これは、動画では画像をずらしているため、静止画よりも時間を要してずれ量が大きくなるためである。

次に、スルー画で表示する画像に相当する撮像範囲について説明する。静止画、動画ともに、手ぶれ補正モードでない場合は、撮像され記録される範囲は、ＣＣＤ上の対角比で１００％に相当する範囲であり、スルー画についても同じくＣＣＤ上の対角比で１００％の範囲の画像を表示する。

動画撮影の場合で手ぶれ補正モードのときは、撮像され記録される範囲と同じ範囲をスルー画として表示する。これは、対角比で７０％のサイズであり、手ぶれを補正するためにＣＣＤの有効画素の範囲内（対角比で１００％の範囲内）を、逐次、シフト（移動）している。一方、静止画撮影の場合で手ぶれ補正モードのときは、撮像され記録されるＣＣＤ上の範囲と、スルー画で表示されるＣＣＤ上の範囲が異なっている。これは撮像され記録される際の手ぶれ補正方式と、スルー画で表示する際の手ぶれ補正方式が異なっているためである。しかし、異なる手ぶれ補正方式であっても撮像され記録される範囲とスルー画で表示する範囲とをほぼ一致させる必要がある。このため、静止画撮影の場合で手ぶれ補正モードのときは、たとえば撮像され記録される範囲がＣＣＤの対角比９５％なのに対して、スルー画の範囲はＣＣＤの対角比９０％のサイズである。また、このスルー画の範囲は、手ぶれ補正のためＣＣＤの対角比９５％の範囲内で、逐次シフトされる。この静止画のスルー画の手ぶれ補正量（シフト量）は、５％の範囲となって動画のスルー画に比べると最大シフト量が小さく、大きな手ぶれには対応できないが、静止画の撮像・記録範囲とほぼ同一の範囲をビューファインダ６や背面ＬＣＤパネル１０に表示できる。

図７、図８は画像復元動作のメインフローを示す。まず、パワースイッチ１１を押して（Ｓ１０１）、沈胴状態のレンズをセットアップし（Ｓ１０２）、手ぶれ補正モードが設定されているか否かを判断する（Ｓ１０３）。手ぶれモードスイッチ５は押すたびにオン、オフが繰り返され、オンであればモードランプ５ー１が点灯して手ぶれ補正フラグ１が設定され（Ｓ１０４）、オフであればモードランプ５−１が消灯し、手ぶれ補正フラグが０に設定される（Ｓ１０５）。

次に、撮影モードとしての静止画、動画が判断され（Ｓ１０６）、モードキー７がＭ側に位置して動画モードであれば、図８のＳ１２０に移り、モードキーがＳ側に位置して静止画モードであれば、手ぶれフラグが１か否かが判断される（Ｓ１０７）。フラグが１であれば、ＣＣＤ９０％画面を利用して手ぶれ補正されたスルー画が表示され（Ｓ１０８）、フラグが０であれば、スルー画表示されるが、手ぶれ補正はなされず、ぶれたままのスルー画が表示される（Ｓ１０９）。ここで、表示されるＬＣＤとして、ビューファインダ６、背面ＬＣＤパネル１０のいずれが撮影者（ユーザ）によって選択され、その選択したＬＣＤにスルー画が表示される。また、ビューファインダ６、背面ＬＣＤパネル１０の双方に表示し、撮影者がいずれかの表示を見るようにしてもよい。

それから、レリーズスイッチ３のオンが確認され（Ｓ１１０）、オンであれば（レリーズスイッチが押されれば）、静止画が撮像され（Ｓ１１１）、画像処理回路１１７で画像処理され（Ｓ１１３）、手ぶれ補正フラグが１か否かが判断される（Ｓ１１４）。レリーズスイッチ３が押されなければ、他のスイッチ操作の有無が判断され（Ｓ１１２）、いずれかのスイッチがオンであれば対応する処理がなされ、いずれのスイッチもオフであれば、Ｓ１０３に戻される。

Ｓ１１４でフラグが１であれば、画像復元関数算出回路１２２で画面の各エリアに対応して、画像歪（ディストーション）の影響が排された画像復元関数が算出されて画像復元演算回路１２３でＣＣＤ９５％画面を利用した手ぶれ補正がなされ（Ｓ１１５）、フラグが０であれば手ぶれ補正されずに、Ｓ１１６に進む。Ｓ１１６では、画像圧縮・伸長回路１５１においてγ変換、画像圧縮などの画像処理がなされ、撮像画（静止画）を背面ＬＣＤパネル１０などに表示し（Ｓ１１７）、記録手段１５２によって画像記録媒体１５３上に書込み（Ｓ１１８）、書込み後、Ｓ１０３に戻される。

次に、動画のメインフローについて、図８を参照しながら説明する。Ｓ１０６で動画に設定されていれば（モードキー７がＭ側に位置すれば）、手ぶれフラグが１か否かが判断され（Ｓ１２０）、フラグが１であれば、フレーム間シフト量算出回路１３１で算出されたシフト量だけ、画像シフト回路１３２によってシフトされ、ＣＣＤ７０％画面を利用して手ぶれ補正されたスルー画が表示される（Ｓ１２１）。フラグが０であれば、スルー画表示されるが、手ぶれ補正はなされず、ぶれたままの画像がＬＣＤに表示される（Ｓ１２２）。なお、図５（Ｄ）の画像がＳ１２２のぶれたスルー画に、図５（Ｅ）の画像がＳ１２１のシフト補正されたスルー画にそれぞれ該当する。

それから、レリーズスイッチ３のオンが確認され（Ｓ１２３）、オンであれば（レリーズスイッチが押されれば）、動画の撮影が開始され（Ｓ１２４）、手ぶれフラグが１か否かが判断される（Ｓ１２６）。レリーズスイッチ３が押されなければ、他のスイッチ操作の有無が判断され（Ｓ１２５）、いずれかのスイッチがオンであれば、対応する処理がなされ、いずれのスイッチもオフであれば、Ｓ１０３に戻される。

Ｓ１２６でフラグが１であれば、ＣＣＤ７０％画面を利用してシフトされ、手ぶれ補正された撮像画がリアルタイムでＬＣＤに表示され（Ｓ１２７）、フラグが０であれば、手ぶれ補正はされず、撮像画がリアルタイムでぶれたままでＬＣＤに表示される（Ｓ１２８）。Ｓ１２１、Ｓ１２２のスルー画表示と同様に、Ｓ１２８のぶれた撮像画は図５（Ｄ）の画像のように、Ｓ１２７のシフト補正された撮像画は図５（Ｅ）の画像のようにそれぞれ表示される。そして、レリーズスイッチ３が再度押されるまで連続して撮像され、レリーズスイッチが再度押されると（Ｓ１２９）、撮像が停止し（Ｓ１３０）、動画が画像記録媒体１５３に書込まれて（Ｓ１３１）、Ｓ１０３に戻される。

このような構成によって、静止画、動画の撮影時でも手ぶれ補正されていることがビューファインダ６、背面ＬＣＤパネル１０で確認できるだけでなく、スルー画の範囲が実際に撮像できる範囲にほぼ一致するため、フレーミングが容易、迅速に設定できる。また、ディストーションのような画像歪による軌跡を画面範囲ごとに補正しているため、レンズ画像の歪の影響を排して、画面範囲ごとの軌跡の正しい変化量が得られ、画面全体にわたって良好な手ぶれ補正ができる。

実施例１の変形例について説明する。実施例１では、基本軌跡演算回路１１２から出力された軌跡データを画像エリアごとに、補正値記憶メモリー１１８の値に基づいて軌跡補正回路１２１で補正し、補正された軌跡データを画像復元関数算出回路１２２に出力する。次に、画像復元関数算出回路１２２では、軌跡補正回路１２１の出力に基づいて各画面エリアごとに画像復元関数ｆ^-1を算出し、次に、画像復元演算回路１２３では、画像復元関数算出回路１２２で算出された画像復元関数ｆ^-1によって画像の復元演算がなされるようになっている。これに対して変形例として次のようにしてもよい。

まず、軌跡補正回路１２１を削除し、補正値記憶メモリー１１８からの出力ラインを画像復元関数算出回路１２２に接続するように変形する。そして、基本軌跡演算回路１１２から出力された軌跡データを画像復元関数算出回路１２２で直接処理して、画像復元関数ｆ^-1を１種類だけ演算して求める。次に、画像復元関数ｆ^-1を画像エリアごとに、補正値記憶メモリー１１８の値に基づいて補正し、画像エリア毎に異なる画像復元関数ｆ^-1を求める。次に、画像復元演算回路１２３において、画像エリア毎に異なる画像復元関数ｆ^-1により画像の復元演算を行なう。この変形例では、画像復元関数算出回路１２２は、画像復元関数算出手段として機能するとともに、画像復元関数補正手段として機能する。

変形例の構成によれば、同じ手ぶれでも像の移動の軌跡が、ディストーションの影響で画面中央と画面中央以外のエリアについてエリアごとに圧縮、拡大、方向変化のために変わり、結果として画像劣化関数ｆ^-1がエリアごとに異なる場合でも、エリアごとに画像劣化関数ｆ^-1を補正して最適な画像復元関数ｆ^-1とするため、画面全体にわたって正確な手ぶれ復元ができ、画面全体で鮮鋭な画像が得られる。

静止画撮影後に得られた画像データから復元演算を行なう形式の手ぶれ補正手段を備えたカメラにおいて、静止画撮影の準備段階において被写体観察するためのスルー画表示においては、前記の復元演算を行なう形式の手ぶれ補正手段を適用することはできない。または適用しても狙いの効果は得られない。しかし、図７、図８に示すように、静止画撮像時とスルー画表示時とでは異なる手ぶれ補正を行ない、スルー画表示時は動画用（スルー画用）手ぶれ補正を作動させ、静止画撮像時はこれと異なる静止画用手ぶれ補正を作動させている。さらに、静止画モード時のスルー画と動画モード時のスルー画で、電子的手ぶれ防止作動における画像切り出し範囲、最大補正量などを異なるものとし、静止画、動画のそれぞれに最適なように設定する手ぶれ補正モードを設定し、手ぶれ補正時に動画用手ぶれ補正を行ない、静止画の撮像に対してはぶれ軌跡に基づいてぶれ復元補正をしてから復元画像を表示している。この実施例を実施例２とする。

実施例２によれば、手ぶれ防止モードが設定されている際には、スルー画に対して別の形式の、スルー画に対しては効果がある手ぶれ補正によって手ぶれの少ない画像を表示させることにより、撮影者に手ぶれモードが作動していることを告知できる。このため、撮影時に撮影者が手ぶれモードが設定されていることを、被写体を観察しながら確認できる。また、観察時の手ぶれを軽減しているので、被写体の観察がしやすくなる。さらに、静止画の手ぶれ補正のモードでない場合は、スルー画の手ぶれ補正も停止するため、手ぶれが大きい場合は撮影者が被写体を観察する際に手ぶれを意識し、手ぶれ補正モードに設定させる手ぶれ警告の効果がある。

なお、実施例１、２は、図１〜図８を共通としているため、実施例２について、図１〜図８の説明は省略する。

撮像画に対して、レンズの歪補正をしてから静止画電子手ぶれ補正、動画電子手ぶれ補正を行なう別実施例（実施例３）について、図９〜図１２を参照しながら説明する。図９はデジタルカメラの制御回路の構成図であり、構成要素として補正値記憶メモリー１１８、軌跡補正回路１２１が省略され、歪補正値メモリー１７１（ディストーション情報記憶手段、画像劣化情報記憶手段）、画像歪補正回路１７２が加えられている点で図３と相違する。なお、実施例３においても、図３を除く図１〜図８の図面を共通としている。ただし、実施例３ではＳ１１３の画像処理において、レンズ歪（ディストーション）に応じた補正を画像歪補正回路１７２によって撮像画に加えている点で実施例１と相違する。

図９のデジタルカメラの制御回路の構成図において、レンズ歪（ディストーション）に応じた歪み補正値が歪み補正値メモリー１７１に記憶され、撮像画に対して、画像歪補正回路１７２でレンズによる歪（ディストーション）の補正をかけてから、静止画電子手ぶれ補正、および動画電子手ぶれ補正を行なっている。また、この歪補正値メモリー１７１を単なるレンズ特性補正値メモリーとし、歪補正値（ディストーション補正値）以外の撮影レンズの特性に起因する収差の補正データ等をもあわせてこの補正値メモリーに記憶するようにし、さらに、画像歪補正回路１７２をレンズ特性補正回路として、その他の撮影レンズの特性に起因する収差等の補正もあわせて行なうようにしてもよい。この構成によれば、撮影レンズのディストーションの影響がある場合だけではなく、収差等の光学系によって発生する画像劣化がある場合においても、手ぶれ復元演算の前に光学系の歪、あるいは、収差等による画像劣化を補正し、画像劣化の影響を除去してから手ぶれ復元演算を行なうため、簡単な演算で画面全体で正確な手ぶれ復元ができ、画面全体で鮮鋭な画像を得ることができる。

図１０は実施例３におけるシーケンス制御回路１１９の処理フローを示す。まず、レリーズスイッチ３を押して撮像し（Ｓ２０１）、ズーム、被写体距離からディストーションに対する歪補正値を歪補正値メモリー１７１から読み出し（Ｓ２０２）、画像歪補正回路１７２でレンズの画像歪補正をして（Ｓ２０３）、角速度センサ１０８、１０９で検出した手ぶれから求めたエリアごとの時系列の手ぶれ軌跡から画像復元関数算出回路１２２で手ぶれ画像復元関数を算出して（Ｓ２０４）、手ぶれ画像復元関数に応じて画像復元演算回路１２３で手ぶれ補正し（Ｓ２０５）、画像圧縮・伸長回路１５１で画像圧縮してから（Ｓ２０６）、記録手段１５２を利用して画像記録媒体１５３に記録する（Ｓ２０７）。

図１１はビルを撮影した場合の画像歪の模式図であり、図１１（Ａ）はディストーションゼロのイメージ図、図１１（Ｂ）はたる型ディストーションのもとでの画像、図１１（Ｃ）は糸巻き型ディストーションのもとでの画像、図１１（Ｄ）は像高と歪補正との関連図、図１１（Ｅ）は像高の説明図をそれぞれ示す。図１１（Ｅ）に示すように、像高は画面の中央でゼロ、周辺（最外周）で１となり、同心矩形上で同一の像高となる。

同じ材質、同じ条件下でレンズを成形しても、レンズ特性にばらつきが生じることは避け難く、画像を正確に復元するためには、レンズ特性の相違を考慮する必要がある。図１１（Ｂ）のようなたる型ディストーションの画像や図１１（Ｃ）のような糸巻き型ディストーションの画像を電気補正によって、ディストーションゼロの図１１（Ａ）の画像に近づけても、レンズ特性のばらつきで歪ゼロから外れることがある。人間の目は、魚眼レンズによる画像に見慣れていることもあり、たる型に歪んだ画像に対してはさほど違和感を感じない。しかし、糸巻き型に歪んだ画像に対しては違和感を感じ、不自然さが目立つ。そのため、歪ゼロに補正したとき、レンズ特性のばらつきの影響でゼロから外れるなら、復元画像が糸巻き型に歪んだ画像となるより、むしろ、たる型に歪んだ画像となることが好ましい。

そのため、図１１（Ｄ）に示すように、レンズの画像歪（たる型ディストーション）Ｌ₁を歪みゼロのレベルＬ₀をねらって歪補正し（歪補正１）、次に手ぶれ補正のために画像復元演算を行ない、次に電子補正をかけて、その画像をレベルＬ₂まで逆補正してたる型方向に戻す（歪補正２）。ここで言葉の定義について若干説明するが、歪の補正とは歪の影響の有る画像データにおいて歪の影響をなくすか、または小さくすることを指し、歪の逆補正とは歪のない画像データに対して歪をわざとつけるか、または歪のある画像データに対して歪の影響をさらに大きくする処理のことを指す。ここで、歪補正１に対して逆補正である歪補正２の歪量は少なくし、糸巻き型への補正を＋（プラス）、たる型への補正をー（マイナス）としたとき、たとえば、像高ｄ＝１の周辺における最大歪量は歪補正１で＋１２％、歪補正２でー４％とされる。また、糸巻き型ディストーションに対しても、同様に、レンズの画像歪（糸巻き型ディストーション）Ｌ₃を歪みゼロのレベルＬ₀をねらって歪補正し（歪補正１）、次に手ぶれ補正のために画像復元演算を行ない、次に電子補正によってその画像をレベルＬ₂まで逆補正してたる型画像とする。

このように、歪ゼロをねらった歪補正（歪補正１）の後、たる型への逆補正（歪補正２）をかけることにより、レンズ特性の相違に起因する歪補正のばらつきによって歪補正１で糸巻き型の画像がたとえ生成されても、歪補正２により糸巻き型から強制的にたる型に補正される。そのため、糸巻き型に歪んだ画像の生成が防止され、違和感のない画像が復元される。糸巻き型、たる型のディストーションの混在するいわゆる陣笠型ディストーションによってエリアごとにディストーションが相違する場合でも、ゼロの歪補正とたる型への逆補正（歪補正２）とを併用することにより、違和感のない画像が得られる。ディストーション逆補正（歪補正２）は画像復元演算回路１２３でなされており、画像復元演算回路は手ぶれ復元手段、ディストーション逆補正手段ということもできる。なお、糸巻き型ディストーションでの歪補正２も、画像復元演算回路１２３でなされる。

図１２は、図１１の画像復元におけるシーケンス制御回路１１９の処理フローを示し、歪補正２を加えた点で図１０の処理フローと相違する。すなわち、レリーズスイッチ３を押して撮像し（Ｓ３０１）、ズーム、被写体距離からディストーションに対する歪補正値を歪補正値メモリー１７１から読み出し（Ｓ３０２）、角速度センサ１０８、１０９で検出した手ぶれから求めた時系列の手ぶれ検出信号（手ぶれ軌跡）から画像復元関数算出回路１２２で手ぶれ画像復元関数を算出して（Ｓ３０４）、レンズの画像歪（たる型ディストーションＬ₁、糸巻き型ディストーションＬ₃）を歪みゼロのレベルＬ₀をねらって画像歪補正回路１７２で歪補正（歪補正１）する（Ｓ３０３）。それから、画像復元演算回路１２３で復元演算を行なって手ぶれ補正し（Ｓ３０５）、たる型歪みの生じる方向に逆補正してレベルＬ₂とし（Ｓ３０６）、画像圧縮・伸長回路１５１で画像圧縮してから（Ｓ３０７）、記録手段１５２を利用して画像記録媒体１５３に記録する（Ｓ３０８）。

動画におけるフレーム間の手ぶれによる画像劣化を考慮した別実施例（実施例４）について、図１３〜図１５を参照しながら説明する。実施例４においても、図３を除く図１〜図８の図面を共通とし、図３を除く図１〜図８の説明は実施例４にも適用される。図１３、図１４はデジタルカメラの制御回路の構成図であり、構成要素として補正値記憶メモリー１１８、軌跡補正回路１２１が省略されている点で第３図と相違し、図１５は補正値記憶メモリー１１８、軌跡補正回路１２１に加えてフレーム間シフト量算出回路１３１が省略され、画像シフト算出回路１７３が加えられている点で図３と相違する。

図１３は動画やスルー画を対象としており、フレーム間の手ぶれ補正をしてからフレーム内の手ぶれ補正をしている。つまり、角速度センサ１０８、１０９で検出した手ぶれに応じて画像シフト回路１３２でフレームごとにぶれ補正し、静止画と同様に、各フレームを画像復元演算回路１２３で手ぶれ軌跡に基づいて画像演算を行なってから、ビューファインダ６、背面ＬＣＤパネル１０に表示したり、画像記録媒体１５３に記録している。この構成では、フレーム内のぶれが補正され、鮮明なスルー画、動画が得られる。また、動画撮影においてフレーム間の手ぶれ補正に加えてフレーム内の手ぶれ補正も行なうため、フレーム間の手ぶれ補正のみを行なう場合に加えて、高品位の画像が得られる。先にフレーム間補正を行ない、実際に画像として表示されるエリアが確定してからフレーム内補正を行なえるので、表示に使用されない無駄な部分についても補正をかける場合よりも処理の量が少なくてすむ。

また、シーケンス制御回路１１９は、手ぶれ検出信号に応じてフレーム間で発生した画像シフトを求め、このフレーム間で発生した画像シフトより画像シフト回路１３２を動作させている。そして、フレーム間、フレーム内ともに角速度センサ１０８、１０９の出力をもとにしているため、画面内で被写体側に動くものがあっても、それに影響されてフレームのシフトが不正確になることがなく、動いていない被写体の手ぶれによる劣化を確実に補正できる。

図１４も、動画やスルー画を対象としており、図１３とは逆に、フレーム内の手ぶれ補正をしてからフレーム間の手ぶれ補正をしている。つまり、静止画と同様に、各フレームを手ぶれ軌跡に基づいて画像復元演算回路１２３で画像復元演算を行なった後、フレームごとに角速度センサ１０８、１０９で検出した手ぶれに応じて画像シフト回路１３２でぶれ補正してから、ビューファインダ６、背面ＬＣＤパネル１０に表示したり、画像記録媒体１５３に記録している。この構成においても、フレーム内のぶれが補正され、鮮明なスルー画、動画が得られる。

実施例４においても、フレーム間およびレーム内の手ぶれ補正をしてから画像圧縮・伸長回路１５１で圧縮してから、記録手段１５２を利用して画像記録媒体１５３に記録しており、手ぶれ復元演算を行なった後に画像を圧縮・記録するために、画像復元演算時に圧縮前の劣化のない状態で行なえ、正確な手ぶれ復元演算ができる。そして、フレーム間およびレーム内の手ぶれ補正をしてから圧縮して記録されるため、高品位の多くの枚数の画像を少ない容量の小型・安価な画像記録媒体１５３に記憶できる。

図１５は、フレーム間シフト量算出回路１３１の代わりに画像シフト算出回路１７３が配置されている点を除けば図１４に等しい。つまり、図１５においては、フレーム間の画像の変化から、たとえば画像の相関演算などにより画像的にフレーム間のシフト量を画像シフト量算出回路１７３で算出して画像シフトを行なっている。この構成では、フレーム間のブレで画像が不鮮明になるとフレーム間のシフト量の算出が不正確になるので、フレーム内のぶれ復元演算を先に行なうことが効果的である。

また、動画撮影においてフレーム内の手ぶれ補正をしてから、そのデータをもとにフレーム間の画像シフトを画像データより求めているため、フレーム内の手ぶれ補正をしない画像を用いてフレーム間の画像シフトを求める場合に比べて、正確なフレーム間のシフト量を算出することができ、より正確な手ぶれ補正ができる。

なお、シーケンス制御回路１１９は、画像データからフレーム間で発生した画像シフトを求め、このフレーム間で発生した画像シフトより画像シフト回路１３２を動作させている。そのため、フレームのシフトに関して、角速度センサ１０８、１０９の出力が、フレーム内よりもフレーム間で一般的に長時間になり、ノイズ成分の積算でフレームのシフトが不正確になることがなく、正確なシフトができる。

さらに、シーケンス制御回路１１９は、画像シフト算出回路１７３、画像シフト回路１３２の両方またはいずれか一方を選択的に動作させるように制御することが好ましく、そうであれば、手ぶれによるフレーム内の劣化が小さい場合など、必要のない部分の動作をさせないため、電力消費を抑えることができる。

上述した実施例は本発明を説明するためのものであり、本発明は実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上記以外の変形や応用が可能であることはいうまでもない。

本発明によれば、光学系のディストーション等による画像劣化があっても、手ぶれ復元演算の前に光学系によって発生する画像劣化を補正して、画像劣化の影響を除去してから手ぶれ復元演算を行なっているため、ディストーション等による画像劣化に排して手ぶれによる劣化画像の復元を必要とする分野に本発明が広範囲に応用できる。

デジタルカメラに適用した本発明の実施例１、２におけるデジタルカメラを示し、（Ａ）（Ｂ）はデジタルカメラの前面斜視図、背面斜視図である。レンズユニット２の概略図である。実施例１、２におけるデジタルカメラの制御回路の構成を示す。静止画での電子手ぶれ補正のイメージを示し、（Ａ）（Ｂ）はＸ軸、Ｙ軸での手ぶれ(回転角)θｘ、θｙの変化、（Ｃ）は撮像素子（ＣＣＤ）１１４上でのぶれ軌跡、（Ｄ）は原画像と撮像画像との関係を示す。動画電子手ぶれ補正のイメージを示し、（Ａ）（Ｂ）（Ｃ）は変動する３つのフレームを示し、（Ｄ）（Ｅ）は３つのフレームの単純に順次表示した画像と、補正された画像を順次表示した画像を示す。各モードでの電子手ぶれ補正量、画像切り出し範囲を示すＣＣＤ画像を示し、（Ａ）は（Ｂ）は動画、動画モード時のスルー画、静止画モード時のスルー画および静止画での電子手ぶれ補正量（最大シフト量）、（Ｂ）は画像切り出し範囲のＣＣＤ画像を示す。実施例１、２におけるメインフローである。図７と同様に、実施例１、２におけるメインフローである。図３に対応する本発明の実施例３におけるデジタルカメラの制御回路の構成を示す。実施例３におけるシーケンス処理回路の処理フローである。実施例３における画像歪の模式図であり、（Ａ）はディストーションゼロのイメージ図、（Ｂ）はたる型ディストーションのもとでの画像、（Ｃ）は糸巻き型ディストーションのもとでの画像、（Ｄ）は像高、歪補正の関係図、（Ｅ）は像高の説明図をそれぞれ示す。図１１（Ｄ）における画像歪みの復元におけるシーケンス処理回路の処理フローである。図３に対応する本発明の実施例４におけるデジタルカメラの制御回路の構成を示す。本発明の実施例４の変形例１におけるデジタルカメラの制御回路の構成を示す。本発明の実施例４の変形例２におけるデジタルカメラの制御回路の構成を示す。

符号の説明

１カメラボディ
２レンズユニット
５手ぶれモードスイッチ
６ビューファインダ
７静止画・動画切替キー
１０背面ＬＣＤパネル
１１パワースイッチ
１０８、１０９Ｘ軸、Ｙ軸の角速度センサ
１１２基本軌跡演算回路
１１３軌跡メモリー回路
１１４撮像素子（ＣＣＤ）
１１７画像処理回路（ＲＧＢ処理、シェーデイング補正含む）
１１８補正値記憶メモリー
１１９シーケンス制御回路
１２０静止画手ぶれ処理回路
１２１軌跡補正回路
１２２画像復元係数算出回路
１２３画像復元演算回路
１３０動画手ぶれ処理回路
１３１フレーム間シフト量算出回路
１３２画像シフト回路
１５１画像圧縮・伸長回路
１５２記録手段
１５３画像記録媒体
１７１歪み補正値メモリ
１７２画像歪補正回路

Claims

被写体像を形成するための光学系と、
前記光学系により形成された被写体像より画像データを得るための撮像手段と、
前記撮像手段への露光を制御するための露光制御手段と、
手ぶれを検出するための手ぶれ検出手段と、
前記撮像手段の露光期間中における、前記手ぶれ検出手段から出力される時系列の手ぶれ検出信号を記憶するための手ぶれ検出信号記憶手段と、
前記光学系により発生するディストーションに関する情報を記憶するためのディストーション情報記憶手段と、
前記撮像手段から出力された画像データに対して、前記ディストーション情報記憶手段に記憶されたデータによりディストーションの補正を行うディストーション補正手段と、
前記ディストーション補正手段からの画像データに対して、前記手ぶれ検出信号記憶手段に記憶された時系列の手ぶれ検出信号により手ぶれによる劣化の復元を行う手ぶれ復元手段と、
前記手ぶれ復元手段からの画像データに対して所定量、樽型方向にディストーションの逆補正を行うためのディストーション逆補正手段と、
前記ディストーション逆補正手段からの画像データを適用された記録媒体に記録するための記録手段とを具備する撮像装置。
前記ディストーションの逆補正が、ディストーションの補正に対して少ない割合で補正を行うことを特徴とする請求項１記載の撮像装置。