JP4900939B2

JP4900939B2 - 撮像装置の制御方法

Info

Publication number: JP4900939B2
Application number: JP2006320244A
Authority: JP
Inventors: 正史木村; 稔廣瀬
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-11-28
Filing date: 2006-11-28
Publication date: 2012-03-21
Anticipated expiration: 2026-11-28
Also published as: JP2008134426A

Description

本発明は、いわゆる手振れ補正機構を備えたデジタルスチルカメラ、ビデオカメラ等の撮像装置の制御方法に関する。

近年、デジタルスチルカメラ、ビデオカメラ等のカメラの高機能化が進んでおり、高機能化の一環としていわゆる手振れを防止する機能を搭載したカメラが多く見られる。手振れを防止する機構として、下記特許文献１では、ジャイロ信号を元に手振れの検出を行い、その信号に基づいて補正を行う手段を開示している。その補正の手段としては、光学系の一部を操作することによって補正や画像の走査範囲を変更する方法が開示されている。その結果として、手振れによる画像の劣化を防いで高品位な画像を得ることが出来る。

また、下記特許文献２では、ビデオカメラに対していわゆる電子的手振れ補正の技術を適用した例を開示している。すなわち、ジャイロ信号を適切に処理して画像の走査範囲を変更する装置が開示されている。

また、下記特許文献３では、複数の画像を時系列的に取得して合成を行う画像処理装置が開示されている。下記特許文献３によると、複数の画像のマッチングをする際に、マッチング範囲を画像入力手段の移動情報に基づいて制限してマッチングを行っている。

また、下記特許文献４では、複数の手振れ防止手段を備え、入力される振れの周波数等に基づき一方の防振機能を停止させるように制御する装置が開示されている。
特開昭６０−１４３３３０号特開平１１−２３９２９３号特開平０５−２６０２６４号特開平０５−２７６４２９号

上記特許文献１、２に開示された方法を用いることで、手振れの影響を低減して高品位な画像を得ることが可能となる。しかしながら、光学的手振れ補正と電子的手振れ補正とでは、カバーできる周波数帯域や画像品質等において、それぞれ長所、短所がある。従って、両者をより有効に活用して精度の高い手振れ補正を行う上では改善の余地があった。
また、光学的手振れ補正においては機械的な制約や電力的な制約により、大きなぶれに対しては必ずしも適切に補正が行えないという問題があった。

上記特許文献３では、複数の画像を合成して適切な画像を得ることが可能であるが、計算負荷が大きいという問題があった。

さらに、上記特許文献４では、複数の手振れ防止手段を選択的に駆動可能であるが、いずれかの防振効果のみしか得ることが出来ず、複数の手振れ防止手段を有効に制御する観点からは改善の余地があった。

本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、簡単な構成にて、光学防振機能と電子防振機能とを有効に制御して適切な振れ補正を行えるようにすることにある。

上記目的を達成するために本発明の撮像装置は、光学系によって形成される被写体像を撮像素子で撮像画像に変換する撮像装置であって、前記撮像装置の振れを検出する振れ検出手段と、前記撮像画像の像ブレ補正を光学的に行う光学防振手段と、前記振れ検出手段の出力に基づいて、前記光学防振手段による光学的像ブレ補正のための駆動信号を出力する第１フィルタ手段と、前記第１フィルタ手段から出力される駆動信号に基づいて前記光学防振手段を駆動する駆動手段と、前記第１フィルタ手段とは特性が異なり、かつ前記光学防振手段によって除去できなかったブレ成分を抽出するように特性が設定されている、前記振れ検出手段の出力に基づいて前記駆動手段の追従誤差に相当する成分を抽出するための第２フィルタ手段と、前記第２フィルタ手段の出力に基づいて、前後して取得される画像間のずれ量を出力するずれ量出力手段と、前記ずれ量出力手段の出力に基づいて、前記撮像素子の画像走査範囲を変更することにより、前後して取得される画像間の振れを補正する電子防振手段とを有することを特徴とする。

本発明によれば、簡単な構成にて、光学防振機能と電子防振機能とを有効に制御して適切な振れ補正を行うことができる。

また、適切なフィルタを用いることで、簡単な構成で高品位な画像を得ることができる。

以下、本発明の実施の形態を図面を参照して説明する。

（第１の実施の形態）
図１から図５を用いて、本発明の第１の実施の形態を説明する。図１は、本発明の第１の実施の形態に係る撮像装置の構成を模式的に示す図である。

この撮像装置１は、静止画及び動画を撮影可能な、例えば、デジタルカメラとして構成される。撮像装置１は、撮像レンズ等でなる撮影光学系２、補正光学系駆動部３、レンズ鏡筒５を有し、撮影光学系２の光軸４に沿って補正光学系１２が設けられる。また、撮像装置１の振れを検出する振れ検出手段である手振れセンサ８が設けられる。さらに、撮像素子６、メモリ７、補正光学系駆動制御部９、電源１０、レリーズ釦１１、クイックリターンミラー１３、ファインダ光学系１４が設けられる。

撮像装置１は、撮影光学系２と不図示のピント調整機構を用いて、像を撮像素子６に結像させる。さらに、ユーザによるレリーズ釦１１の操作と同期させて、撮像素子６より被写体の情報（画像情報）を得て、メモリ７への記録を行う。

次に、補正光学系１２を用いた手振れの補正（光学防振）について説明する。補正光学系１２は、、撮影光学系２を構成する他のレンズに対して相対的に移動することで、撮像素子６上の像を微小変位させることが出来る。この補正光学系１２の移動は、補正光学系駆動部３の駆動により行われる。露光中等に手振れが作用したときは、手振れセンサ８の信号に基づいて補正光学系駆動制御部９を介して補正光学系駆動部３が動作する。この結果、撮像素子６上での像の振れが軽減されて、手振れによる画像の劣化が補正される。

図２は、撮像装置１の電気的構成を示すブロック図である。撮像装置１は、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系２、撮像素子６を含み、画像処理系は、Ａ／Ｄ変換器３０、画像処理部３１を含む。また、記録再生系は、記録処理部３３、メモリ３４を含み、制御系は、カメラシステム制御部３５、ＡＦセンサ３６、ＡＥセンサ３７、手振れセンサ８、操作検出部３９及びレンズシステム制御部４０を含む。

撮像系は、物体からの光を、撮影光学系２を介して撮像素子６の撮像面に結像させる光学処理系であり、ＡＥセンサ３７の信号をもとに図示しない絞り等を用いて適切な光量の物体光を撮像素子６に露光する。画像処理部３１は、Ａ／Ｄ変換器３０を介して撮像素子６から受けた撮像素子の画素数の画像信号を処理する信号処理回路である。画像処理部３１は、いずれも不図示のホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。

記録処理部３３は、メモリ３４への画像信号の出力を行うとともに、表示部３２に出力する像を生成、保存する。また、記録処理部３３は、予め定められた方法を用いて画像や動画の圧縮を行う。

制御系において、操作検出部３９がレリーズ釦１１等の操作を検出すると、その検出信号に応動して各部が制御される。カメラシステム制御部３５は、手振れセンサ８の信号処理を行う手振れセンサ信号処理部（以下、単に「信号処理部」と称する）３５ａを含み、撮像の際のタイミング信号等を生成して出力する。ＡＦセンサ３６は、撮像素子６上に結像される被写体像のピント状態を検出する。ＡＥセンサ３７は被写体の輝度を検出する。手振れセンサ８は、撮像装置１の振れ、いわゆる手振れを検出する。レンズシステム制御部４０は、カメラシステム制御部３５の信号に応じて適切に撮影光学系２のレンズ等を制御する。

制御系はまた、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、レリーズ釦１１の押下を検出して、撮像素子６の駆動、画像処理部３１の動作、記録処理部３３の圧縮処理等を制御する。さらに表示部３２によって、不図示の光学ファインダ、液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。

カメラシステム制御部３５にはＡＦセンサ３６とＡＥセンサ３７とが接続されており、これらの信号を元に、レンズ、絞り板等が適切に制御される。さらに、カメラシステム制御部３５には手振れセンサ８が接続されており、手振れ補正を行うモードにおいては、手振れセンサ８の信号を元に、光学防振機構を構成する補正光学系駆動制御部９、補正光学系駆動部３及び補正光学系１２が駆動制御される。

次に、電子防振、特に、画像走査範囲の変更による電子的手振れ補正について説明を行う。本撮像装置１は、カメラシステム制御部３５からの信号に伴って、Ａ／Ｄ変換器３０の走査範囲を変更可能な構成となっている。すなわち、上記特許文献２、４等に開示される公知の手法によって、画像の読み出し位置を可変することで画像振れを抑制する。

具体的には、露光中等に手振れが作用したときは、手振れセンサ８の信号に基づいて適切に走査範囲を変更することで、撮像素子６上で被写体像が変位していても見かけ上静止したような像を得ることが出来る。この結果、画像処理部３１に提供される像の振れが軽減されて、手振れによる画像の劣化が抑制される。

このように、本撮像装置１は、手振れ補正機構として、補正光学系による光学防振機構と画像走査範囲の変更による電子防振機構とを有する。ここで、一般に、２つの手振れ補正機構を有する撮像装置において、それぞれの手振れ補正機構を単純に同時に駆動した場合、補正動作が過剰になり、入力された振れとは反対方向の振れが発生した像になってしまう場合がある。上記特許文献４では、入力信号の特性によって、駆動する手振れ補正装置を切り替えることで対処できる。これに対し本実施の形態では、補正光学系による光学防振機構の機能を十分に発揮しながら、簡単な構成で、画像走査範囲の変更による電子防振機構も適切に駆動する。

次に、図３、図４を用いて、本実施の形態の要部である、手振れ補正機構における信号処理について説明する。図３は、カメラシステム制御部３５の一部である信号処理部３５ａの構成を示すブロック図である。図４（ａ）〜（ｃ）は、信号処理部３５ａにおけるフィルタの特性を模式的に示した図である。

図３に示すように、手振れセンサ８にはローパスフィルタ（以下、「ＬＰＦ」と称する）５１、積分器５２が直列に接続されている。また、積分器５２に、ハイパスフィルタ(以下、「ＨＰＦ」と称する）５３及びＨＰＦ５６が接続されている。ＨＰＦ５３には、ゲイン５４、パンチルト制御器５５が接続され、ＨＰＦ５６には、ゲイン５７が接続されている。

手振れセンサ８の信号については、ＬＰＦ５１を介してノイズの除去が行われる。図４（ａ）に、ＬＰＦ５１の特性を示す。図４（ａ）に示すように、ＬＰＦ５１のカットオフ周波数は、適切にノイズ除去を行うために、１０ｋＨｚ程度に設定されている。

手振れセンサ８としては、ジャイロ等の角速度センサが採用されており、積分器５２を介して角度への変換が行われる。なお、手振れセンサ８に角度センサを採用してもよく、その場合は積分器５２は不要である。あるいは、手振れセンサ８に角加速度センサを採用してもよく、その場合は、もう一つ積分器を追加した構成とする。本実施の形態では、角速度センサを用いた場合として説明を行う。

積分器５２の出力信号（手振れによる角度変化の信号）から、ＨＰＦ５３を介して補正光学系１２の制御に用いる信号が抽出される。ＨＰＦ５３は、手振れセンサ８のドリフトを除去するものである。ＨＰＦ５３のカットオフ周波数は、手振れセンサ８のセンサ特性と手振れの特性とによって決められるが、図４（ｂ）に示すように、概ね０.０１Ｈｚから１Ｈｚの範囲に定められる。

ＨＰＦ５３を通過した後の信号に対して適切なゲイン５４がかけられ、パンチルト制御器５５によってパンチルト制御が行われる。パンチルト制御器５５の出力は、補正光学系１２を駆動するための補正光学系駆動制御部９の制御信号としてカメラシステム制御部３５からレンズシステム制御４０に与えられる。これにより、光学防振が行われる。

一方、積分器５２の出力信号からはまた、ＨＰＦ５６を介して画像走査範囲の制御に用いる信号が抽出される。ＨＰＦ５６は、補正光学系１２による振れ補正を行った場合においても、残留する振れ成分を抽出するものである。そのカットオフ周波数は、補正光学系１２及び補正光学系駆動制御部９の制御帯域によって決められる。制御帯域は無限に大きく設定することはできないので、手振れの入力が多い周波数帯に設定される。

図５は、補正光学系駆動制御部９の制御帯域、及び、補正光学系１２よる振れ補正を行った場合においても残留する振れを説明する図である。

同図において、縦軸は、被写体像の移動量の比である出力／入力（ｄＢ）を示す。すなわち、「入力」としては、外部から入力される手振れ成分による撮像素子６上での被写体像の移動量を示す。「出力」としては、補正光学系１２によって補正された後の撮像素子６上での被写体像の移動量を示す。

制御帯域内においては、補正光学系１２によってブレ（振れ）が十分に補正され、撮像素子６上での被写体像の移動量が小さくなる。そのため出力／入力は小さな値となる。一方、その他の帯域ではブレが補正されないので、例えば図５に示すように出力／入力≒０ｄＢとなる。

制御帯域は、手振れの特性から、低い側の周波数は、０.１−１Ｈｚ程度に設定される。高い側の周波数は、一般に、レンズ駆動装置の共振周波数や制御器によって決められるが、５０−２００Ｈｚ程度になることが多い。そこで、ＨＰＦ５６のカットオフ周波数は、図４（ｃ）に示すように、２００Ｈｚ程度に設定することで、補正光学系１２で除去できなかったブレ成分を抽出できるようにしている。なお、ＨＰＦ５６のカットオフ周波数は、少なくとも、１０Ｈｚから１ｋＨｚの間に設定する。

次に、ＨＰＦ５６が「駆動手段リミット信号」と連動するときの動作とその効果について述べる。ここで、駆動手段リミット信号とは、手振れが補正光学系１２の補正可能範囲を超えたことを示す信号である。補正光学系１２の補正可能範囲で補正が出来ないような振れが印加された場合、補正光学系１２はその振れに対して追従できず、補正動作を行うことが出来ない。これを検出して、ＨＰＦ５６の特性を切り替え、例えば、ＨＰＦ５６のカットオフ周波数を十分低くする等する。ＨＰＦ５６を通過した信号は、補正光学系１２を用いた振れ補正の残留分を適切に抽出するとともに、補正光学系１２のみでは補正が困難な大きな振れにも対応できる。

上述したように、補正光学系駆動制御部９の制御帯域よりも高い周波数の追従誤差はＨＰＦ５６で抽出される。一方、制御帯域よりも低い周波数の追従誤差は、動画撮影の場合等は無視できる。このことを以下に説明する。

振れによる連続する２つのコマの間の画像の振れは、レンズの焦点距離をｆ、振れ振幅をＡ、振れの角速度をω、コマの時間間隔をｔとすると、下記数式１で表される。

仮に、レンズの焦点距離を２８ｍｍとし、０.１Ｈｚで０.１ｄｅｇ程度の振れが印加され、動画撮影のフレームレートを３０ｆｐｓとする。この条件で計算すると、像面での移動は１μｍであり、無視できるレベルである。

ＨＰＦ５６の出力には、ゲイン５７により適切なゲイン係数がかけられて、それが、連続する画像間のずれ量となる。このずれ量に基づいて次の画像の画像走査範囲を適切に制御することで、画像間に生じる手振れを補正することが可能となる。このように、連続して得られる画像に対して、次々と上記の画像走査範囲の制御を行うことで、手振れによる像の劣化の少ない電子防振を実現した動画像を得ることができる。

このように、簡単なフィルタを介して、２つの手振れ補正機構を並行して動作させることが出来る。すなわち、ＬＰＦ５１を通過し且つＨＰＦ５３を通過した信号により光学防振を行うが、その信号のうち制御帯域より高い周波数のものは、光学防振では追従できず、追従誤差となる。ところが、本実施の形態では、ＬＰＦ５１を通過し且つＨＰＦ５６を通過した信号を用いて、画像走査範囲の変更による電子防振を行うようにしたので、光学防振で追従しきれなかった分を電子防振が補完するという役割を果たすことができる。その結果として、補正光学系１２による振れ補正効果を十分に得つつ、画像走査範囲変更による手振れ補正を補完的に用いることが出来る。

本実施の形態によれば、簡単な構成にて、光学防振機能と画像走査範囲変更による防振機能とを有効に制御して適切な振れ補正を行うことができる。

また、駆動手段リミット信号に応じてＨＰＦ５６の周波数特性を切り替えることで、光学防振では追従できない周波数範囲を電子防振で動的に補完し、一層適切な振れ補正を行うことができる。

（第２の実施の形態）
図１及び図４〜図９を用いて本発明の第２の実施の形態を説明する。本第２の実施の形態の撮像装置の構成は第１の実施の形態と同様であり、図１に示す通りである。第２の実施の形態では、電子防振機構として、画像合成による電子的手振れ補正を採用する。光学防振機構については第１の実施の形態と同様である。

図６は、本実施の形態の撮像装置の電気的構成を示すブロック図である。この撮像装置は、画像処理部３１が画像合成装置３１ａを備えた点（図６）、及びカメラシステム制御部３５の信号処理部３５ａの内部構成（図８）が第１の実施の形態（図２、図３）とは異なり、その他の構成は同様である。図６、図８において、第１の実施の形態のものと同一の構成要素には同一符号が付してある。

画像合成装置３１ａは、時系列的に取得された複数の画像を合成することが出来る。上記特許文献３に開示された方法によってダイナミックレンジの拡大を行ったり、画素をずらして合成することで高精細画像を得ること等が可能である。

画像合成装置３１ａについて図７を用いて説明する。図７（ａ）及び図７（ｂ）は、本撮像装置により時系列的に連続して取得した画像である。図７（ａ）に示す被写体像６１ａと図７（ｂ）に示す被写体像６１ｂとは同じ被写体の像であるが、図７（ａ）の撮影時点から図７（ｂ）の撮影時点の間に、ユーザによる撮像装置の構えが微妙に変化することで撮像素子６上の像がずれたために、別の位置にある。

図７（ｃ）は、位置合わせを行わずに、すなわちそれぞれの画像のフレームを一致させるように、図７（ａ）及び図７（ｂ）の各画像を重ねた画像を示す図である。この重畳画像は、図７（ａ）と図７（ｂ）で被写体に対する構図が微小量ずれていることから、被写体像が２つに分離したような画像となっている。

これに対し図７（ｄ）は、公知のブロックマッチング等の方法を用いることで図７（ａ）の画像と図７（ｂ）の画像との間の移動ベクトル６０を求めて、被写体像６１ａ、６１ｂを基準に２つの画像を重ね合わせたものである。この場合、被写体像を基準としているので、それぞれの画像のフレームは相対的にずれるものの、被写体像６１ａ、６１ｂは、ずれることなく重なる。

つまり、移動ベクトル６０を求めることが出来れば、２枚に限らず、複数の画像を位置あわせして合成することが可能である。これにより、ダイナミックレンジの拡大や手振れ防止等の効果が得られる。従来、上述のように、複数の像のマッチングを取る（移動ベクトルを求める）ことで位置合わせを行い合成を行う装置が提案されている。しかしながら、一般的にマッチングのための計算量は膨大なものである。

そこで、本実施の形態では、移動ベクトル６０を簡単なフィルタで、補正光学系１２の効果も考慮して適切に求める。

図４、図５、図８、図９を用いて、本実施の形態の要部である、手振れ補正機構における信号処理について説明する。

図８は、本実施の形態におけるカメラシステム制御部３５の一部である信号処理部３５ａの構成を示すブロック図である。

図８に示すように、本実施の形態における信号処理部３５ａでは、積分器５２には、ＨＰＦ５３、ＨＰＦ５６だけでなく、ＬＰＦ７１も接続されている。ＬＰＦ７１とＨＰＦ５６の出力側には、加算器を介してゲイン７２が接続されている。また、パンチルト制御器５５がＬＰＦ７１に接続されている。その他の構成は、第１の実施の形態のもの（図３）と同様である。従って、ＨＰＦ５３及びＨＰＦ５６は、図４（ｂ）及び図４（ｃ）に示すような周波数特性をもつ。積分器５２から出力される信号の特性は第１の実施の形態のものと同じであり、ノイズカットされた角度信号が得られる。

図９は、ＬＰＦ７１の周波数特性を示す図である。ＬＰＦ７１は、ＨＰＦ５３とほぼ同一のカットオフ周波数（図４（ｂ）参照）を有する。

補正光学系１２を駆動する信号を得る処理については第１の実施の形態と同一のため説明を割愛する。以下、移動ベクトルを得る方法について説明する。

ＨＰＦ５６の特性は第１の実施の形態のものと同じであり、補正光学系駆動制御部９の制御帯域よりも高い周波数の追従誤差を抽出する。一方、ＬＰＦ７１は、図９に示すように、制御帯域よりも低い周波数の追従誤差（センサドリフト分）を抽出する。これは、複数の画像の合成を行うような装置においては、時系列的に取得される画像間に大きな時間の差がある場合があり、制御帯域よりも低い周波数の追従誤差を無視できない場合があるためである。さらに、ＬＰＦ７１は、パンチルト制御器５５がパン、チルトの検出をした時にＯＦＦされるように制御されている。このようにすることで、パン、チルト動作を行った時は、パン、チルト動作よりも高い周波数の振れのみを制御して、滑らかな画角の可変がなされる。

ＬＰＦ７１とＨＰＦ５６の出力が加算された後にゲイン７２により適切なゲインがかけられることで、補正光学系１２の追従誤差を抽出して移動ベクトルの成分を得ることが出来る。なお、ここまでは、１軸周りの回転振れについて述べたが、他の１軸周りの振れについて同じ処理を行うことで、移動ベクトルのそれぞれの成分を得ることが出来る。その結果、移動ベクトルを求めることが可能となる。そして、求めた移動ベクトルに基づいて、画像の合成を行うことで、少ない計算負荷にて、時系列的に得られた画像の画像合成による電子防振機能が果たされ、ダイナミックレンジ拡大や画像の高精細化といった効果を得ることが出来る。

このように、簡単なフィルタを介して、光学防振機構と画像合成装置３１ａとを並行して動作させることが出来る。その結果として、補正光学系１２による振れ補正効果を十分に得つつ、少ない計算負荷で適切に画像合成装置３１ａを動作させることが出来る。特に、光学防振では用いない（捨てている）信号である、制御帯域よりも低い周波数の信号を用いて画像合成装置３１ａを動作させるので、簡単な構成で高品位な画像を得ることが可能となる。

本実施の形態によれば、簡単な構成にて、光学防振機能と計算負荷の少ない画像合成による防振機能とを有効に制御して適切な振れ補正を行うことができる。

（第３の実施の形態）
図１、図４、図６及び図９〜図１２を用いて、本発明の第３の実施の形態を説明する。本第３の実施の形態の撮像装置の構成は第１の実施の形態と同様であり、図１に示す通りである。第３の実施の形態では、電子防振機構として、画像合成による電子的手振れ補正を採用する。光学防振機構については第１の実施の形態と同様である。また、本実施の形態の撮像装置の電気的構成は、第２の実施の形態と同様である（図６参照）。ただし、カメラシステム制御部３５の信号処理部３５ａの内部構成（図１０）が第２の実施の形態（図８）とは異なる。図１０において、第１、第２の実施の形態のものと同一の構成要素には同一符号が付してある。

図４、図１０〜図１２を用いて、本実施の形態の要部である、手振れ補正機構における信号処理について説明する。

図１０は、本実施の形態におけるカメラシステム制御部３５の一部である信号処理部３５ａの構成を示すブロック図である。

図１０に示すように、本実施の形態における信号処理部３５ａでは、積分器５２には、ＨＰＦ５３、ＬＰＦ７１だけでなく、ＨＰＦ８１も接続されている。ＬＰＦ７１とＨＰＦ８１の出力側には、加算器を介してゲイン７２及びゲイン８３が接続されている。また、ゲイン８３には、絶対値８４と加算器を介して積分器８５が接続されている。絶対値８４の後続の上記加算器には、手振れセンサ８のドリフトオフセットの信号が入力される。また、パンチルト制御器５５がＬＰＦ７１に接続されている。その他の構成は、第１の実施の形態と同様である。

ＨＰＦ５３、ＬＰＦ７１は、図４（ｂ）、図９に示すような周波数特性をもつ。ＬＰＦ７１は、第２の実施の形態と同様に、パン、チルト制御に連動してＬＰＦ７１の出力がＯＮ／ＯＦＦされる。積分器５２から出力される信号の特性は第１の実施の形態のものと同じであり、ノイズカットされた角度信号が得られる。補正光学系１２を駆動する信号を得る処理については第１の実施の形態と同一のため説明を割愛する。

ＨＰＦ８１は、「駆動手段周波数特性切替信号」及び「駆動手段リミット信号」に連動してそのカットオフ周波数を変化させることが可能な構成となっている。まず周波数特性の切替に連動する動作とその効果について述べる。

図１１は、ＨＰＦ８１の周波数特性を示す図である。図１２は、補正光学系１２における補正光学系駆動制御部９の制御帯域等を示す図である。

補正光学系１２は、通常、ある制御帯域を持っているとする（制御帯域１とする）。撮影光学系の焦点距離、撮影するときのフレームレート、撮像装置に作用する振れの周波数特性等の要素から、制御帯域を切り替えたほうが補正光学系１２の効果をより発揮できる場合がある。そこで、このような場合は制御帯域を変更する（制御帯域２とする）。

図１２に示すように、補正光学系駆動制御部９の制御帯域が制御帯域１である時の出力／入力は、出力／入力比９３のようになり、制御帯域２である時の出力／入力は、出力／入力比９４のようになる。このとき、補正光学系１２の追従漏れを抽出するＨＰＦ８１の周波数特性もそれに対応して切り替える必要がある。図１１において制御帯域１に対応したＨＰＦ８１の周波数特性は特性９１のようになり、制御帯域２に対応したＨＰＦ８１の周波数特性は特性９２のようになる。

すなわち、上記した焦点距離、フレームレート、振れの周波数特性等の要素に基づいて、補正光学系１２の制御帯域が切り替えられると共に、「駆動手段周波数特性切替信号」がＨＰＦ８１に送られて、ＨＰＦ８１の周波数特性が切り替えられる。これにより、例えば、補正光学系１２が動作しない場合は、ＨＰＦ８１はＨＰＦ５３と同じ周波数特性（特性９１）となり、ＬＰＦ７１と併せて、全ての振れが抽出される。このように、補正光学系１２の制御状態によってＨＰＦ８１の周波数特性が適切に切り替えられるので、補正光学系１２を用いた振れ補正の残留分を適切に抽出することができる。なお、制御帯域の切り替えは、ここでは２つの状態を示したが、それ以上の複数の特性を切り替えるようにする場合でも同様のことが行える。

「駆動手段リミット信号」と連動するときのＨＰＦ８１の動作は、第１の実施の形態におけるＨＰＦ５６の動作と同じである。例えば、補正光学系１２の補正範囲で補正が出来ないような振れが印加された場合、これを検出して、補正光学系１２が動作しない場合と同じ特性９１（図１１参照）にＨＰＦ８１の周波数特性を切り替える。その結果、ＨＰＦ８１を通過した信号は、補正光学系１２を用いた振れ補正の残留分を適切に抽出することになる。

ＬＰＦ７１を通過した信号とＨＰＦ８１を通過した信号とを加算することで、時系列的に得られた複数の画像間のずれが分かる。さらに、回転や微小な位置合わせを行うために、本実施の形態では、複数の画像のマッチングから移動ベクトルを求め画像の合成を行う。図１０に示すように、ＬＰＦ７１及びＨＰＦ８１を通過した信号を加算した後に、ゲイン８２で適切なゲインをかけることで、マッチングに用いる初期値を得る。これは代表的なずれを表している。

一方、ＬＰＦ７１及びＨＰＦ８１をそれぞれ通過した信号を加算した後に、ゲイン８３で適切なゲインをかけ、さらに絶対値８４でその信号の絶対値をとる。この絶対値をとった信号に、手振れセンサ８のドリフトオフセット、すなわち、手振れセンサ８のドリフトによって決まる係数を足し合わせた後に積分器８５で積分することで、マッチング範囲を得る。このマッチング範囲は、追従誤差によって信頼性の低い範囲と、手振れセンサ８のドリフトによって信頼性の低い範囲を示している。このようにマッチングの初期値とマッチング範囲とが与えられることで、計算負荷を大幅に低減することが可能となる。

すなわち、ＬＰＦ７１で抽出された、補正光学系駆動制御部９の制御帯域よりも低い周波数の追従誤差（センサドリフト分）と、ＨＰＦ８１で抽出された、上記制御帯域よりも高い周波数の追従誤差とから、マッチング初期値とマッチング範囲とを決定する。そして、決定したマッチング初期値とマッチング範囲とに基づき画像合成を行うことで、少ない計算負荷にて、画像合成による防振機能が果たされる。

本実施の形態によれば、簡単な構成にて、光学防振機能と電子防振機能とを有効に制御して適切な振れ補正を行うことに関し、第２の実施の形態と同様の効果を奏することができる。

特に、ＬＰＦ７１及びＨＰＦ８１の信号を用いて画像合成を行うので、手振れセンサ８で検出できない周波数範囲と光学防振機能で追従できない周波数範囲とを画像合成による防振機能で適切に補完することができる。

また、駆動手段リミット信号及び／又は駆動手段周波数特性切替信号に応じてＨＰＦ８１の周波数特性を切り替えるので、光学防振では追従できない周波数範囲を画像合成による防振機能で動的に補完することができる。

また、マッチング範囲を決定する際、手振れセンサ８のドリフトオフセット分を加えた信号を用いるので、手振れセンサ８のドリフトによって信頼性の低い周波数範囲を画像合成による防振機能で補完することができる。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

本発明の第１の実施の形態に係る撮像装置の構成を模式的に示す図である。撮像装置の電気的構成を示すブロック図である。カメラシステム制御部の一部である信号処理部の構成を示すブロック図である。信号処理部におけるフィルタの特性を模式的に示した図である。補正光学系駆動制御部の制御帯域、及び、補正光学系よる振れ補正を行った場合においても残留する振れを説明する図である。本発明の第２の実施の形態の撮像装置の電気的構成を示すブロック図である。撮像装置により時系列的に連続して取得した画像（図（ａ）、（ｂ））、位置合わせを行わずに各画像を重ねた画像（図（ｃ））、移動ベクトルを元に位置合わせを行った後の画像（図（ｄ））を示す図である。カメラシステム制御部の一部である信号処理部の構成を示すブロック図である。ＬＰＦの周波数特性を示す図である。本発明の第３の実施の形態におけるカメラシステム制御部の一部である信号処理部の構成を示すブロック図である。ＨＰＦの周波数特性を示す図である。補正光学系における補正光学系駆動制御部の制御帯域等を示す図である。

符号の説明

１撮像装置
２撮影光学系
３補正光学系駆動部（駆動手段）
６撮像素子
８手振れセンサ（振れ検出手段）
１２補正光学系（光学防振手段）
３１ａ画像合成装置（画像合成手段）
３５カメラシステム制御部（電子防振手段）
５３ＨＰＦ（第１フィルタ手段）
５６ＨＰＦ（第２フィルタ手段）
５７ゲイン（ずれ量出力手段）

Claims

光学系によって形成される被写体像を撮像素子で撮像画像に変換する撮像装置であって、
前記撮像装置の振れを検出する振れ検出手段と、
前記撮像画像の像ブレ補正を光学的に行う光学防振手段と、
前記振れ検出手段の出力に基づいて、前記光学防振手段による光学的像ブレ補正のための駆動信号を出力する第１フィルタ手段と、
前記第１フィルタ手段から出力される駆動信号に基づいて前記光学防振手段を駆動する駆動手段と、
前記第１フィルタ手段とは特性が異なり、かつ前記光学防振手段によって除去できなかったブレ成分を抽出するように特性が設定されている、前記振れ検出手段の出力に基づいて前記駆動手段の追従誤差に相当する成分を抽出するための第２フィルタ手段と、
前記第２フィルタ手段の出力に基づいて、前後して取得される画像間のずれ量を出力するずれ量出力手段と、
前記ずれ量出力手段の出力に基づいて、前記撮像素子の画像走査範囲を変更することにより、前後して取得される画像間の振れを補正する電子防振手段と
を有することを特徴とする撮像装置。
前記ずれ量出力手段の出力に基づいて、前後して取得される複数の画像間の位置合わせを行って画像合成を行う画像合成手段を更に有することを特徴とする請求項１記載の撮像装置。
前記画像合成手段は、前記ずれ量出力手段の出力により前後して取得される複数の画像のマッチングの初期値及びマッチング範囲を決定して画像合成を行うことを特徴とする請求項２に記載の撮像装置。
前記光学防振手段の補正可能範囲で補正が出来ない場合、前記第２フィルタ手段は、前記光学防振手段によって除去できなかったブレ成分を抽出するように特性を変更することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
光学系によって形成される被写体像を撮像素子で撮像画像に変換する撮像装置の制御方法であって、
前記撮像装置の振れを検出する振れ検出工程と、
前記撮像画像の像ブレ補正を光学防振装置により光学的に行う光学防振工程と、
前記振れ検出工程における出力に基づいて、前記光学防振工程による光学的像ブレ補正のための駆動信号を出力する第１フィルタ工程と、
前記第１フィルタ工程において出力される駆動信号に基づいて前記光学防振装置を駆動する駆動工程と、
前記第１フィルタ工程とは特性が異なり、かつ前記光学防振工程によって除去できなかったブレ成分を抽出するように特性が設定されている、前記振れ検出工程の出力に基づいて前記駆動工程における追従誤差に相当する成分を抽出するための第２フィルタ工程と、
前記第２フィルタ工程における出力に基づいて、前後して取得される画像間のずれ量を出力するずれ量出力工程と、
前記ずれ量出力工程における出力に基づいて、前記撮像素子の画像走査範囲を変更することにより、前後して取得される画像間の振れを補正する電子防振工程とを有することを特徴とする撮像装置の制御方法。