JP4636979B2

JP4636979B2 - 撮像装置及びその制御方法

Info

Publication number: JP4636979B2
Application number: JP2005262977A
Authority: JP
Inventors: 英夫河原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-09-09
Filing date: 2005-09-09
Publication date: 2011-02-23
Anticipated expiration: 2025-09-09
Also published as: JP2007081477A; US20070058049A1

Description

本発明は、撮像装置及びその制御方法に関し、更に詳しくは、動画撮影可能な撮像装置における焦点調節の制御技術に関する。

近年、撮像装置の小型化や光学系の高倍率化が図られているが、これに伴い、装置の揺れ等に起因する撮影画像の品位低下の問題が顕在化する傾向にある。その対策として、撮像装置の揺れ（手揺れ）等により生じた撮影画像のぶれを補正する揺れ補正機能が種々提案されている。揺れ補正機能を撮像装置に搭載することで、ぶれの少ない良好な画像を容易に撮影することが可能になってきている。

ビデオカメラに搭載される揺れ補正機能としては、光学的に揺れを補正するいわゆる光学式揺れ補正方式（例えば、特許文献１参照）や、電気的な処理により揺れの補正を行う電子式揺れ補正方式（例えば、特許文献２参照）が提案されている。

光学式揺れ補正方式では、角速度センサや、画像処理により撮影した複数の画像から画面の動きベクトルを検出するなどして、カメラの角変位を求め、求めた角変位に基づいて光学的に光軸を変移させて振れを相殺する。例えば揺れ補正レンズを光軸直交面内で変位させることにより撮像素子への入射光の光軸を変移させる。このようにしてビデオカメラの揺れを光学的に打ち消すことにより、光学的な揺れ補正が行われ、ぶれのない動画を撮影することができる。しかしながら、光学式揺れ補正方式では、アクチュエータや光学素子などのメカ部材を必要とするために、カメラの小型化に限界があるとともに、コスト的にも不利になるという欠点がある。

電子式揺れ補正方式では、実際に必要とする画像サイズよりも大きめの撮像素子を用い、得られる画像から、カメラの角変位に応じてカメラの揺れを補正するように画像の一部を切り出しながら順次記録することで、ぶれのない動画撮影を実現する。図７はこの動作の概念を示す図であり、（Ａ）はある垂直期間に得られる画像、（Ｂ）は次の垂直期間に得られる画像、（Ｃ）は各垂直期間毎に更新される、（Ａ）及び（Ｂ）の画像の一部を切り出して実際に表示される画像を示している。この電子式揺れ補正方式では、光学式揺れ補正方式で必要なアクチュエータや光学素子などのメカ部材を必要としないことから、カメラの小型化やコスト的に有利であり、広く普及している。しかしながら、電子式揺れ補正方式では、１垂直期間中（電荷蓄積時間中）に起こる揺れを補正することができないため、揺れ補正の精度には限界がある。

また、静止画の電子式揺れ補正方式として、例えば、特許文献３に次の様な方法が記載されている。まず、撮影時に高速な電子シャッターで複数枚の画像を撮影し、ベクトル検出により手ぶれ量を検出する。そして、検出した手ぶれ量に基づいて、撮影した複数枚の画像の切り出し位置を手ぶれを補正するように変更し、切り出した複数枚の画像を重ね合わせて１枚の静止画に合成する。この方法では、手ぶれ補正効果を得るとともに、十分な露光量を有する静止画を得ることができる。

上述の高速な電子シャッターで複数枚の画像を撮影して重ね合わせ合成する静止画の電子式揺れ補正処理を、動画撮影時において１垂直期間毎に行うことで、動画の１垂直期間内の揺れを補正することが可能である。

一方、従来のビデオカメラ等の動画撮影可能なカメラシステムでは、オートエクスポージャ（ＡＥ）やオートフォーカス（ＡＦ）等の機能に見られるように、様々な点で自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。

特開平９−１８１９５９号公報特開平１０−１７８５８２号公報特開平１１−２５２５５６号公報

しかしながら、動画撮影時に、上述した複数枚の画像の撮影及び重ね合わせ合成処理を１垂直期間毎に行うことで、動画の１垂直期間内の揺れを補正する方法において、どのようにＡＦ制御を行うかについて提案がなされていなかった。

例えば、従来の動画撮影のように、撮影した各垂直期間の画像に基づいてＡＦ制御を行う場合には次のような問題があった。即ち、各垂直期間毎に複数枚の画像の撮影が終了してから重ね合わせ合成を行って初めて各垂直期間の画像が得られるため、従来と比較してＡＦ制御を開始できる時間が遅くなってしまい、ＡＦ制御の精度が落ちてしまう。

本発明は上記問題点を鑑みてなされたものであり、各垂直期間内の画像の揺れを補正し、補正した画像を垂直周期で連続的に出力するとともに、より精確なオートフォーカス制御を可能とする撮像装置およびその制御方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、動画の各垂直期間に、１垂直期間よりも短い露光時間で複数の画像を撮影する撮影手段と、前記撮影手段によって前記各垂直期間で行われる、前記複数の画像の内の少なくともいずれか１つの画像の撮影に応じて、レンズを駆動して合焦制御を行う焦点調節手段と、前記複数の画像の内の複数の画像を、撮像装置の揺れを相殺するように互いにずらしながら重ね合わせることで、各垂直期間に１つの画像を合成する合成手段とを有する。

また、本発明の撮像装置の制御方法は、動画の各垂直期間に、１垂直期間よりも短い露光時間で複数の画像を撮影する撮影ステップと、前記撮影ステップで前記各垂直期間で行われる前記複数の画像の内、少なくともいずれか１つの画像の撮影に応じて、レンズを駆動して合焦制御を行う焦点調節ステップと、前記複数の画像の内の複数の画像を、撮像装置の揺れを相殺するように互いにずらしながら重ね合わせることで、各垂直期間に１つの画像を合成する合成ステップとを有する。

本発明によれば、各垂直期間内の画像の揺れを補正し、補正した画像を垂直周期で連続的に出力するとともに、より精確なオートフォーカス制御を可能とする撮像装置およびその制御方法を提供することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本第１の実施形態における撮像装置として、動画を撮影可能なカメラシステムの概略構成を示すブロック図である。

図１において、２０はカメラシステムのカメラ本体に対して着脱可能な、光学系の一部を構成するレンズユニットであり、フォーカスレンズ２１を含む複数のレンズを組み合わせて構成される。フォーカス駆動モータ２２によりフォーカスレンズ２１の位置を変えることで、合焦制御を行うことができる。

１は入射する被写体光学像を光電変換して電気信号を出力する、例えば、ＣＣＤセンサ、ＣＭＯＳセンサに代表される撮像素子である。２は撮像素子１から出力される電気信号に対して、輝度信号や色信号の生成処理などの所定の信号処理を行って、画像信号（画像データ）に変換するカメラ信号前処理回路である。３はカメラ信号前処理回路２から出力される画像信号を記憶する画像メモリである。また、４は、後述するカメラシステムの揺れ補正量に応じて、画像メモリ３から読み出された画像信号の二次元座標を変換する座標変換回路、５は座標変換回路４により座標が変換された、互いに異なるタイミングで取得した画像信号を合成する画像合成回路である。後述するように、座標変換回路４及び画像合成回路５により、垂直周期毎に得られる各画像の揺れ補正を実現することができる。

６は画像合成回路５により合成された画像信号を、例えばＮＴＳＣに代表される公知の標準ビデオ信号に変換するカメラ信号処理回路である。カメラ信号処理回路６により変換された標準ビデオ信号は、ビデオ出力端子７を介して所定の垂直周期、例えば1／６０秒毎に動画として出力される。

更に、カメラシステムが備える揺れ補正機構の構成として、８はカメラシステムの外装体に設けられた、カメラシステムの揺れ量を検出する角速度センサであり、例えば振動ジャイロなどが用いられる。角速度センサ８は、撮像素子１から電荷を読み出すタイミングに合わせて、カメラシステムの振れを角速度として示す信号（角速度の情報、以下、「角速度信号」と呼ぶ。）を出力する。９は角速度センサ８から出力される角速度信号に基づいて揺れ補正量を算出する揺れ補正量演算回路、１０は揺れ補正量演算回路９により演算された揺れ補正量を記憶する揺れ補正量メモリである。揺れ補正量演算回路９から出力される揺れ補正量は、タイミングジェネレータ（ＴＧ）１１より発生される所定のタイミング信号に基づいて、撮像素子１から読み出された画像信号と対応付けて揺れ補正量メモリ１０に順次記憶される。

また、１１はカメラシステムの動作タイミングの基となる基準信号を発生するタイミングジェネレータ（ＴＧ）である。ＴＧ１１は、撮像素子１、画像メモリ３、座標変換回路４及び画像合成回路５、揺れ補正量メモリ１０に動作開始のトリガとなる同期信号や駆動信号などを供給する。

１２はカメラ信号前処理回路２から出力される画像信号に基づいて、合焦制御に用いる焦点信号を演算する焦点信号演算回路である。焦点信号演算回路１２は、例えば、画像信号に含まれる特定の高周波数成分をフィルタリングにより抽出し、その振幅量を求めて焦点信号として出力する。１３は焦点制御回路であり、焦点信号演算回路１２により得られた焦点信号の振幅レベルの時間的な変化に基づいて、焦点信号振幅レベルが増加する方向にフォーカス駆動モータ２２を介してフォーカスレンズ２１を移動させる。これによりオートフォーカス（ＡＦ）動作が行われる。なお、焦点信号演算回路１２及びは焦点制御回路１３によるＡＦ制御方法は上記に限るものではなく、公知の方法を用いることが可能である。

次に、上記構成を有するカメラシステムにおける本第１の実施形態の撮像処理について、図２のタイミングチャートを参照しながら説明する。なお、本第１の実施形態においては、１垂直期間（例えば、１／６０秒）毎に４枚の画像を撮影し、重ね合わせ合成する場合について説明する。本実施の形態では、１垂直期間に高速な電子シャッターで読み出す４枚の画像を短秒時画像（ＩＭ１〜ＩＭ４）、また、４枚の短秒時画像を重ね合わせ合成して得られる１垂直期間に１枚の画像を垂直期間画像と呼んで区別する。

図２に示すように、ＴＧ１１は（ａ）に示す同期信号に同期して、（ｂ）に示すように１垂直期間毎に４回パルスを発生する。これに応じて、撮像素子１は各垂直期間毎に（ｃ）に示す蓄積期間（ｐ１〜ｐ４）、それぞれ電荷蓄積を行う。各電荷蓄積期間（ｐ１〜ｐ４）が経過する度に、（ｄ）に示す読み出しタイミングで撮像素子１からカメラ信号前処理回路２に電荷信号を出力して上述した処理を行い、処理した画像信号（即ち、短秒時画像ＩＭ１〜ＩＭ４）を画像メモリ３に格納する。

また、揺れ補正量演算回路９は、（ｅ）に示すように、電気信号の読み出し開始のタイミングで角速度センサ８から角速度信号を取得し、取得した角速度信号に基づいて揺れ補正量を算出して、揺れ補正量メモリ１０に保存する。

１垂直期間に得られた短秒時画像（ＩＭ１〜ＩＭ４）が画像メモリ３に揃うと、座標変換回路４は（ｇ）に示すタイミングで画像メモリ３に記憶された短秒時画像（ＩＭ１〜ＩＭ４）を読み出す。更に、揺れ補正量メモリ１０から揺れ補正量を取得して、短秒時画像（ＩＭ１〜ＩＭ４）間のずれを相殺するように二次元座標を変換する。そして、画像合成回路５において、座標変換された短秒時画像（ＩＭ１〜ＩＭ４）の所望領域を切り出して加算することで画像合成処理を行い、垂直期間画像を出力する。

ここで、上記二次元座標変換及び画像合成処理について、図３を参照して簡単に説明する。

図３において、ＩＭ１〜ＩＭ４は、例えば、図２の（ｃ）に示す蓄積時間ｐ１、ｐ２、ｐ３、ｐ４のように、任意の１垂直期間内に均等な間隔で撮影された複数の短秒時画像を模式的に示したものであり、それぞれが撮像素子１の全ての画素データを示す。図３において、３１は主被写体で、ここでは人物、３２は例えば車などの動きのある被写体、３３は建物を示し、矢印３４は撮像装置の回転ぶれにより生じている画像の動き方向を示している。つまり、短秒時画像ＩＭ１〜ＩＭ４を取得している間に、矢印３４の方向への手ぶれが起きている。

上述した角速度信号としては、カメラシステムの揺れ方向、すなわち矢印３４に示される方向を示すものが得られる。従って、短秒時画像ＩＭ１〜ＩＭ４の各々に対応する揺れ補正量に基づいて、短秒時画像ＩＭ１〜ＩＭ４の座標を移動することより、各短秒時画像ＩＭ１〜ＩＭ４毎にカメラシステムの揺れにより生じた移動量（ぶれ量）が補正されることになる。これにより、ぶれを補正することができる。例えば、各短秒時画像ＩＭ１〜ＩＭ４内の破線で示す範囲３５ａ〜３５ｄの座標が一致するように座標の変換を行うことで、カメラシステムの揺れによる移動分を相殺することができる。

さらに、補正後の短秒時画像ＩＭ１〜ＩＭ４の範囲３５ａ〜３５ｄを重ね合わせ合成することにより、垂直期間画像３５を形成することができる。このように、各垂直期間内で得られる短秒時画像ＩＭ１〜ＩＭ４を、各短秒時画像ＩＭ１〜ＩＭ４の揺れ量に応じて座標変換して重ね合わせ合成することで、各垂直期間内でぶれのない垂直期間画像を得ることが可能となる。

なお、上記説明では、短秒時画像ＩＭ１〜ＩＭ４が画像メモリ３に揃ってから座標変換及び重ね合わせ合成を行う場合について説明した。しかしながら、本発明はこれに限るものではなく、短秒時画像ＩＭ１〜ＩＭ４が画像メモリ３に格納される度に、格納された各短秒時画像について座標変換及び重ね合わせ合成を順次行っていくようにしてもよい。

一方、カメラ信号前処理回路２は、処理した短秒時画像（ＩＭ１〜ＩＭ４）を画像メモリ３に出力すると共に、焦点信号演算回路１２にも出力する。焦点信号演算回路１２では、新たに短秒時画像が得られる度に合焦調節に用いる焦点信号を演算して焦点制御回路１３に送る。焦点制御回路１３では、この焦点信号に基づいてフォーカス駆動モータ２２を制御することでフォーカスレンズを駆動し、合焦制御を行う。

上述したように、従来のオートフォーカス（ＡＦ）制御と同様に垂直期間毎に得られる画像を基にしてＡＦ制御を行うことも可能ではある。しかし、その場合には４枚の短秒時画像に対して１度、座標変換及び重ね合わせ合成を施した画像に対してＡＦ制御を行うことになる。このような制御では、従来のように１垂直期間毎に１枚の画像を読み出してＡＦ制御を行う場合と比較して、座標変換処理及び合成に要する処理時間分だけ更に焦点信号を演算するまでの時間を要してしまう。その結果、従来と比較して以下にＡＦ精度が落ちてしまうことになる。

そこで、本第１の実施形態では、各画像が取り込まれる毎に、図２の（ｆ）に示すタイミングでＡＦ制御を繰り返し実行する。このＡＦ制御について、図４のフローチャートを参照して以下に説明する。図４に示すＡＦ処理は、焦点信号演算回路１２および焦点制御回路１３で行われる。

画像が取り込まれ、焦点信号演算回路１２に画像データが入力されると、処理が開始される。ステップＳ１１では焦点信号演算回路１２で上述したようにして焦点信号を演算し、焦点制御回路１３に出力する。ステップＳ１２において、焦点制御回路１３は焦点信号演算回路１２により前回求められた焦点信号と、今回の処理で求められた焦点信号とを比較する。焦点信号が増加傾向（今回の焦点信号の値が前回より大きい）の場合はステップＳ１３へ、同一値で変化がない場合にはステップＳ１４へ、減少傾向（今回の焦点信号の値が前回より小さい）場合にはＳ１５へ進む。

ステップＳ１３では、フォーカスレンズ２１が合焦方向に向かう方向へ移動されていると判断し、同一方向へ移動するようにフォーカス駆動モータ２２による駆動を続ける。焦点信号が変化しない場合にはフォーカスレンズ２１が合焦近傍であると判断し、ステップＳ１４でフォーカス駆動モータ２２の駆動を停止する。ステップＳ１５ではフォーカスレンズ２１が合焦位置から遠ざかる方向に移動されていると判断し、フォーカス駆動モータ２２の駆動方向を反転する。なお、今回のＡＦ制御で焦点信号が増加または減少し、前回のＡＦ制御でフォーカス駆動モータ２２が停止していた場合には、任意の方向にフォーカス駆動モータ２２を駆動するように設定する。あるいは、最後にフォーカス駆動モータ２２を駆動した方向を記憶しておき、その方向に駆動するようにするなど、適宜駆動方向を設定するようにしてもよい。

そして、ステップＳ１６において、焦点制御回路１３内のメモリなどのアクセス可能なメモリに次回のＡＦ制御のために今回求められた焦点信号及びフォーカスレンズ２１の駆動方向または停止状態を記憶し、処理を終了する。

なお、本第１の実施形態では短秒時画像を得るために、１垂直期間中に４回の電荷蓄積及び読み出し動作を行うものとして説明しているが、１垂直期間中の上記動作の回数は少なくとも２回以上であればよく、特に４回に限定されるものではない。また、各垂直期間に得られるすべての短秒時画像を必ずしも合成しなくてもよく、取得した短秒時画像の内の数枚を合成するようにしてもよい。

上記の通り本第１の実施形態によれば、１垂直期間に４回、ＡＦ制御を行うことができるため、１垂直期間に１枚の画像の撮影を行う従来の動画撮影と比較して、よりリアルタイム性及び精度の高いＡＦ制御を行うことが可能となる。

＜変形例＞
上記第１の実施形態では、角速度センサ８を用いてカメラの揺れを検知する場合について説明したが、撮像素子１から得られる各画像の特異点を抽出することにより、画像間の動き量を検出することで、カメラの揺れを検知するようにしてもよい。その場合のカメラシステムの概略構成を図５に示す。図１に示す構成と比較して、図５の構成では、角速度センサ８、揺れ補正量演算回路９及び揺れ補正量メモリ１０が無く、特異点変位量算出回路５０が追加されているところが異なる。その他の構成及び動作は、図１のものと同様である。

特異点変位量算出回路５０におけるカメラの揺れ量の検出動作について、図３を参照しながら簡単に説明する。

画像メモリ３から読み出された短秒時画像ＩＭ１〜ＩＭ４は、特異点変位量算出回路５０に入力され、この特異点変位量算出回路５０において特異点が抽出される。具体的には、まず、例えば短秒時画像ＩＭ１内にある建物３３のうち、輝度の高い点である窓のエッジをエッジ検出により特異点として取り出す。この検出した特異点と、連続した次の短秒時画像ＩＭ２における窓のエッジを検出した特異点とを比較し、２つの特異点の二次元的な位置の差分を揺れ補正量とする。ここでは説明の便宜上、特異点を１点として説明をしているが、実際には特異点は１画像信号内に複数存在させることができ、その場合、それらの情報を基に各特異点のずれ量を平均演算して求めてもよい。一般的に、動きの少ない背景が多く含まれる被写体像ほど、この背景部分から特異点を多く抽出することができるため、手ぶれによる画像の動きを精度良く検出できる。

なお、上記説明においては、２つの短秒時画像間の揺れ補正量を求める場合について説明をしているが、実際には合成する複数の画像の撮影が連続して行われる。従って、２枚を超える短秒時画像についても、上記同様の座標変換を繰り返すことにより得られる差分を積み上げることにより、すべての短秒時画像の座標変換が可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

本第２の実施形態では、短秒時画像が出力される度に行うのではなく、間欠的に行うことに特徴がある。なお、本第２の実施形態におけるカメラシステムの構成は、図１または図５に示す構成と同様であるので、ここでは説明を省略する。

図６は、本第２の実施形態における撮像処理を示すタイミングチャートである。図１で説明した図２のタイミングチャートとは、（ｆ）のＡＦ制御のタイミングが１蓄積時間おきであるところが異なる。このように、ＡＦ制御を各蓄積画像の読み出しタイミングですべて行うのではなく、１回おきに行うことにより、ＡＦ制御を行う焦点信号演算回路１２及び焦点制御回路１３の処理負荷の軽減することができる。

なお、図６に示す例では、１垂直期間に４回の電荷蓄積及び読み出しを行い、単秒時画像の電荷蓄積及び読み出し１回おきにＡＦ制御を行う場合を示している。しかしながら、本発明はこれに限るものではなく、１垂直期間に行う電荷蓄積及び読み出しの回数及びＡＦ制御を行う回数を適宜変更可能であることは言うまでもない。

本発明の第１の実施形態におけるカメラシステムの概略構成を示すブロック図である。図１に示すカメラシステムの本第１の実施形態における撮影処理のタイミングを示すタイミングチャートである。座標変換及び重ね合わせ合成処理を説明する図である。オートフォーカス制御の動作を説明するフローチャートである。本発明の変形例におけるカメラシステムの概略構成を示すブロック図である。本発明の第２の実施形態におけるカメラシステムの撮影処理のタイミングを示すタイミングチャートである。従来の動画の揺れ補正処理を説明する図である。

符号の説明

１撮像素子
２カメラ信号前処理回路
３画像メモリ
４座標変換回路
５画像合成回路
６カメラ信号処理回路
７ビデオ出力端子
８角速度センサ
９揺れ補正量演算回路
１０揺れ補正量メモリ
１１タイミングジェネレータ
１２焦点信号演算回路
１３焦点制御回路
２０レンズ
２１フォーカスレンズ
２２フォーカス駆動モータ
５０特異点変位量算出回路

Claims

動画の各垂直期間に、１垂直期間よりも短い露光時間で複数の画像を撮影する撮影手段と、
前記撮影手段によって前記各垂直期間で行われる、前記複数の画像の内の少なくともいずれか１つの画像の撮影に応じて、レンズを駆動して合焦制御を行う焦点調節手段と、
前記複数の画像の内の複数の画像を、撮像装置の揺れを相殺するように互いにずらしながら重ね合わせることで、各垂直期間に１つの画像を合成する合成手段と
を有することを特徴とする撮像装置。
前記焦点調節手段は、前記垂直期間で行われる、前記複数の画像の内の複数の画像の撮影に応じて、前記合焦制御を行うことを特徴とする請求項１に記載の撮像装置。
前記焦点調節手段は、前記複数の画像それぞれの撮影が行われる度に、前記合焦制御を行うことを特徴とする請求項１に記載の撮像装置。
前記焦点調節手段は、前記撮影手段により新たに撮影された画像と、前記新たに撮影された画像より先に撮影された画像との尖鋭度に基づいて、尖鋭度が高くなるように前記合焦制御を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記焦点調節手段は、前記新たに撮影された画像の尖鋭度と、その直前に撮影された画像の尖鋭度とに基づいて前記合焦調節を行うことを特徴とする請求項４に記載の撮像装置。
動画の各垂直期間に、１垂直期間よりも短い露光時間で複数の画像を撮影する撮影ステップと、
前記撮影ステップで前記各垂直期間で行われる前記複数の画像の内、少なくともいずれか１つの画像の撮影に応じて、レンズを駆動して合焦制御を行う焦点調節ステップと、
前記複数の画像の内の複数の画像を、撮像装置の揺れを相殺するように互いにずらしながら重ね合わせることで、各垂直期間に１つの画像を合成する合成ステップと
を有することを特徴とする撮像装置の制御方法。