JP5699806B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

従来より、角速度センサなどのセンサを用いて手振れを検出し、手振れ補正を行う技術が知られている（たとえば、特許文献１）。

特開２００９−１７１３４１号公報

しかしながら、従来技術では、振れ補正誤差などの影響により、撮影画面中の移動被写体を適切に検出できない場合があり、そのため、移動被写体に焦点の合った撮影画像を得ることができないという課題があった。

本発明が解決しようとする課題は、移動被写体を適切に検出することができる撮像装置を提供することにある。

本発明は、以下の解決手段によって上記課題を解決する。なお、以下においては、本発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は本発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。

[１]本発明の第一の観点に係る撮像装置は、被写体を撮像して画像信号を生成する撮像部（１１０）と、振動を検出して、振動に応じた検出信号を出力する振動検出部（２１１）と、光軸と交差する方向に移動可能な振れ補正光学系を有する振れ補正部（２４０）と、前記検出信号に基づいて、像振れを補正するように前記振れ補正部を駆動させるための目標駆動量を演算する駆動量演算部（２１７）と、前記検出信号に基づいて、像振れ量を演算する像振れ量演算部（２１５）と、前記画像信号に基づいて、前記被写体の動きベクトルを演算する動きベクトル演算部（１２２）と、前記像振れ量と、前記目標駆動量に対応する像の変位量との差を、残留像振れ量として算出する残留像振れ量算出部（１４０）と、前記動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを判別する判別部（１５０）とを備えることを特徴とする。

[２]本発明の第二の観点に係る撮像装置は、振動を検出して、振動に応じた検出信号を出力する振動検出部（２１１）と、光軸と交差する方向に移動可能な撮像素子を有する振れ補正部と、前記撮像素子により、被写体を撮像して画像信号を生成する撮像部（１１０）と、前記検出信号に基づいて、像振れを補正するように前記振れ補正部を駆動させるための目標駆動量を演算する駆動量演算部と、前記検出信号に基づいて、像振れ量を演算する像振れ量演算部と、前記画像信号に基づいて、前記被写体の動きベクトルを演算する動きベクトル演算部（１２２）と、前記残留像振れ量と、前記目標駆動量に対応する像の変位量との差を、残留振れ量として算出する残留像振れ量算出部（１４０）と、前記動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを判別する判別部（１５０）とを備えることを特徴とする。

[３]本発明の撮像装置において、前記振れ補正部の実際の駆動量を検出する駆動量検出部（２４５）をさらに備え、前記残留像振れ量算出部（１４０）が、前記像振れ量と、前記駆動量検出部で検出された実際の駆動量に対応する像の変位量との差を、前記残留像振れ量として算出するように構成することができる。

[４]本発明の撮像装置において、前記判別部（１５０）が、前記動きベクトルと、前記残留像振れ量との差が所定値以上である場合に、前記被写体が移動被写体であると判別するように構成することができる。

[５]本発明の撮像装置において、前記動きベクトル演算部（１２２）が、撮影画面を複数の領域に分割した分割領域ごとに、前記動きベクトルを演算し、前記判別部（１５０）が、前記分割領域ごとの動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを、前記分割領域ごとに判別するように構成することができる。

[６]本発明の撮像装置において、前記判別部（１５０）が、前記分割領域ごとの動きベクトルと、前記残留像振れ量との差を、前記分割領域ごとに算出し、前記判別部が、前記分割領域ごとに算出した前記差の分布に基づき、前記被写体が移動被写体であるか否かを判別するための閾値を設定し、前記差が前記閾値以上である分割領域を、移動被写体が存在する移動被写体領域であると判別するように構成することができる。

[７]本発明の撮像装置において、前記移動被写体領域であると判別された分割領域における、光学系の焦点状態を検出する焦点検出部（１２３）と、焦点調節光学系を光軸方向に移動させることで、前記光学系の焦点調節を行なう焦点調節部（２３０）と、前記焦点検出部による焦点検出結果に基づき、前記焦点調節部に前記光学系の焦点調節を行なわせる制御部（２３２）と、をさらに備えるように構成することができる。

本発明の撮像装置によれば、移動被写体を適切に検出することができる。

図１は、本実施形態に係るカメラを示すブロック図である。 図２は、センタリングバイアス処理を行なった際における補正レンズの位置の変化を示す図である。 図３は、本実施形態における撮影画像の分割領域の一例を示す図である。 図４は、動きベクトル演算部により演算される分割領域ごとの動きベクトルの一例を示す図である。 図５は、残留像振れベクトル演算部により演算される残留像振れベクトルの一例を示す図である。 図６は、残留ベクトル除去後の動きベクトルの一例を示す図である。 図７は、本実施形態における動体判別処理方法を説明するための図である。 図８は、本実施形態における動体判別処理が適用される場面例を示す図である。 図９は、他の実施形態における動体判別処理方法を説明するための図である。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本発明の実施形態に係るデジタルカメラ１を示す要部構成図である。本実施形態のデジタルカメラ１（以下、単にカメラ１という。）は、カメラ本体１００とレンズ鏡筒２００から構成され、これらカメラ本体１００とレンズ鏡筒２００はマウント部により着脱可能に結合されている。また、カメラ本体１００とレンズ鏡筒２００とは、マウント部において、接点部４０１，４０２を介して互いに電気的に接続されている。なお、図１中においては、画像信号（画像信号に対して各種処理を行なうことにより得られた信号を含む）の流れを白抜きの太矢印で示し、それ以外の信号の流れを細矢印で示した。

レンズ鏡筒２００には、レンズ２２０，２３０，２４０，２５０、および絞り２６０を含む撮影光学系が内蔵されている。

レンズ２３０は、フォーカスレンズであり、光軸Ｌ１方向に移動することで、撮影光学系の焦点距離を調節可能となっている。フォーカスレンズ２３０は、フォーカスレンズ案内機構２３１が駆動することにより、レンズ鏡筒２００の光軸Ｌ１に沿って移動可能に設けられており、フォーカスレンズ位置検出センサ２３５によりその位置が検出されつつ、フォーカスレンズ案内機構２３１がアクチュエータ２３４によって駆動することにより、その位置が調節される。なお、アクチュエータ２３４としては、たとえば、ボイスコイルモータなどを用いることができる。また、フォーカスレンズ位置検出センサ２３５により検出されたフォーカスレンズ２３０の位置は、Ａ／Ｄ変換器２３６により、アナログ信号からデジタル信号に変換されて、減算器２９３に出力される。

また、レンズ２４０は、像振れ補正レンズであり、補正レンズ駆動機構２４１が駆動することにより、レンズ鏡筒２００の光軸Ｌ１と交差する方向に移動可能に設けられており、補正レンズ位置検出センサ２４５によりその位置が検出されつつ、補正レンズ駆動機構２４１がアクチュエータ２４４によって駆動することにより、光軸Ｌ１と交差する方向に移動し、カメラ１の振れを補正する。なお、アクチュエータ２４４としては、たとえば、ボイスコイルモータなどを用いることができる。また、補正レンズ位置検出センサ２４５により検出された像振れ補正レンズ２４０の位置は、Ａ／Ｄ変換器２４６により、アナログ信号からデジタル信号に変換されて、減算器２９２に出力される。

レンズ鏡筒２００は、カメラ１の振れを検出するために角速度センサ２１１を備えている。角速度センサ２１１は、カメラの振れを検出して、カメラの振れに関するブレ出力を増幅器２１２に出力する。増幅器２１２は、増幅回路とローパスフィルタで構成されており、角速度センサ２１１から出力されたブレ出力について、ブレと関係のない高周波数の成分を減衰させる処理を行なうとともに、Ａ／Ｄ変換器２１３に入力するために適した大きさまで増幅させて、Ａ／Ｄ変換器２１３に出力する。そして、増幅器２１２から出力された検出信号は、Ａ／Ｄ変換器２１３によりアナログ信号からデジタル信号に変換された後、２つに分岐され、一方はローパスフィルタ２１４を介して減算器２９１に入力され、他方はそのまま減算器２９１に入力される。これにより、極低周波数の直流成分（ドリフト成分）が検出信号から取り除かれ、積分可能な角速度信号を得ることができ、得られた角速度信号は、像振れ量算出部２１５に入力される。そして、像振れ量算出部２１５は、得られた角速度信号を積分することで、像振れ量を算出し、算出した像振れ量を、目標位置算出部２１６および減算器２９４に出力する。

目標位置算出部２１６は、像振れ量算出部２１５により算出された像振れ量を入力し、撮影光学系の光軸Ｌ１の傾きを算出し、この光軸Ｌ１の傾きと、撮影光学系の焦点距離および被写体距離とに基づいて、像振れを補正するための像振れ補正レンズ２４０の目標位置を算出する。算出された像振れ補正レンズ２４０の目標位置は、センタリングバイアス重畳部２１７に出力される。

センタリングバイアス重畳部２１７は、目標位置算出部２１６によって算出された像振れ補正レンズ２４０の目標位置について、センタリングバイアス処理を行なうことで、像振れ補正レンズ２４０を実際に移動させるための像振れ補正レンズ２４０の制御位置を算出する。具体的には、目標位置算出部２１６によって算出された像振れ補正レンズ２４０の目標位置に基づいて、像振れ補正レンズ２４０を、像振れ補正レンズ２４０の可動範囲の中心に向かってを移動させるための向心力をバイアス量として演算し、算出したバイアス量を算出する。そして、センタリングバイアス重畳部２１７は、像振れ補正レンズ２４０の目標位置から、算出したバイアス量を減算することにより像振れ補正レンズ２４０の制御位置を算出し、算出された像振れ補正レンズ２４０の制御位置の情報が減算器２９２に入力される。

ここで、像振れ補正レンズ２４０の可動領域は、ハードリミットとソフトリミットとにより規定される。ハードリミットとは、像振れ補正レンズ２４０の機械構造面における移動限界であり、ソフトリミットとは、ハードリミットの内側に存在し、像振れ補正レンズ２４０がハードリミットに到達しないように制御するための制御面における移動限界である。

これに対し、本実施形態では、像振れ補正レンズ２４０が可動範囲の中心から外側に向かうにしたがって、ブレの大きさに対する像振れ補正レンズ２４０の移動量が小さくなるようにセンタリングバイアス処理を行なう。このようにセンタリングバイアス処理を行うことで、像振れ補正レンズ２４０がハードリミットに衝突することを有効に防止することができ、さらには、撮影画像の見栄えを向上させることができる。

図２は、上述したセンタリングバイアス処理を行なった際における像振れ補正レンズ２４０の位置の変化を示す図である。本実施形態では、像振れ量算出部２１５で検出された像振れ量に対応させて像振れ補正レンズ２４０を移動させるべきところ、センタリングバイアス処理によって像振れ補正レンズ２４０の移動量を制限することにより、撮像素子１１０で取得される画像に残留像振れ量としてブレ成分が残存することとなる。たとえば、時間ｔ１において、センタリングバイアスが無い場合の像振れ補正レンズ２４０の位置と、センタリングバイアスが有る場合の像振れ補正レンズ２４０の位置には、差が存在しており、この差がセンタリングバイアス処理による残留像振れ量として残存することとなる。本実施形態において、センタリングバイアス処理による残留像振れ量は、可動範囲の中心から外側に向かうにつれて、ブレの大きさに対する像振れ補正レンズ２４０の移動量が小さくなるようにセンタリングバイアス処理を行っているため、像振れ補正レンズ２４０の移動量が大きくなるにしたがって、センタリングバイアス処理による残留像振れ量が大きくなることとなる。

減算器２９２は、センタリングバイアス重畳部２１７により入力された像振れ補正レンズ２４０の制御位置から、補正レンズ位置検出センサ２４５で検出され、Ａ／Ｄ変換器２４６を介して入力された像振れ補正レンズ２４０の検出位置を減算して、像振れ補正レンズ２４０の位置を変化させるための補正レンズ変位量を算出しこれを制御器２４２に出力する。

制御器２４２は、減算器２９２により算出された補正レンズ変位量に基づいて、モータドライバ２４３を制御し、アクチュエータ２４４を駆動させることで、補正レンズ駆動機構２４１を駆動させ、これにより像振れ補正レンズ２４０を光軸Ｌ１と交差する方向に移動させ、像振れ補正レンズ２４０の移動によりカメラ１の振れを補正する。

また、補正レンズ位置検出センサ２４５で検出された像振れ補正レンズ２４０の位置は、Ａ／Ｄ変換器２４６によりデジタル信号に変換された後、像変位変換器２７０に入力される。そして、像変位変換器２７０は、像振れ補正レンズ２４０の位置から、像振れ補正レンズ２４０の移動量を算出し、算出した移動量を像変位量(光軸Ｌ１方向と直交する方向における像の移動量)に変換することで、像振れ補正レンズ２４０の移動による像変位量を算出する。すなわち、像変位変換器２７０は、像振れ補正レンズ２４０を移動させることによる実際の像の移動量を、像振れ補正レンズ２４０の移動による像変位量として算出し、これを減算器２９４に入力する。

減算器２９４は、像振れ量算出部２１５より入力された像振れ量から、像変位変換器２７０より入力された像振れ補正レンズ２４０の移動による像変位量を減算することで、残留像振れ量を算出する。算出された残留像振れ量は、接点部４０１を介して、カメラ本体１００の残留像振れベクトル演算部１４０に出力される。

一方、カメラ本体１００には、上記撮影光学系からの光束Ｌ１を受光する撮像素子１１０が、撮影光学系の予定焦点面に設けられている。撮像素子１１０はＣＣＤやＣＭＯＳなどのデバイスから構成され、入力される被写体の像を光電変換してアナログ画像信号を生成し、生成したアナログ画像信号をＡＦＥ回路１１１に出力する。ＡＦＥ回路１１１は、撮像素子１１０から出力されたアナログ画像信号に対してゲインコントロールやノイズ除去などのアナログ信号処理を施して、処理後のアナログ画像信号をＡ／Ｄ変換器１１２に出力する。Ａ／Ｄ変換器１１２は、ＡＦＥ回路１１１から出力されたアナログ画像信号をデジタル変換して、得られたデジタル画像信号を画像処理・演算部１２０に出力する。

画像処理・演算部１２０は、Ａ／Ｄ変換器１１２から入力されたデジタル画像信号について、所定の画像処理を行ない、画像処理を行なったデジタル画像信号を、第１のバッファメモリ１６１、第２のバッファメモリ１６２に出力することで、第１のバッファメモリ１６１、第２のバッファメモリ１６２に一時的に記憶させる。そして、画像生成部１７０は、第１のバッファメモリ１６１、第２のバッファメモリ１６２に一時的に記憶されたデジタル画像信号から画像データを生成し、生成した画像データを画像表示部１８０に表示させるとともに、画像記憶部１９０に記憶させる。

また、画像処理・演算部１２０は、画像分割部１２１、動きベクトル演算部１２２、およびデフォーカス量演算部１２３を備える。画像分割部１２１は、撮像素子１１０により撮影された撮影画像を、図３に示すように１６個の分割領域に分割する処理を行なう。なお、図３には、分割領域を１６個とする例を示したが、分割領域の数は特に限定されず任意に設定することができる。また、図３に示す例では、分割領域の大きさを均等な大きさとする例を示したが、画像の高周波領域では分割領域を比較的狭く設定し、低周波領域では分割領域を比較的広く設定するような構成としてもよい。

動きベクトル演算部１２２は、画像分割部１２１により分割された分割領域ごとに、分割領域内の像の動き（動き方向、動き量）を示す動きベクトル量を演算する。具体的には、動きベクトル量演算部１２２は、撮像素子１１０により撮像された連続する２つのフレーム画像データに含まれる輝度情報を分割領域ごとに比較することで、分割領域内の像の動き方向および動き量を検出し、分割領域ごとの動きベクトルを演算する。なお、動きベクトル演算部１２２により演算される分割領域ごとの動きベクトルの一例を、図４に示す。そして、動きベクトル演算部１２２は、分割領域ごとの動きベクトルを動体判別部１５０に送出する。

残留像振れベクトル演算部１４０は、減算器２９４から接点部４０１を介して入力された残留像振れ量に基づき、残留像振れベクトルを演算する。すなわち、残留像振れベクトル演算部１４０は、連続する２つのフレーム画像データの残留像振れ量に基づいて、連続する２つのフレーム画像データ間における残留像振れ量の変化を検出することで、残留像振れベクトルを演算する。なお、残留像振れベクトル演算部１４０により演算される残留像振れベクトルの一例を、図５に示す。図５においては、残留像振れベクトルを、図３に示す分割領域ごとに示したが、残留像振れベクトルは、残留像振れ量に基づくものであるため、本実施形態では、図５に示すように、撮影画像全体において同一のものとなる。ただし、残留像振れベクトルは、図３に示す分割領域ごとに異なるものであってももちろんよい。そして、残留像振れベクトル演算部１４０は、算出した残留像振れ量を、動体判別部１５０に出力する。

動体判別部１５０は、動きベクトル演算部１２２により演算された動きベクトルと、残留像振れベクトル演算部１４０により演算された残留像振れベクトルとに基づいて、撮影画像内に存在する移動被写体を検出する。具体的には、分割領域ごとの動きベクトル（図４参照）から、残留像振れベクトル（図５参照）を減算することで、分割領域ごとの動きベクトルに重畳した残留像振れベクトルの影響を除去し、これにより、残留像振れが存在しない場合における動きベクトル（残留像振れベクトル除去後の動きベクトル）を、分割領域ごとに算出する。ここで、図６に、図４に示す動きベクトルから、図５に示す残留像振れベクトルを減算することにより得られる、残留像振れベクトル除去後の動きベクトルを示す。

そして、動体判別部１５０は、分割領域ごとに算出された残留像振れベクトル除去後の動きベクトルのそれぞれについて、動き量の大きさが予め定められた所定値以上であるか否かの判定を行なう。その結果、動き量の大きさが所定値以上である分割領域を移動被写体の存在する領域として判定し、一方、動き量の大きさが所定値未満である分割領域を移動被写体の存在する領域として判定する。すなわち、図６に示す例では、太枠で囲んだ５つの領域を移動被写体の存在する領域として判定する。なお、上記所定値としては、たとえば、各分割領域における動き量が、算出誤差の範囲を超え、移動被写体によるものであると判断できるような値に設定することができる。そして、動体判別部１５０による分割領域ごとの移動被写体であるか否かの判定結果は、デフォーカス量演算部１２３に出力される。

デフォーカス量演算部１２３は、動体判別部１５０による分割領域ごとの移動被写体であるか否かの判定結果に基づき、位相差検出方式による焦点状態の検出を行い、移動被写体の存在する分割領域におけるデフォーカス量を算出する。そして、算出されたデフォーカス量は、接点部４０２を介して、レンズ鏡筒２００のフォーカスレンズ駆動量演算部２８０に出力される。

フレームレート制御器１３０は、撮像素子１１０により画像を取得するタイミングを制御しており、所定のフレームレートで画像を取得するタイミングを制御している。また、フレームレート制御器１３０は、動体判別部１５０による移動体判別処理のタイミングについても、撮像素子１１０により画像を取得するタイミングと同じとなるように、動体判別部１５０をも制御している。

レンズ鏡筒２００のフォーカスレンズ駆動量演算部２８０は、デフォーカス量演算部１２３により演算されたデフォーカス量に基づいて、デフォーカス量に応じたフォーカスレンズ２３０の目標駆動量を演算する。そして、演算されたフォーカスレンズ２３０の目標駆動量は減算器２９３に入力される。

減算器２９３は、フォーカスレンズ駆動量演算部２８０により入力されたフォーカスレンズ２３０の目標駆動量から、フォーカスレンズ位置検出センサ２３５で検出され、Ａ／Ｄ変換器２３６を介して入力されたフォーカスレンズ２３０の検出位置を減算して、フォーカスレンズ２３０を駆動するためのレンズ駆動量を演算しこれを制御器２３２に出力する。

制御器２３２は、減算器２９３により算出されたレンズ駆動量に基づいて、モータドライバ２３３を制御し、アクチュエータ２３４を駆動させることで、フォーカスレンズ案内機構２３１を駆動させ、これによりフォーカスレンズ２３０を光軸Ｌ１方向に移動させ、フォーカスレンズ２３０の移動により撮影光学系のピントを調整する。なお、本実施形態においては、移動被写体が存在すると判定された分割領域におけるデフォーカス量に基づいて、フォーカスレンズ２３０の駆動を行なうことにより、移動被写体にピントの合った撮影画像を得ることが可能となる。

次いで、本実施形態における動体判別処理について詳細に説明する。図７は、本実施形態における動体判別処理を説明するための図である。

本実施形態においては、図７に示すように、撮像素子１１０による撮影画像の取得は、所定のフレームレートｔ＿ｉｍｇで、露光時間ｔ＿ｅｘｐにて繰り返し行なわれ、たとえば、図７においては、時間Ｔ_１〜Ｔ_２の間における露光時間ｔ＿ｅｘｐ＿１による露光により画像ｆｒ＿１が、これに続く時間Ｔ_２〜Ｔ_３の間における露光時間ｔ＿ｅｘｐ＿２による露光により画像ｆｒ＿２が、これに続く時間Ｔ_３〜Ｔ_４の間における露光時間ｔ＿ｅｘｐ＿３による露光により画像ｆｒ＿３が、それぞれ得られたことを示している。なお、フレームレートｔ＿ｉｍｇとしては、特に限定されないが、通常、３０〜６０ｆｐｓ、すなわち、１／３０〜１／１６０秒程度である。

一方で、図７に示すように、像振れ量算出部２１５による像振れ量の算出、像振れ補正レンズ２４０の駆動、および減算器２９４による残留像振れ量の演算などの各処理の演算・制御周期ｔ＿ｏｐｔは、通常、０．２５〜１ミリ秒（１〜４ｋＨｚ）程度であり、撮像素子１１０のフレームレートｔ＿ｉｍｇよりも短いものと設定される。たとえば、図７に示す例においては、時間Ｔ_１〜Ｔ_２の間における露光時間ｔ＿ｅｘｐ＿１中において、減算器２９４による残留像振れ量により合計８回の残留像振れ量演算が行われ、合計８個の残留像振れ量が演算されたことを示している。すなわち、本実施形態では、フレームレートｔ＿ｉｍｇと、演算・制御周期ｔ＿ｏｐｔとの相違により、１度の露光中に残留像振れ量の演算が複数回行なわれることとなり、図７に示すように、１度の露光中に残留像振れ量の大きさも変動することとなる。

これに対し、本実施形態では、たとえば、露光時間ｔ＿ｅｘｐ＿α（α＝１，２，３，・・・・）中に演算された複数の残留像振れ量を、予め定められた値の区間で分類し、その頻度が最も多い値を、代表値ｅ＿ｍａｘ＿αとして算出し、得られた代表値ｅ＿ｍａｘ＿αを、露光時間ｔ＿ｅｘｐ＿αにおける、残留像振れ量として算出する方法を採用することができる。ここで、残留像振れ量は、Ｘ成分およびＹ成分の２つの大きさを有するものであるため、本実施形態では、この代表値ｅ＿ｍａｘ＿αも、Ｘ成分およびＹ成分に分離してそれぞれ算出する。

このようにして、たとえば、時間Ｔ_１〜Ｔ_２の間における露光時間ｔ＿ｅｘｐ＿１による露光により得られた画像ｆｒ＿１における残留像振れ量がｅ＿ｍａｘ＿１として算出され、さらにこれに続く時間Ｔ_２〜Ｔ_３の間における露光時間ｔ＿ｅｘｐ＿２による露光により得られた画像ｆｒ＿２における残留像振れ量がｅ＿ｍａｘ＿２として算出される。

そして、図７に示すように、カメラ本体１００の残留像振れベクトル演算部１４０により、画像ｆｒ＿２における残留像振れ量がｅ＿ｍａｘ＿２から、画像ｆｒ＿１における残留像振れ量がｅ＿ｍａｘ＿１を減算する処理が行なわれ、画像ｆｒ＿２中における、残留像振れベクトルＢ_ｒ＿１が算出される（たとえば、図５参照）。なお、残留像振れベクトルＢ_ｒ＿１を算出する際には、ｅ＿ｍａｘ＿２およびｅ＿ｍａｘ＿１のＸ成分およびＹ成分をそれぞれ分離して、Ｘ成分およびＹ成分をそれぞれ減算し、これにより、残留像振れベクトルＢ_ｒ＿１が算出される。

また、これと並行して、図７に示すように、動きベクトル演算部１２２により、画像ｆｒ＿２の画像データおよび画像ｆｒ＿１の画像データに含まれる輝度情報を図３に示す分割領域ごとに比較し、これらを減算することで、分割領域ごとの動きベクトルｖ_ｉｊ＿１が算出される（たとえば、図４参照）。

そして、図７に示すように、動体判別部１５０により、動きベクトル演算部１２２により算出された分割領域ごとの動きベクトルｖ_ｉｊ＿１から、残留像振れベクトル演算部１４０により算出された残留像振れベクトルＢ_ｒ＿１を減算する処理が行なわれ、これにより、残留像振れベクトル除去後の動きベクトルｕ_ｉｊ＿１が、図３に示す分割領域ごとに算出される（たとえば、図６参照）。そして、動体判別部１５０は、分割領域ごとに算出された残留像振れベクトル除去後の動きベクトルｕ_ｉｊ＿１に基づいて、画像ｆｒ＿２中における移動被写体が存在する分割領域を判定する。

さらに、図７に示すように、画像ｆｒ＿２に続いて、時間Ｔ_３〜Ｔ_４の間における露光時間ｔ＿ｅｘｐ＿３による露光により画像ｆｒ＿３が得られると、同様に、ｅ＿ｍａｘ＿３が残留像振れ量として算出される。そして、画像ｆｒ＿３における残留像振れ量がｅ＿ｍａｘ＿３から、画像ｆｒ＿２における残留像振れ量がｅ＿ｍａｘ＿２を減算する処理が行なわれ、画像ｆｒ＿３中における、残留像振れベクトルＢ_ｒ＿２が算出される。また、同様に、画像ｆｒ＿３の画像データおよび画像ｆｒ＿２の画像データに含まれる輝度情報を分割領域ごとに減算することで、分割領域ごとの動きベクトルｖ_ｉｊ＿２が算出される。そして、分割領域ごとの動きベクトルｖ_ｉｊ＿２から残留像振れベクトルＢ_ｒ＿２を減算する処理が行なわれ、残留像振れベクトル除去後の動きベクトルｕ_ｉｊ＿２が、図３に示す分割領域ごとに算出され、これに基づき動体判別が行なわれる。

本実施形態においては、角速度センサ２１１により検出されたカメラの振れに基づく像振れ量と、像振れ補正レンズ２４０の移動による像変位量とに基づいて残留像振れ量を算出し、算出した残留像振れ量に基づいて残留像振れベクトルを演算する。そして、本実施形態においては、撮影画像中における分割領域ごとの動きベクトルから、演算された残留像振れベクトルを減算することにより、撮影画像中における分割領域ごとの動きベクトルに重畳した残留像振れベクトルの影響を除去することで、残留像振れが存在しない場合における動きベクトル、すなわち、残留像振れベクトル除去後の動きベクトルを分割領域ごとに算出し、これを用いて、撮影画像の分割領域ごとに移動被写体が存在する領域であるか否かの判断を行なう。そのため、本実施形態によれば、分割領域ごとに移動被写体が存在する領域であるか否かの判断を行なう際に、残留像振れの影響を有効に取り除くことができ、これにより、適切に移動被写体の存在を検出することできる。加えて、本実施形態によれば、検出した移動被写体の存在する領域におけるデフォーカス量に基づいて、フォーカスレンズ２３０を駆動することで、移動被写体にピントの合った撮影画像を適切に得ることができる。

特に、従来においては、制御誤差による残留像振れや、センタリングバイアス処理などの各種バイアス処理による残留像振れ、さらには、撮影者によるパンニング動作による残留像振れなど、様々な原因に起因する残留像振れにより、移動被写体の存在を適切に検出できない場合があった。これに対し、本実施形態では、残留像振れベクトルを演算し、撮影画像中における分割領域ごとの動きベクトルから、演算された残留像振れベクトルを減算することにより、上述した各原因に起因する残留像振れの影響を適切に除去することができるものである。

たとえば、図８（Ａ）に示すように、移動被写体としての自動車を撮影する場面において、撮影画像中における分割領域ごとの動きベクトルを演算する手法では、図８（Ｂ）に示すように、制御誤差による残留像振れや、センタリングバイアス処理などの各種バイアス処理による残留像振れ、さらには、撮影者によるパンニング動作による残留像振れなどにより、移動被写体としての自動車を適切に検出できない場合がある。これに対し、本実施形態によれば、撮影画像中における分割領域ごとの動きベクトルから、演算された残留像振れベクトルを減算することにより（たとえば、図８（Ｂ）に示す動きベクトルから、図５に示す残留像振れベクトルを減算することにより）、図８（Ｃ）に示すように、残留像振れベクトル除去後の動きベクトルを算出することができ、これにより、移動被写体としての自動車を適切に検出することができる。

加えて、本実施形態によれば、手振れ補正のための各種センサ・検出部等（たとえば、角速度センサ２１１、像振れ量算出部２１５、補正レンズ位置検出センサ２４５等）の出力を用いて、残留像振れベクトルを演算し、演算した残留像振れベクトルを用いて動体判別を行なうものであるため、既存の手振れ補正機能を有するカメラに比較的容易かつ安価に適用することができるものである。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

たとえば、上述した実施形態においては、図７に示すように、残留像振れ量の頻度から、頻度が最も多い値を、代表値ｅ＿ｍａｘ＿αとして算出し、これを露光時間ｔ＿ｅｘｐ＿αにおける、残留像振れ量として採用する例を示したが、たとえば、図９に示すように、露光時間ｔ＿ｅｘｐ＿αにおける、残留像振れ量の平均値ｅ＿ｍｅａｎ＿αを算出し、これを露光時間ｔ＿ｅｘｐ＿αにおける、残留像振れ量として採用してもよい。この場合においても、図７に示す例と同様に、時間Ｔ_１〜Ｔ_２の間における露光時間ｔ＿ｅｘｐ＿１による露光により得られた画像ｆｒ＿１における残留像振れ量がｅ＿ｍｅａｎ＿１として算出され、さらにこれに続く時間Ｔ_２〜Ｔ_３の間における露光時間ｔ＿ｅｘｐ＿２による露光により得られた画像ｆｒ＿２における残留像振れ量がｅ＿ｍｅａｎ＿２として算出される。そして、これら、ｅ＿ｍｅａｎ＿１、ｅ＿ｍｅａｎ＿２を用いて、残留像振れベクトルＢ_ｒ＿１の算出が行なわれ同様にして、残留像振れベクトル除去後の動きベクトルｕ_ｉｊ＿１が算出される。

また、上述した実施形態では、レンズ鏡筒２００に内蔵された像振れ補正レンズ２４０を移動させて像振れを補正する構成を例示したが、この構成に限定されるものではなく、たとえば、カメラ本体１００に内蔵された撮像素子１１０を移動させて像振れを補正する構成としてもよい。すなわち、角速度センサ２１１により検出されたカメラの振れに基づいて、撮像素子１１０を移動させるとともに、位置検出センサにより撮像素子１１０の位置を検出するような構成としてもよい。この場合においては、角速度センサ２１１により検出されたカメラの振れに基づく像振れ量と、撮像素子１１０の移動による像変位量とに基づいて残留像振れ量を算出し、算出した残留像振れ量に基づいて残留像振れベクトルを演算し、このようにして演算した残留像振れベクトルを用いて、撮影画像中における分割領域ごとの動きベクトルから、演算された残留像振れベクトルを減算することにより、残留像振れの影響を適切に除去することができる。

１…デジタルカメラ
１００…カメラ本体
１１０…撮像素子
１２０…画像処理・演算部
１２１…画像分割部
１２２…動きベクトル演算部
１２３…デフォーカス演算部
１４０…残留像振れベクトル演算部
１５０…動体判別部
２００…レンズ鏡筒
２１１…角速度センサ
２１５…像振れ量算出部
２３０…フォーカスレンズ
２３５…フォーカスレンズ位置検出センサ
２４０…補正レンズ
２４５…補正レンズ位置検出センサ

Claims (7)

1. 被写体を撮像して画像信号を生成する撮像部と、
   振動を検出して、振動に応じた検出信号を出力する振動検出部と、
   光軸と交差する方向に移動可能な振れ補正光学系を有する振れ補正部と、
   前記検出信号に基づいて、像振れを補正するように前記振れ補正部を駆動させるための目標駆動量を演算する駆動量演算部と、
   前記検出信号に基づいて、像振れ量を演算する像振れ量演算部と、
   前記画像信号に基づいて、前記被写体の動きベクトルを演算する動きベクトル演算部と、
   前記像振れ量と、前記目標駆動量に対応する像の変位量との差を、残留像振れ量として算出する残留像振れ量算出部と、
   前記動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを判別する判別部とを備える撮像装置。
2. 振動を検出して、振動に応じた検出信号を出力する振動検出部と、
   光軸と交差する方向に移動可能な撮像素子を有する振れ補正部と、
   前記撮像素子により、被写体を撮像して画像信号を生成する撮像部と、
   前記検出信号に基づいて、像振れを補正するように前記振れ補正部を駆動させるための目標駆動量を演算する駆動量演算部と、
   前記検出信号に基づいて、像振れ量を演算する像振れ量演算部と、
   前記画像信号に基づいて、前記被写体の動きベクトルを演算する動きベクトル演算部と、
   前記像振れ量と、前記目標駆動量に対応する像の変位量との差を、残留像振れ量として算出する残留像振れ量算出部と、
   前記動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを判別する判別部とを備えることを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記振れ補正部の実際の駆動量を検出する駆動量検出部をさらに備え、
   前記残留像振れ量算出部は、前記像振れ量と、前記駆動量検出部で検出された実際の駆動量に対応する像の変位量との差を、前記残留像振れ量として算出することを特徴とする撮像装置。
4. 請求項１〜３のいずれかに記載の撮像装置において、
   前記判別部は、前記動きベクトルと、前記残留像振れ量との差が所定値以上である場合に、前記被写体が移動被写体であると判別することを特徴とする撮像装置。
5. 請求項１〜４のいずれかに記載の撮像装置において、
   前記動きベクトル演算部は、撮影画面を複数の領域に分割した分割領域ごとに、前記動きベクトルを演算し、
   前記判別部は、前記分割領域ごとの動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを、前記分割領域ごとに判別することを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記判別部は、前記分割領域ごとの動きベクトルと、前記残留像振れ量との差を、前記分割領域ごとに算出し、
   前記判別部は、前記分割領域ごとに算出した前記差の分布に基づき、前記被写体が移動被写体であるか否かを判別するための閾値を設定し、前記差が前記閾値以上である分割領域を、移動被写体が存在する移動被写体領域であると判別することを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記移動被写体領域であると判別された分割領域における、光学系の焦点状態を検出する焦点検出部と、
   焦点調節光学系を光軸方向に移動させることで、前記光学系の焦点調節を行なう焦点調節部と、
   前記焦点検出部による焦点検出結果に基づき、前記焦点調節部に前記光学系の焦点調節を行なわせる制御部と、をさらに備えることを特徴とする撮像装置。

Images