JP4385769B2

JP4385769B2 - 撮像装置

Info

Publication number: JP4385769B2
Application number: JP2004005506A
Authority: JP
Inventors: 甚洋熊木; 博文野村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-01-13
Filing date: 2004-01-13
Publication date: 2009-12-16
Anticipated expiration: 2024-01-13
Also published as: JP2005203861A

Description

本発明は、撮像装置に関するものである。詳細は、センサで検出した手ぶれ量と画像信号に基づいて検出した手ぶれ量とを比較して手ぶれ補正する機能を備えた撮像装置に関するものである。

近年、ビデオカメラなどの撮像装置の小型化、高倍率化で、手ぶれの影響による映像のぶれやぼけが顕著になってきており、この問題を解決するために手ぶれ補正機能を備えた撮像装置が多くなってきている。

手ぶれによる振動量（以下、手ぶれ量）を検出するための方式には、手ぶれによる撮像部（装置自体）の振動をセンサによって検出する方式（以下、センサ方式）と、撮影した画像に基づいて手ぶれ量を検出する方式（以下、動きベクトル方式）がある。

センサ方式では、コリオリの力を応用した角速度センサなどの検出器を装置に組み込んで、手ぶれによる撮像部（装置自体）の振動量を検出することにより、撮像部（装置自体）の手ぶれによる動きがリアルタイムに検出されるので、手ぶれ量を検出するときに被写体の状況（被写体の種類、明るさ、動き）に影響されないという特徴がある。

一方、動きベクトル方式は、撮像レンズを介して投影される被写体の画像（光の信号）を撮像素子で検出し、画像信号としてメモリに記憶しておき、次に検出する画像信号と比較して画像のぶれを動きベクトルデータとして検出する、つまり、直近の２つの画像信号の違いを動きベクトルデータとして検出するので、手ぶれ量を検出するときに撮影倍率の変化などの光学系の状態に影響を受けないという特徴がある。

上述したセンサや撮影した画像信号から検出される手ぶれ量に基づいて手ぶれを補正する方法や装置などは数多く考案されており、例えば、手ぶれを検出するブレ検出器の感度や補正光学系の位置を検出する位置検出センサの感度が周囲の温度変化によって低下し、撮影する画像がぶれてしまい、所望の像ぶれ防止効果が得られなることを防ぐため、温度変化による感度の低下を増幅率可変増幅器の増幅率を外部から変更できるようにすることで、ファインダを覗きながら自在に防振感度の低下を補償し、所望の像ぶれ防止効果を得ることができる装置などが考案されている（例えば、特許文献１参照）。
特許第３１３１４３１号明細書（第２−３頁、第１図）

また、撮像装置の小型化によって撮像レンズなどの光学系も小型化され、撮影可能な画角範囲（倍率の範囲）も制約が大きくなってきているため、広角な画像あるいは、より遠くの画像を撮影するため、撮像レンズの倍率を変換するコンバージョンレンズを取り付ける機会も増えてきている。

しかしながら、上述したセンサで検出した手ぶれ量に基づいて手ぶれ補正する撮像装置（以下、センサ方式の撮像装置）では、撮影倍率を変換するコンバージョンレンズ等を取り付けた場合に倍率情報が変わってしまうことで、検出した手ぶれ量とこの手ぶれ量に対してどれだけ補正すればよいかを示す補正量（ゲインデータ）の対応関係が変わってしまい、手ぶれ補正を正しく実行できなくなることがある。

また、動きベクトル方式で検出した手ぶれ量に基づいて手ぶれ補正する撮像装置（以下、動きベクトル方式の撮像装置）の場合、撮像素子で検出した画像信号をメモリに記憶しておき、次に検出する画像信号と比較し、２つの画像信号の違いを画像のぶれとして検出して手ぶれ補正を行うため、撮影する画像サイズに応じたメモリ容量が必要となる。また、直近の２つの画像信号を比較した後に動きベクトルデータ（画像のぶれ）が検出されるため、手ぶれ振動をリアルタイムに検知することができないという問題を有している。

そこで、画像信号を記憶するためのメモリを使用せずに、１サンプリング前（たとえばビデオカメラでは１フィールド前）に検出した手ぶれ量から次の手ぶれ量を予測して補正する方法もあるが、演算処理の負荷が大きくなり、精度の高い予測するために演算用のメモリが必要となり、実際の手ぶれ量と異なる予測値が算出されることもあるため、正しく補正できないという問題がある。

また、予測値による補正方法の場合、撮影する画像サイズが大きくなるに従って演算処理の負荷も大きくなり、それに伴って演算処理用のメモリ容量も大きくする必要があり、回路規模、コスト、消費電力が増加するというデメリットが生じてしまう。

更に、動きベクトル方式の撮像装置は、ローコントラストの被写体や繰り返しパターンを有する被写体、動きベクトルデータが発散する被写体（ズーム動作中の被写体など）から手ぶれ量を検出することが困難であり、又、動きベクトルデータの検出周期は、撮像素子で画像信号を取り込む周期（以下、露光周期）と同じであるため、露光周期に対して高い周波数の手ぶれを検出することができないという問題がある。

従って、撮像装置において、被写体の状況や光学系の状態に影響されずに手ぶれ補正量を算出できるようにするとともに、メモリ容量が少なく、処理の負荷が小さな手ぶれ補正機能を実現することに解決しなければならない課題を有する。

前記課題を解決するため、本発明に係る撮像装置は次のような構成にすることである。

（１）手振れ検出センサを用いて撮像部の手ぶれ振動を手ぶれ信号として検出する第１の手ぶれ検出手段と、前記撮像部で取り込んだ画像信号から動きベクトルデータを検出する第２の手ぶれ検出手段と、前記第１の手ぶれ検出手段で検出した手ぶれ信号に基づいて第１の手ぶれ量データを生成し、前記第２の手ぶれ検出手段で検出した動きベクトルデータに基づいて第２の手ぶれ量データを生成する手ぶれ量データ生成手段と、前記手ぶれ量データ生成手段で生成される第１の手ぶれ量データ及び第２の手ぶれ量データに基づき、手ぶれ補正処理の補正量を調整するゲインデータを補正するためのゲイン補正係数値Ｒを算出するゲイン補正係数算出手段と、前記ゲイン補正係数算出手段で算出したゲイン補正係数値Ｒに基づいて、装置に設定してあるゲイン補正係数値Ｒやゲイン設定の設定状態を判定するゲイン判定手段と、前記ゲイン判定手段の判定に応じて、前記ゲイン補正係数算出手段で算出されるゲイン補正係数値Ｒに基づいた前記ゲインデータを生成するゲインデータ生成手段と、前記ゲイン判定手段の判定に応じて、前記ゲイン設定を所定の設定状態に切り換えることができるゲイン設定切換手段と、前記ゲインデータ生成手段で生成されたゲインデータに基づいて前記画像信号の手ぶれ補正処理を実行する手ぶれ補正手段と、
前記撮像部で撮像した画像信号の輝度レベルが動きベクトルデータ検出に適した輝度レベルであること、画像が所定の合焦状態であること、ズーム動作中でないことの３つの条件を全て満たしている場合のみ、前記第２の手ぶれ検出手段で検出した動きベクトルデータが信頼度ありと判定する動きベクトル判定手段と、前記手ぶれ量データ生成手段で生成される第１の手ぶれ量データと第２の手ぶれ量データのベクトル方向が所定時間連続して同じ方向である場合には、前記第１の手ぶれ検出手段と前記第２の手ぶれ検出手段が同種の手ぶれ振動を検出しているものと判定する手ぶれ判定手段と、を備え、前記ゲイン補正係数算出手段は、前記動きベクトル判定手段で信頼度ありと判定され及び前記手ぶれ判定手段で同種の手ぶれ振動を検出しているものと判定された場合には、前記第２の手ぶれ量データを前記第１の手ぶれ量データで除した値をゲイン補正係数値Ｒｎとし、該ゲイン補正係数値Ｒｎが所定の許容値の範囲内である場合には、予め設定してあるゲイン補正係数値Ｒの変更は不要とし、前記ゲイン補正係数値Ｒｎが所定の許容値の範囲外である場合には、予め設定してあるゲイン補正係数値Ｒを変更するように制御することを特徴とする撮像装置。

このような構成の撮像装置において、第１の手ぶれ検出手段で検出した手ぶれ信号に基づいて生成する第１の手ぶれ量データと、第２の手ぶれ検出手段で検出した動きベクトルデータに基づいて生成する第２の手ぶれ量データによって、手ぶれ補正処理の補正量を調整するゲインデータを補正するためのゲイン補正係数値を算出し、このゲイン補正係数値に基づいて、装置に設定してあるゲイン補正係数値やゲイン設定の設定状態を判定する。

そして、この判定結果に応じて、ゲイン設定を適切な設定に切り換えたり、第１の手ぶれ量データと第２の手ぶれ量データから算出したゲイン補正係数値に基づいて新たなゲインデータを算出（選択）し、このゲインデータに基づいて画像信号の手ぶれ補正処理を実行する。

本発明の撮像装置は、手ぶれ検出センサの検出した手ぶれ信号をもとに生成される第１の手ぶれ量データと、動きベクトル検出部で検出した動きベクトルデータをもとに生成される第２の手ぶれ量データに基づいてゲイン補正係数値を算出することにより、被写体の状況（被写体の種類、明るさ、動き）や撮影倍率の変化など光学系の状態に影響されていないゲイン補正係数値を得ることが可能となる。

そして、このゲイン補正係数値に基づいて手ぶれの補正量を調整するゲインデータを生成することで最適な手ぶれ補正処理が実行できるようになり、又、このゲイン補正係数値に基づいてゲイン設定の設定状態を適切に判定できるようになるという優れた効果を奏する。

また、動きベクトル検出部で検出する動きベクトルデータによって手ぶれ補正処理を行わないので、従来の動きベクトル方式の撮像装置のように撮像した画像信号のすべてをメモリに記憶する必要はなく、直近の２つの画像信号の変化量を記憶するだけの小容量のメモリで十分であるため回路構成を簡素化してコストを低減することが可能となり、また、演算処理の負荷が少なくなり、消費電力が抑えられるというメリットもある。

次に、本発明の撮像装置による実施の形態について図面を参照して説明する。但し、図面は専ら解説のためのものであって、本発明の技術的範囲を限定するものではない。

まず、本発明の撮像装置の動作概要について図１、図２を参照しながら説明する。

図１は、本発明の撮像装置における主要部を簡略化して例示したブロック図であり、撮像部１０、手ぶれ検出センサ２０、動きベクトル検出部３０、信号処理部４０、制御用マイコン５０、手ぶれ補正処理部６０などを備えた構成となっており、図２のフローチャートに従って処理が実行される。

まず、制御用マイコン５０は、手ぶれ検出センサ２０で検出した手ぶれによる撮像部１０（装置自体）の振動量（以下、手ぶれ信号）に基づいて生成する手ぶれ振動データＳ１（ベクトルデータ）と、動きベクトル検出部３０で検出する動きベクトルデータに基づいて生成する手ぶれ振動データＳ２（ベクトルデータ）を比較して評価する（ＳＴ１０）。

具体的には、撮像部１０で取り込み、信号処理部４０を介して送られてくる画像信号の輝度レベル、合焦状態、ズーム動作中であるか否かなどを判定することにより動きベクトル検出部３０で検出された動きベクトルデータの信頼度を評価し、更に、手ぶれ振動データＳ１と手ぶれ振動データＳ２のベクトル方向を判定することで手ぶれ検出センサ２０と動きベクトル検出部３０が同じ手ぶれ振動を検出しているか否かを評価する。

次に、制御用マイコン５０は、動きベクトルデータの信頼度があり、手ぶれ検出センサ２０と動きベクトル検出部３０が同じ手ぶれ振動を検出している場合、手ぶれ振動データＳ１と手ぶれ振動データＳ２に基づいてゲイン補正係数値Ｒを算出する（ＳＴ２０）。

次に、制御用マイコン５０は、算出したゲイン補正係数値Ｒに基づき、ゲインデータの調整が必要であるか否かを判定するとともに、適正なゲイン設定が為されているか否かを判定する（ＳＴ３０）。

なお、ゲインデータとは、手ぶれ補正処理の補正量を調整するためのデータであり、撮像部１０の焦点距離（ズーム）に応じたゲインＧ、撮像部１０にコンバージョンレンズを装着したときの倍率に応じた倍率ゲインＧzm、手ぶれ検出センサ２０の感度に応じた感度ゲインＧsなどである。

制御用マイコン５０は、ゲインデータの調整が必要であると判定すると、ゲイン補正係数値Ｒに基づいてゲインデータを算出（又は選択）して手ぶれ補正処理部６０に送り、また、適正なゲイン設定が為されていないと判定した場合、例えば、コンバージョンレンズが装着されていないのに倍率ゲインを設定している場合など、適切なゲイン設定に自動的に切り換えたり、メッセージ（警告など）を表示部に表示させて設定変更を促したりする（ＳＴ４０）。

続いて、手ぶれ補正処理部６０では、制御用マイコン５０から送られてくるゲインデータに基づいて制御信号を生成し、この制御信号に基づいて撮像部１０の撮像素子による画像信号の取り込みタイミングや画像信号の切り出し範囲（アドレス）を制御する、又は、撮像部１０の光学系を制御する。そして、信号処理部４０から送られてくる画像信号に所定の手ぶれ補正処理を施して次段回路に送出する（ＳＴ５０）。

このように、手ぶれ検出センサ２０で検出した手ぶれ信号に基づく手ぶれ量データＳ１と、動きベクトル検出部３０で検出した動きベクトルデータに基づく手ぶれ量データＳ２を評価する。そして、手ぶれ量データＳ１と手ぶれ量データＳ２から算出するゲイン補正係数値Ｒによって、ゲイン調整の必要性やゲイン設定の状態を判定し、適切なゲインデータを算出し、このゲインデータに基づいて手ぶれ補正処理を実行することで、最適な手ぶれ補正が行われる。

[第１実施例]
第１実施例として、図２で説明した処理を電子的に手ぶれ補正する撮像装置で実行する場合について説明する。

図３は、電子的に手ぶれ補正する撮像装置において、本発明に関係する主要部を簡略化して例示したブロック図であり、撮像部１０、ＴＧ（タイミングジェネレータ）部１０Ａ、手ぶれ検出センサ２０、動きベクトル検出部３０、信号処理部４０、制御用マイコン５０、手ぶれ補正処理部６０などを備えている。

撮像部１０は、撮像レンズや撮像素子などから構成され、撮像レンズを介して投影される被写体の画像（光の信号）をＣＣＤ（Charge Coupled Device）などの撮像素子で検出し、電気信号（以下、画像信号）に変換して動きベクトル検出部３０に送る。

ＴＧ（タイミングジェネレータ）部１０Ａは、手ぶれ補正処理部６０からの制御信号に従って、撮像部１０の撮像素子による画像信号の取り込みタイミングを制御する。

手ぶれ検出センサ２０は、例えば、角速度センサなどのセンサであり、手ぶれによる撮像部（装置自体）の振動量を検出し、検出した振動量を電気信号（以下、手ぶれ信号）に変換して制御用マイコン５０（のＡ／Ｄ変換部５１）に送る。

動きベクトル検出部３０は、撮像部１０から送られてくる画像信号から画像の動きベクトルデータを検出して制御用マイコン５０（の比較／判別部５６）に送る。

なお、検出する動きベクトルデータを手ぶれ補正処理に直接用いないため、動きベクトル検出部３０では、撮像した画像信号のすべてを記憶するメモリは不要であり、直近の２つの画像信号の変化量を検出するために必要な容量のメモリ（例えば、レンズ光軸に対する上下方向の向き（角度）の変化量と左右方向の向き（角度）の変化量を検出して記憶できる程度の容量）でよい。

信号処理部４０は、撮像部１０の撮像素子で検出した画像信号をデジタル信号に変換して画像メモリに取り込み、画像メモリに取り込んだ画像信号（デジタル信号）に所定の信号処理を施して制御用マイコン５０と手ぶれ補正処理部６０に送る。

制御用マイコン５０は、撮像装置内の各部を制御するためのマイコンであり、本発明に関連する構成として、Ａ／Ｄ変換部５１、ノイズ除去部５２、積分器５３、ゲイン調整部５４、遅延用メモリ５５、比較／判別部５６などを備えた構成となっている。

制御用マイコン５０のＡ／Ｄ変換部５１は、手ぶれ検出センサ２０で検出した手ぶれ信号をデジタル信号に変換してノイズ除去部５２に送る。

制御用マイコン５０のノイズ除去部５２は、Ａ／Ｄ変換部５１から送られてくる手ぶれ信号（デジタル信号）のノイズ成分をＨＰＦ（High-Pass Filter）／ＬＰＦ（Low-Pass Filter）／ＢＰＦ（Band-Pass Filter）などによって取り除いて積分器５３に送る。

制御用マイコン５０の積分器５３は、ノイズ除去部５２から送られてくる手ぶれ信号（デジタル信号）を積分演算することにより手ぶれ量データＳ１（ベクトルデータ）を生成してゲイン調整部５４に送る。なお、積分器は、手ぶれ検出センサ２０が角速度センサであるときに用いられるものであり、角速度センサ以外のセンサを用いている場合は、積分演算を行わず、手ぶれ信号（デジタル信号）を手ぶれ量データＳ１（ベクトルデータ）に変換してゲイン調整部５４に送る。

制御用マイコン５０のゲイン調整部５４は、撮像部１０の焦点距離（ズーム）に応じたゲインＧ、撮像部１０にコンバージョンレンズを装着したときの倍率に応じた倍率ゲインＧzm、手ぶれ検出センサ２０の感度に応じた感度ゲインＧsなどのゲインデータを調整する機能を備えており、後述する比較／判別部５６から送られてくるゲイン補正係数値Ｒが設定され、このゲイン補正係数値Ｒに基づいて最適なゲインデータを算出して手ぶれ補正処理部６０に送る。若しくは、ゲイン補正係数値Ｒに基づいて予め記憶してある所定のテーブルデータの中から最適なゲインデータを選択して手ぶれ補正処理部６０に送る。

制御用マイコン５０の遅延用メモリ５５は、動きベクトル検出部３０で動きベクトルデータを検出し、動きベクトルデータから手ぶれ量データＳ２が生成されるまでの間、ゲイン調整部５４を介して送られてくる手ぶれ量データＳ１を一時記憶しておく。そして、手ぶれ量データＳ２が生成されると、記憶してある手ぶれ量データＳ１を比較／判定部５６に送る。

制御用マイコン５０の比較／判別部５６は、動きベクトル検出部３０で検出された動きベクトルデータに基づいて生成された手ぶれ量データＳ２と、遅延用メモリ５５から送られてくる手ぶれ量データＳ１とを比較して、ゲイン調整部５４に設定されているゲイン補正係数値Ｒを変更するか否かの判定を行い、この手ぶれ量データＳ１と手ぶれ量データＳ２に基づいたゲイン補正係数値Ｒを算出してゲイン調整部５４に送る。

また、制御用マイコン５０は、信号処理部４０から送られてくる画像信号（デジタル信号）、即ち、動きベクトル検出部３０で動きベクトルデータを検出するときの画像信号と同じ画像信号の輝度レベル、合焦状態、ズーム動作中であるか否か、などをチェックして動きベクトルデータの信頼度（正しく検出されているか否か）を判定することにより、動きベクトルデータに基づいて算出される手ぶれ量データＳ２の信頼度を判定する機能を備えている。

更に、制御用マイコン５０は、手ぶれ量データＳ１と手ぶれ量データＳ２のベクトル方向が一致しているか否かをチェックし、手ぶれ検出センサ２０で検出された手ぶれ信号と動きベクトル検出部３０で検出した動きベクトルデータが同じ手ぶれ振動に基づいたものであるのかを判定する機能を備えている。

このように、上記構成を備えた制御用マイコン５０では、手ぶれ検出センサ２０で検出した手ぶれ信号に基づいて手ぶれ振動データＳ１（ベクトルデータ）を生成し、動きベクトル検出部３０で検出した動きベクトルデータに基づいて手ぶれ振動データＳ２（ベクトルデータ）を生成する。

そして、この手ぶれ振動データＳ１とＳ２を比較・評価して最適な手ぶれ補正を実行するためのゲイン補正係数値Ｒを算出し、このゲイン補正係数値Ｒに基づいたゲインデータを生成して手ぶれ補正処理部６０に送る。

手ぶれ補正処理部６０は、制御用マイコン５０から送られてくるゲインデータに基づいて制御信号を生成してＴＧ１０Ａ、信号処理部４０に送り、ＴＧ１０Ａによる画像の取り込みタイミングや信号処理部４０の画像メモリに取り込まれた画像信号の読み出し（切り出し）範囲（アドレス）を制御する。そして、信号処理部４０から送られてくる画像信号に対して所定の手ぶれ補正処理を施して次段回路に送出する。

なお、図４は、図３の撮像装置における手ぶれ補正前／補正後の画像信号と手ぶれ量データＳ１及び手ぶれ量データＳ２との関係を簡略化して示した概念図であり、手ぶれ量データＳ１は、手ぶれ補正対象範囲Ａ０（点線）と補正後の切り出し範囲Ａ１（実線）の距離差（ベクトル量）に相当し、手ぶれ量データＳ２は、原画像信号ａ０（点線）と補正後の画像信号（実線）の距離差（ベクトル量）に相当する。

次に、図３に示した電子的に手ぶれ補正する撮像装置の具体的な動作について説明する。

まず、手ぶれ振動データＳ１と手ぶれ振動データＳ２を評価するときの具体的な動作を図５に示すフローチャートに従って説明する（図２のステップＳＴ２０の処理に相当）。

撮像装置で手ぶれ補正処理を実行するとき、まず、制御用マイコン５０は、初期設定として、ゲイン調整部５４に設定されるゲイン補正係数値Ｒの変更フラグをオフし、また、内蔵しているカウンタの値をリセットする（ＳＴ１０１）。

初期設定が完了すると、手ぶれ検出センサ２０で検出された手ぶれ信号が制御用マイコン５０に送られ、撮像部１０で取り込んだ画像信号が動きベクトル検出部３０と信号処理部４０に送られる。

制御用マイコン５０は、手ぶれ検出センサ２０から送られてくる手ぶれ信号をＡ／Ｄ変換部５１でデジタル信号に変換し、ノイズ除去部５２で手ぶれ信号（デジタル信号）のノイズ成分を取り除き、積分器５３によって手ぶれ量データＳ１（ベクトルデータ）を生成し、生成した手ぶれ量データＳ１（ベクトルデータ）を遅延用メモリ５５に一時記憶する（ＳＴ１０２）。

また、上述の手ぶれ量データＳ１に関する処理を実行している間、動きベクトル検出部３０は、撮像部１０で取り込んだ画像信号から動きベクトルデータを検出して制御用マイコン５０に送り、制御用マイコン５０は動きベクトル検出部３０から送られてくる動きベクトルデータに基づいて手ぶれ量データＳ２（ベクトルデータ）を生成する（ＳＴ１０２）。

また、信号処理部４０では、撮像部１０で取り込んだ画像信号に所定の信号処理を施して制御用マイコン５０に送る。

次に、制御用マイコン５０では、信号処理部４０から送られてくる画像信号（デジタル信号）、即ち、動きベクトル検出部３０に送られた画像信号と同じ画像信号の輝度レベル、合焦状態、ズーム動作中であるか否か、などをチェックし、動きベクトルデータに基づいて生成された手ぶれ振動量データＳ２の信頼度を判定する（ＳＴ１０３）。

なお、上記の信頼度判定において、(1)画像信号の輝度レベルが動きベクトルデータ検出に適した輝度レベルである、(2)画像が所定の合焦状態である、(3)ズーム動作中でない、以上３つの条件を全て満たしている場合にのみ、手ぶれ振動量データＳ２の信頼度”あり”と判定する。

手ぶれ振動量データＳ２の信頼度を”なし”と判定した場合、制御用マイコン５０はカウンタをリセットし、新たにステップＳＴ１０２の処理から再開する（ＳＴ１０３→ＳＴ１０８→ＳＴ１０２→・・・）。

手ぶれ振動量データＳ２の信頼度を”あり”と判定した場合、次に、手ぶれ検出センサ２０と動きベクトル検出部３０が同種の手ぶれ振動を検出しているか否かを判定するため、手ぶれ量データＳ１と手ぶれ量データＳ２のベクトル方向を判定する（ＳＴ１０３→ＳＴ１０４）。

手ぶれ量データＳ１と手ぶれ量データＳ２のベクトル方向が異なる場合、制御用マイコン５０はカウンタをリセットし、新たにステップＳＴ１０２の処理から再開する（ＳＴ１０４→ＳＴ１０８→ＳＴ１０２→・・・）。

手ぶれ量データＳ１と手ぶれ量データＳ２のベクトル方向が同じである場合、制御用マイコン５０は、カウンタの値をカウントアップし、カウント値と所定の閾値を比較する（ＳＴ１０４→ＳＴ１０５、ＳＴ１０６）。

カウント値が所定の閾値以下（カウント値≦閾値）の場合、ステップＳＴ１０２の処理に戻り、次の手ぶれ量データＳ１及びＳ２の検出が開始される（ＳＴ１０６→ＳＴ１０２→・・・）

カウント値が所定の閾値より大きい（カウント値＞閾値）場合、制御用マイコン５０は、手ぶれ検出センサ２０と動きベクトル検出部３０が同種の手ぶれ振動を所定時間連続して検出していると判定し、ゲイン調整部５４に設定するゲイン補正係数値Ｒの変更フラグをオンにする（ＳＴ１０６→ＳＴ１０７）。

制御用マイコン５０は、ゲイン補正係数値Ｒの変更フラグをオンにすると、ゲイン補正係数値Ｒの変更可否を判定するため、次処理であるゲイン補正係数値Ｒの算出処理へ移行する（ＳＴ１０７→次処理へ）。

このように、制御用マイコン５０は、カウンタのカウンタ値に基づき、所定の時間内における動きベクトルデータの信頼度を判定し、更に、手ぶれ検出センサ２０と動きベクトル検出部３０が同種の手ぶれ振動を検出しているか否かを判定することで、手ぶれ以外の振動で検出されるベクトルデータ（例えば、被写体が突然動いたときに検出される動きベクトルデータなど）によってゲイン補正係数値Ｒが不要に変更されることを防止している。

続いて、手ぶれ量データＳ１と手ぶれ量データＳ２に基づいて手ぶれ補正処理を実行するまでの具体的な動作を図６に示すフローチャートに従って説明する（図２のステップＳＴ２０以降の処理）。

まず、制御用マイコン５０は、上述した図５のステップＳＴ１０７の処理によってゲイン補正係数値Ｒの変更フラグがオンに変更されているか否かを確認する（ＳＴ２０１）。

ゲイン補正係数値Ｒの変更フラグがオフの場合、ゲイン補正係数値Ｒの算出処理は実行されずに処理終了となる。（ＳＴ２０１→終了）。

ゲイン補正係数値Ｒの変更フラグがオンであることを確認すると、制御用マイコン５０の比較／判別部５６は、手ぶれ検出センサ２０の検出による手ぶれ信号に基づき生成した手ぶれ量データＳ１と、動きベクトル検出部３０の検出による動きベクトルデータに基づき生成した手ぶれ量データＳ２から次に示す式によってゲイン補正係数値Ｒを算出する（ＳＴ２０１→ＳＴ２０２）。

次に、制御用マイコン５０の比較／判別部５６は、ステップＳＴ２０２の処理で算出したゲイン補正係数値Ｒ（以下、ゲイン補正係数値Ｒn）が所定の許容値の範囲内（最小許容値Vok_l＜ゲイン補正係数値Ｒn＜最大許容値Vok_h）であるか否かを判定する（ＳＴ２０３）。

制御用マイコン５０の比較／判別部５６は、ゲイン補正係数値Ｒnが所定の許容値の範囲内である場合、ゲイン調整部５４に設定してあるゲイン補正係数値Ｒの変更は不要であり、また、装置のゲイン設定も適正である（例えば、コンバージョンレンズなどの装着もない）と判定する（ＳＴ２０３→ＳＴ２０４）。

制御用マイコン５０のゲイン調整部５４は、比較／判別部５６の判定に基づいて、現在設定されているゲイン補正係数値Ｒに基づいて算出したゲインデータを手ぶれ補正処理部６０に送る。若しくは、予め記憶してある所定のテーブルデータの中から現在設定されているゲイン補正係数値Ｒに基づく最適なゲインデータを選択して手ぶれ補正処理部６０に送る。

手ぶれ補正処理部６０は、制御用マイコン５０から送られてくるゲインデータに基づいた制御信号を生成して信号処理部４０やＴＧ１０Ａを制御し、信号処理部４０から送られてくる画像信号の手ぶれ補正処理を実行する（ＳＴ２０４→ＳＴ２１０）。

一方、ステップＳＴ２０３の処理において、ゲイン補正係数値Ｒnが所定の許容値の範囲外である場合、制御用マイコン５０の比較／判別部５６は、更に、ゲイン補正係数値Ｒnが最小許容値以下であるか否か（最小許容値Vok_l≦ゲイン補正係数値Ｒn）を判定する（ＳＴ２０３→ＳＴ２０５）。

ゲイン補正係数値Ｒnが最小許容値以下（最小許容値Vok_1≧ゲイン補正係数値Ｒn）である場合、ゲイン調整部５４に現在設定してあるゲイン補正係数値Ｒの調整が必要であり、また、装置のゲイン設定が小さすぎて適切でないと判定し、ゲイン補正係数値Ｒnをゲイン調整部５４に送る（ＳＴ２０５→ＳＴ２０６）。

ゲイン調整部５４では、比較／判別部５６からのゲイン補正係数値Ｒnを新たなゲイン補正係数値として設定し、ゲイン補正係数値Ｒnに基づいて算出したゲインデータを手ぶれ補正処理部６０に送る。若しくは、予め記憶してある所定のテーブルデータの中からゲイン補正係数値Ｒnに基づいて最適なゲインデータを選択して手ぶれ補正処理部６０に送る（ＳＴ２０７）。

また、制御用マイコン５０の比較／判別部５６は、装置のゲイン設定を適切な設定に自動的に切り換える、若しくは、適切な設定とするように促すメッセージや故障である可能性を示すメッセージなどを表示部に表示させる（ＳＴ２０７）。

例えば、図７に示すように、ズーム位置Ｌと倍率ゲインＧzmの対応関係をテーブルデータとして記憶している場合、このテーブルデータに基づいて広角コンバージョンレンズが装着されている旨のメッセージを表示部に表示させたり、所定の故障判定値を設定してゲイン補正係数値Ｒnと比較することにより、手ぶれ検出センサ２０や動きベクトル検出部３０の故障を検知し、警報を表示させることもできる。

そして、手ぶれ補正処理部６０は、制御用マイコン５０から送られてくるゲインデータに基づいた制御信号を生成して信号処理部４０やＴＧ１０Ａを制御し、信号処理部４０から送られてくる画像信号の手ぶれ補正処理を実行する（ＳＴ２０７→ＳＴ２１０）。

また、ステップＳＴ２０５の処理において、ゲイン補正係数値Ｒnが最小許容値より大きい（最小許容値Vok_l＜ゲイン補正係数値Ｒn）場合、ゲイン補正係数値Ｒnは最大許容値Vok_hよりも大きな値（最大許容値Vok_h＜ゲイン補正係数値Ｒn）であり、また、装置のゲイン設定が大きすぎて適切でないと判定し、ゲイン補正係数値Ｒnをゲイン調整部５４に送る（ＳＴ２０５→ＳＴ２０８）。

ゲイン調整部５４では、比較／判別部５６からのゲイン補正係数値Ｒnを新たなゲイン補正係数値として設定し、ゲイン補正係数値Ｒnに基づいて算出したゲインデータを手ぶれ補正処理部６０に送る。若しくは、予め記憶してある所定のテーブルデータの中からゲイン補正係数値Ｒnに基づいて最適なゲインデータを選択して手ぶれ補正処理部６０に送る（ＳＴ２０９）。

また、制御用マイコン５０の比較／判別部５６は、装置のゲイン設定を適切な設定に自動的に切り換える、若しくは、適切な設定とするように促すメッセージや故障である可能性を示すメッセージなどを表示部に表示させる（ＳＴ２０９）。

例えば、図７に示すように、ズーム位置Ｌと倍率ゲインＧzmの対応関係をテーブルデータとして記憶している場合、このテーブルデータに基づいて狭角コンバージョンレンズが装着されている旨のメッセージを表示部に表示させたり、所定の故障判定値を設定してゲイン補正係数値Ｒnと比較することにより、手ぶれ検出センサ２０や動きベクトル検出部３０の故障を検知し、警報を表示させることもできる。

そして、手ぶれ補正処理部６０は、制御用マイコン５０から送られてくるゲインデータに基づいた制御信号を生成して信号処理部４０やＴＧ１０Ａを制御し、信号処理部４０から送られてくる画像信号の手ぶれ補正処理を実行する（ＳＴ２０９→ＳＴ２１０）。

このように、第１実施例の撮像装置は、制御用マイコン５０により、手ぶれ検出センサ２０で検出した手ぶれ信号をもとに生成する手ぶれ量データＳ１と、動きベクトル検出部３０で検出した動きベクトルデータをもとに生成する手ぶれ量データＳ２に基づいて補正係数値Ｒｎを算出し、現在設定されているゲイン補正係数値とを比較・判定して手ぶれ補正処理の補正量を調整するためのゲインデータを生成する。

そして、ゲイン設定を適切な設定状態に切り換えたり、ゲインデータに基づいて制御信号を生成してＴＧ１０Ａ、信号処理部４０に送り、ＴＧ１０Ａによる画像の取り込みタイミングや信号処理部４０の画像メモリに取り込まれた画像信号の読み出し（切り出し）範囲（アドレス）を制御し、信号処理部４０から送られてくる画像信号に対して所定の手ぶれ補正処理を施して次段回路に送出する。

[第２実施例]
次に、第２実施例として、図２で説明した処理を光学的に手ぶれ補正する撮像装置で実行する場合について説明する。

図８は、光学的に手ぶれ補正する撮像装置において、本発明に関係する主要部を簡略化して例示したブロック図であり、撮像部１０、サーボ機構部１０Ｂ、手ぶれ検出センサ２０、動きベクトル検出部３０、信号処理部４０、制御用マイコン５０、手ぶれ補正処理部６０などを備えた構成となっている。

撮像部１０は、撮像レンズ、サーボ機構部１０Ｂの制御に従って移動する光学補正レンズ、撮像素子などから構成され、撮像レンズ及び光学補正レンズを介して投影される被写体の画像（光の信号）をＣＣＤ（Charge Coupled Device）などの撮像素子で検出し、電気信号（以下、画像信号）に変換して動きベクトル検出部３０に送る。

なお、光学補正レンズの一部に可変頂角プリズムや回転／並進（偏芯）レンズ等を取り付けることによって、手ぶれ振動によるレンズ光軸のずれを光学的に補正するようにしてもよい。

サーボ機構部１０Ｂは、手ぶれ補正処理部６０からの制御信号に従って撮像部１０の光学補正レンズの移動させることにより、手ぶれ振動によるレンズ光軸のずれを光学的に補正する。

手ぶれ検出センサ２０は、例えば、角速度センサなどのセンサであり、手ぶれによる撮像部（装置自体）の振動量を検出し、検出した振動量に応じた電気信号（以下、手ぶれ信号）に変換して制御用マイコン５０（のＡ／Ｄ変換部５１）に送る。

手ぶれ補正処理部６０は、制御用マイコン５０から送られてくるゲインデータに基づいて制御信号を生成してサーボ機構部１０Ｂに送り、撮像部１０の光学補正レンズの動作を制御して、手ぶれ振動によるレンズ光軸のずれを光学的に補正する。そして、信号処理部４０から送られてくる画像信号に対して所定の手ぶれ補正処理を施して次段回路に送出する。

なお、図９は、図８の撮像装置における手ぶれ補正前／補正後の画像信号と手ぶれ量データＳ１及び手ぶれ量データＳ２との関係を簡略化して示した概念図であり、手ぶれ量データＳ１は、原画像信号ｂ０（２点鎖線）と光学補正した画像信号ｂ１（点線）の距離差（ベクトル量）に相当し、手ぶれ量データＳ２は、光学補正した画像信号ｂ１（点線）と動きベクトルデータに基づいて補正した画像信号ｂ２（実線）の距離差（ベクトル量）に相当する。

続いて、図８に示した光学的に手ぶれ補正する撮像装置の具体的な動作について説明する。

まず、図２のステップＳＴ２０の処理に相当する手ぶれ振動データＳ１と手ぶれ振動データＳ２を評価する処理が実行されるが、具体的な動作は上述で説明した図５のフローチャートと同じであるため、その説明は省略する。

続いて、図２のステップＳＴ２０以降の処理である手ぶれ量データＳ１と手ぶれ量データＳ２に基づいて手ぶれ補正処理を実行するまでの具体的な動作を図１０に示すフローチャートに従って説明する。

制御用マイコン５０は、上述した図５のステップＳＴ１０７の処理によってゲイン補正係数値Ｒの変更フラグがオンに変更されているか否かを確認する（ＳＴ３０１）。

ゲイン補正係数値Ｒの変更フラグがオフの場合、ゲイン補正係数値Ｒの算出処理は実行されずに処理終了となる。（ＳＴ３０１→終了）。

ゲイン補正係数値Ｒの変更フラグがオンであることを確認すると、制御用マイコン５０の比較／判別部５６は、手ぶれ検出センサ２０の検出による手ぶれ信号に基づき生成した手ぶれ量データＳ１と、動きベクトル検出部３０の検出による動きベクトルデータに基づき生成した手ぶれ量データＳ２から次に示す式によってゲイン補正係数値Ｒを算出する（ＳＴ３０１→ＳＴ３０２）。

なお、光学的に手ぶれ補正する撮像装置では、手ぶれに対して撮像部１０で光学的補正が為されるため、手ぶれ検出センサ２０の検出に基づいて算出される手ぶれ量データＳ１に手ぶれ量データＳ２を加えた値（Ｓ１＋Ｓ２）と、手ぶれ量データＳ１によって算出するゲイン補正係数値Ｒによってゲイン調整の必要性やゲイン設定の状態を適切に判定する（図９参照）。

次に、制御用マイコン５０の比較／判別部５６は、ステップＳＴ３０２の処理で算出したゲイン補正係数値Ｒ（以下、ゲイン補正係数値Ｒn）が所定の許容値の範囲内（最小許容値Vok_l＜ゲイン補正係数値Ｒn＜最大許容値Vok_h）であるか否かを判定する（ＳＴ３０３）。

制御用マイコン５０の比較／判別部５６は、ゲイン補正係数値Ｒnが所定の許容値の範囲内である場合、ゲイン調整部５４に設定してあるゲイン補正係数値Ｒの変更は不要であり、また、装置のゲイン設定も適正である（例えば、コンバージョンレンズなどの装着もない）と判定する（ＳＴ３０３→ＳＴ３０４）。

手ぶれ補正処理部６０は、制御用マイコン５０から送られてくるゲインデータに基づいた制御信号を生成して信号処理部４０やＴＧ１０Ａを制御し、信号処理部４０から送られてくる画像信号の手ぶれ補正処理を実行する（ＳＴ３０４→ＳＴ３１０）。

一方、ステップＳＴ３０３の処理において、ゲイン補正係数値Ｒnが所定の許容値の範囲外である場合、制御用マイコン５０の比較／判別部５６は、更に、ゲイン補正係数値Ｒnが最小許容値以下であるか否か（最小許容値Vok_l≦ゲイン補正係数値Ｒn）を判定する（ＳＴ３０３→ＳＴ３０５）。

ゲイン補正係数値Ｒnが最小許容値以下（最小許容値Vok_l≧ゲイン補正係数値Ｒn）である場合、ゲイン調整部５４に現在設定してあるゲイン補正係数値Ｒの調整が必要であり、また、装置のゲイン設定が小さすぎて適切でないと判定し、ゲイン補正係数値Ｒnをゲイン調整部５４に送る（ＳＴ３０５→ＳＴ３０６）。

ゲイン調整部５４では、比較／判別部５６からのゲイン補正係数値Ｒnを新たなゲイン補正係数値として設定し、ゲイン補正係数値Ｒnに基づいて算出したゲインデータを手ぶれ補正処理部６０に送る。若しくは、予め記憶してある所定のテーブルデータの中からゲイン補正係数値Ｒnに基づいて最適なゲインデータを選択して手ぶれ補正処理部６０に送る（ＳＴ３０７）。

また、制御用マイコン５０の比較／判別部５６は、装置のゲイン設定を適切な設定に自動的に切り換える、若しくは、適切な設定とするように促すメッセージや故障である可能性を示すメッセージなどを表示部に表示させる（ＳＴ３０７）。

そして、手ぶれ補正処理部６０は、制御用マイコン５０から送られてくるゲインデータに基づいた制御信号を生成してサーボ機構部１０Ｂを制御し、信号処理部４０から送られてくる画像信号の手ぶれ補正処理を実行する（ＳＴ３０７→ＳＴ３１０）。

また、ステップＳＴ３０５の処理において、ゲイン補正係数値Ｒnが最小許容値より大きい（最小許容値Vok_l＜ゲイン補正係数値Ｒn）場合、ゲイン補正係数値Ｒnは最大許容値Vok_hよりも大きな値（最大許容値Vok_h＜ゲイン補正係数値Ｒn）であり、また、装置のゲイン設定が大きすぎて適切でないと判定し、ゲイン補正係数値Ｒnをゲイン調整部５４に送る（ＳＴ３０５→ＳＴ３０８）。

ゲイン調整部５４では、比較／判別部５６からのゲイン補正係数値Ｒnを新たなゲイン補正係数値として設定し、ゲイン補正係数値Ｒnに基づいて算出したゲインデータを手ぶれ補正処理部６０に送る。若しくは、予め記憶してある所定のテーブルデータの中からゲイン補正係数値Ｒnに基づいて最適なゲインデータを選択して手ぶれ補正処理部６０に送る（ＳＴ３０９）。

また、制御用マイコン５０の比較／判別部５６は、装置のゲイン設定を適切な設定に自動的に切り換える、若しくは、適切な設定とするように促すメッセージや故障である可能性を示すメッセージなどを表示部に表示させる（ＳＴ３０９）。

そして、手ぶれ補正処理部６０は、制御用マイコン５０から送られてくるゲインデータに基づいた制御信号を生成してサーボ機構部１０Ｂを制御して撮像部１０における光軸のずれを補正し、信号処理部４０から送られてくる画像信号に所定の手ぶれ補正処理を施して次段回路に送出する（ＳＴ３０９→ＳＴ３１０）。

このように、第２実施例の撮像装置は、制御用マイコン５０により、第１実施例と同様に、手ぶれ検出センサ２０で検出した手ぶれ信号をもとに生成する手ぶれ量データＳ１と、動きベクトル検出部３０で検出した動きベクトルデータをもとに生成する手ぶれ量データＳ２に基づいて補正係数値Ｒｎを算出し、現在設定されているゲイン補正係数値とを比較・判定して手ぶれ補正処理の補正量を調整するためのゲインデータを生成する。

そして、ゲイン設定を適切な設定状態に切り換えたり、ゲインデータに基づいて制御信号を生成してサーボ機構部１０Ｂに送り、撮像部１０の光学補正レンズの動作を制御して、手ぶれ振動によるレンズ光軸のずれを光学的に補正し、信号処理部４０から送られてくる画像信号に対して所定の手ぶれ補正処理を施して次段回路に送出する。

本願発明に係る撮像装置の内部構成を簡略化して示したブロック図である。図１に示した撮像装置の動作概略を説明するためのフローチャートである。本願発明の第１実施例となる撮像装置の内部構成を簡略化して示したブロック図である。図３に示す撮像装置における手ぶれ補正前／補正後の画像信号と手ぶれ量データＳ１及び手ぶれ量データＳ２との関係を簡略化して示した概念図である。図３、図８の撮像装置において、手ぶれ検出センサ及び動きベクトル検出部で検出される手ぶれ量データを評価・判定するときの動作を説明するためのフローチャートである。図３の撮像装置において、手ぶれ補正処理が実行されるまでの動作を説明するためのフローチャートである。撮像装置へのコンバージョンレンズ装着による焦点距離と倍率ゲインの対応関係を簡略化して示したグラフである。本願発明の第２実施例となる撮像装置の内部構成を簡略化して示したブロック図である。図８の撮像装置における手ぶれ補正前／補正後の画像信号と手ぶれ量データＳ１及び手ぶれ量データＳ２との関係を簡略化して示した概念図である。図８の撮像装置において、手ぶれ補正処理が実行されるまでの動作を説明するためのフローチャートである。

符号の説明

１０；撮像部
１０Ａ；ＴＧ（タイミングジェネレータ）部
１０Ｂ；サーボ機構部
２０；手ぶれ検出センサ
３０；動きベクトル検出部
４０；信号処理部
５０；制御用マイコン
５１；Ａ／Ｄ変換部
５２；ノイズ除去部（ＨＰＦ／ＬＰＦ／ＢＰＦ）
５３；積分器
５４；ゲイン調整部
５５；遅延用メモリ
５６；比較／判定部
６０；手ぶれ補正処理部

Claims

手振れ検出センサを用いて撮像部の手ぶれ振動を手ぶれ信号として検出する第１の手ぶれ検出手段と、前記撮像部で取り込んだ画像信号から動きベクトルデータを検出する第２の手ぶれ検出手段と、
前記第１の手ぶれ検出手段で検出した手ぶれ信号に基づいて第１の手ぶれ量データを生成し、前記第２の手ぶれ検出手段で検出した動きベクトルデータに基づいて第２の手ぶれ量データを生成する手ぶれ量データ生成手段と、
前記手ぶれ量データ生成手段で生成される第１の手ぶれ量データ及び第２の手ぶれ量データに基づき、手ぶれ補正処理の補正量を調整するゲインデータを補正するためのゲイン補正係数値Ｒを算出するゲイン補正係数算出手段と、
前記ゲイン補正係数算出手段で算出したゲイン補正係数値Ｒに基づいて、装置に設定してあるゲイン補正係数値Ｒやゲイン設定の設定状態を判定するゲイン判定手段と、
前記ゲイン判定手段の判定に応じて、前記ゲイン補正係数算出手段で算出されるゲイン補正係数値Ｒに基づいた前記ゲインデータを生成するゲインデータ生成手段と、
前記ゲイン判定手段の判定に応じて、前記ゲイン設定を所定の設定状態に切り換えることができるゲイン設定切換手段と、
前記ゲインデータ生成手段で生成されたゲインデータに基づいて前記画像信号の手ぶれ補正処理を実行する手ぶれ補正手段と、
前記撮像部で撮像した画像信号の輝度レベルが動きベクトルデータ検出に適した輝度レベルであること、画像が所定の合焦状態であること、ズーム動作中でないことの３つの条件を全て満たしている場合のみ、前記第２の手ぶれ検出手段で検出した動きベクトルデータが信頼度ありと判定する動きベクトル判定手段と、
前記手ぶれ量データ生成手段で生成される第１の手ぶれ量データと第２の手ぶれ量データのベクトル方向が所定時間連続して同じ方向である場合には、前記第１の手ぶれ検出手段と前記第２の手ぶれ検出手段が同種の手ぶれ振動を検出しているものと判定する手ぶれ判定手段と、を備え、
前記ゲイン補正係数算出手段は、前記動きベクトル判定手段で信頼度ありと判定され及び前記手ぶれ判定手段で同種の手ぶれ振動を検出しているものと判定された場合には、前記第２の手ぶれ量データを前記第１の手ぶれ量データで除した値をゲイン補正係数値Ｒｎとし、該ゲイン補正係数値Ｒｎが所定の許容値の範囲内である場合には、予め設定してあるゲイン補正係数値Ｒの変更は不要とし、前記ゲイン補正係数値Ｒｎが所定の許容値の範囲外である場合には、予め設定してあるゲイン補正係数値Ｒを変更するように制御すること
を特徴とする撮像装置。