JP5072431B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像素子において任意の周期のフリッカについての対策を行いながら、良好な合焦動作が可能なオートフォーカスを行う撮像装置及びその制御方法に関する。

従来から、デジタルビデオカメラ、デジタルスチルカメラ等の撮像装置において、ＣＣＤ等の撮像素子から得られる画像信号を用いて自動的に合焦動作を行う方式としてコントラスト検出方式が用いられている。

コントラスト検出方式では、フォーカスレンズの位置をある範囲内で動かして順次撮像し、各画像信号より焦点評価信号を演算し、その値から合焦位置を求める。焦点評価信号は、ＢＰＦ（バンドパスフィルタ）などを用いて、合焦状態に近づくほど大きくなるように演算される。そして、この焦点評価信信号のピーク位置にフォーカスレンズの位置を制御することで合焦状態を得る。

コントラスト検出方式においては、連続した焦点評価値からフォーカスレンズの移動方向を求めており、比較する焦点評価値の基となる画像信号のＳ／Ｎが大きく違うと良好な合焦動作ができないという問題がある。特に、蛍光灯下のフリッカによる影響は大きい。

撮像素子からの読み出し周期を１／６０Ｓ（秒）、電源周波数によるフリッカの周期を１／５０Ｓとした場合の蛍光灯フリッカによる影響を図９に示す。

図９（ａ）は撮像素子からの読み出し周期、図９（ｂ）は撮像素子の蓄積時間、図９（ｃ）は蛍光灯フリッカによる輝度変化、図９（ｄ）は焦点評価値のサンプリング周期、図９（ｅ）は撮像素子から読み出される画像信号を示す。

図９では、撮像素子の蓄積時間内における蛍光灯の輝度変化が読み出し画像信号毎に違っている。このため、連続した画像信号間のＳ／Ｎに違いが発生し、被写体に変化がない場合でも焦点評価値が変動する。この結果、良好な合焦動作ができない。

さらに、低照度時等で定常的にＳ／Ｎが悪い場合は、画像信号の変化がノイズに埋もれてしまい、同様に良好な合焦動作ができないという問題がある。

そこで、特許文献１には、以下の技術が提案されている。

画像信号から得られた焦点評価値と予め設定した比較値とを比較することで、低照度であるか否かを判定し、十分な照度の場合は撮像素子の蓄積時間、低照度の場合は焦点評価値のサンプリング周期を変更することでフリッカの影響を排除する。

また、特許文献２には、フリッカキャンセル用の検波・演算を行った画像信号に対して、その演算結果によるゲイン調整を行うことで、フリッカの影響を排除する技術が提案されている。
特開平８−７９５９５号公報 特開２００１−１８６４０７号公報

ところで、近年高速で撮像素子より画像信号を読み出し、記録する撮像装置が提案されている。図１０に、撮像素子からの読み出し周期を１／５００Ｓ、電源周波数によるフリッカ周期を１／５０Ｓとした場合の蛍光灯フリッカの影響を示す。図１０の（ａ）〜（ｅ）は図９（ａ）〜（ｅ）と同様の内容を示す。

このような高速読み出しを行った場合は、焦点評価値のサンプリング周期が短くなりオートフォーカスの応答性を高めることができる。

しかしながら、特許文献１に記載の、撮像素子の蓄積時間を変更する方式では、撮像素子の読み出し周期が電源周波数の２倍を超える場合は、フリッカの影響を排除することができない。また、特許文献１に記載の、焦点評価値のサンプリング周期を変更する方式では、オートフォーカスの応答性が大きく低下するという問題がある。

また、特許文献２に記載の、ゲイン調整を行う方式では、Ｓ／Ｎは改善されない。高速読み出しを行った場合は、図１０の三角印で示すフリッカの谷では、Ｓ／Ｎが非常に悪くなるため、良好な合焦動作ができないという問題がある。

本発明の目的は、蛍光灯下において良好な合焦動作を行うことができる撮像装置及びその制御方法を提供することにある。

上記目的を達成するために、本発明の撮像装置は、画像信号を取得する取得手段と、前記画像信号の露出評価値が所定値より大きい場合、当該画像信号を出力し、前記画像信号の露出評価値が前記所定値より小さい場合、前記画像信号と記憶手段に記憶された画像信号とを合成した画像信号を出力する合成手段と、前記合成手段から出力される露出評価値が所定値より大きい画像信号の焦点評価値に基づいてフォーカスレンズの位置を調整する調整手段と、を有することを特徴とする。

また、本発明の撮像装置の制御方法は、画像信号を取得する取得手段と、複数の画像信号を合成する合成手段と、画像信号に基づいてフォーカスレンズの位置を調整する調整手段と、を有する画像処理装置の制御方法であって、前記合成手段が、前記取得手段が取得した画像信号の露出評価値が所定値より大きい場合、当該画像信号を出力し、前記取得手段が取得した画像信号の露出評価値が前記所定値より小さい場合、前記画像信号と記憶手段に記憶された画像信号とを合成した画像信号を出力する合成ステップと、前記調整手段が、前記合成手段から出力される露出評価値が所定値より大きい画像信号の焦点評価値に基づいてフォーカスレンズの位置を調整する調整ステップと、を有することを特徴とする。

本発明によれば、蛍光灯下においても良好な合焦動作を行うことができる撮像装置、及びその制御方法を提供することができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。

図１は、本発明の第１の実施の形態に係る撮像装置のブロック構成図である。

被写体像は、固定レンズ１０１、絞り１０２、焦点調整を行うフォーカスレンズ１０３を経て、撮像素子１０４に入射され、ここで光電変換されて画像信号として出力される。

撮像素子１０４から出力された画像信号は、アナログフロントエンド１０５で相関二重サンプリングとＡ／Ｄ変換が行われ、デジタル信号に変換される。アナログフロントエンド１０５から出力された画像信号は、第１のメモリ１０６、露出評価値算出回路１０７、画像合成回路１０８に出力される。

第１のメモリ１０６では、入力された画像信号を記憶する。露出評価値算出回路１０７は、画像信号の輝度値を積分し、フレーム内の露出評価値を算出し、フリッカ検出回路１０９、露出評価値判定回路１１０に出力する。

フリッカ検出回路１０９は、各フレームの輝度値の平均値を比較することによって、画像信号が蛍光灯フリッカ成分の影響を受けているかどうかの検出を行い、検出結果を第１のゲイン制御回路１１１、第２のゲイン制御回路１１２、マイコン１１３に出力する。

第１のゲイン制御回路１１１は、フリッカ成分の検出結果に応じてフリッカを補正するためのフリッカ補正ゲインを生成し、第１のフリッカ補正回路１１４に出力する。第１のフリッカ補正回路１１４は、第１のメモリ１０６の出力に対してフリッカ補正ゲインをかけてフリッカ成分を補正し、カメラ信号処理回路１１５に出力する。

カメラ信号処理回路１１５は、フリッカ補正された画像信号に対してアパーチャ補正、ガンマ補正、ホワイトバランス等の撮像系の信号処理を行う。このカメラ信号処理回路１１５の出力がカメラの出力信号として記録メディアに記録される。

露出評価値判定回路１１０は、露出評価値算出回路１０７から出力（算出）された露出評価値を予め設定されている所定値と比較し、判定（比較）結果を画像合成回路１０８、第２のゲイン制御回路１１２、マイコン１１３に出力する。

画像合成回路１０８は、露出評価値判定回路１１０の判定結果に応じて、アナログフロントエンド１０５の画像信号と後述する第２のメモリ１１６に記憶されている画像信号を加算合成し、第２のメモリ１１６、第２のフリッカ補正回路１１７に出力する。

第２のメモリ１１６は、画像合成回路１０８から出力された画像信号を記憶する。第２のゲイン制御回路１１２は、露出評価値判定回路１１０の判定結果に応じて、複数フレームのフリッカの検出結果を合成して、フリッカを補正するためのフリッカ補正ゲインを生成し、第２のフリッカ補正回路１１７に出力する。

第２のフリッカ補正回路１１７は、第２のメモリ１１６の出力に対してフリッカ補正ゲインをかけてフリッカを補正し、焦点評価値算出回路１１８に出力する。焦点評価値算出回路１１８は、第２のフリッカ補正回路１１７の出力の高周波成分を合焦状態に近づくほど信号が大きくなるように抽出し、焦点評価値としてマイコン１１３に出力する。

マイコン１１３は、露出評価値判定回路１１０の判定結果と、フリッカ検出回路１０９の検出結果と、焦点評価値算出回路１１８の焦点評価値より、フォーカスレンズ１０３の制御信号を生成し、焦点調整部１１９に出力する。焦点調整部１１９は、マイコン１１３の制御信号に応じてフォーカスレンズ１０３の位置を調整するようフォーカスレンズを駆動（移動）させる。

図２は、図１の撮像装置の動作を説明するためのタイミングチャートである。

図２において、図２の（ａ）〜（ｅ）は図１０（ａ）〜（ｅ）と同様の内容を示す。図２（ｆ）は、蛍光灯フリッカの影響を除去するためのフリッカ補正ゲイン値であり、図２（ｅ）の撮像素子１０４の出力信号に含まれる蛍光灯フリッカの影響を除去するための補正ゲインを表している。

図２の三角印で示したフリッカの谷となる部分では、図２（ｅ）の撮像素子１０４の出力信号のレベルが小さいため、フリッカ補正ゲインの数値が大きくなっている。図２（ｇ）は、露出評価値判定回路１１０の判定結果であり、露出評価値算出回路１０７の露出評価値が予め設定されている所定値を超えている場合を○、超えていない場合を×で表している。

図２（ｈ）は、画像合成回路１０８の出力信号であり、斜線で表示している部分は第２のメモリ１１６に記憶していた画像信号を表している。画像合成回路１０８は、図２（ｇ）の露出評価値判定結果が×の場合は、図２（ｅ）の撮像素子１０４の出力信号と第２のメモリ１１６に記憶していた画像信号を加算合成して、第２のメモリ１１６に記憶する。判定結果が○の場合は、撮像素子１０４の出力信号のみを第２のメモリ１１６に記憶する。

図２（ｉ）は、蛍光灯フリッカの影響を除去するためのフリッカ補正ゲイン値であり、図２（ｈ）の画像合成回路１０８の出力信号に含まれる蛍光灯フリッカの影響を除去するための補正ゲインを表している。

ここで、図２（ｇ）の露出評価値判定結果が×の場合は、画像合成回路１０８で画像信号の加算合成処理が続けられる。そのため、第２のゲイン制御回路１１２は、加算処理が行われた複数枚の画像信号に対するフリッカ補正ゲインを合成し、加算合成した画像信号に対するフリッカ補正ゲインを生成する。

マイコン１１３は、図２（ｇ）の露出評価値判定結果を、図示しない内部のメモリに所定回数分記憶しておく。そして、フリッカ検出回路１０９の検出結果と、焦点評価値算出回路１１８の焦点評価値と、内部メモリに記憶している所定回数分の判定結果を用いて、図３に示すフローでフォーカスレンズ１０３の制御信号を生成する。

尚、所定回数はフリッカ検出結果と、露出評価値判定結果よりフリッカの影響によりＳ／Ｎが悪い画像信号の期間を算出し、設定される。

図３は、図１の撮像装置によって実行されるフォーカスレンズ制御（焦点調整）処理の手順を示すフローチャートである。

図１におけるマイコン１１３の制御の下、焦点調整部１１９によってフォーカスレンズ制御処理がなされる。

図３において、まず、フリッカの検出結果を判定し（ステップＳ３０１）、フリッカが検出されていない場合は、焦点評価値を使用してフォーカスレンズ１０３の制御信号を生成する（ステップＳ３０２）。そして、本処理を終了する。

フリッカが検出されている場合は、直前の露出評価値判定回路１１０の判定結果をチェックする（ステップＳ３０３）。

直前の判定結果が所定値を超えている場合は、現在の焦点評価値が十分なＳ／Ｎを持った画像信号から生成されたと判断し、焦点評価値を使用してフォーカスレンズ１０３の制御信号を生成する（ステップＳ３０２）。そして、本処理を終了する。

直前の判定結果が所定値を超えていない場合は、現在の露出評価値判定回路１１０の判定結果をチェックし（ステップＳ３０４）、現在の判定結果が所定値を超えていない場合は、Ｓ／Ｎの悪い画像信号より焦点評価値が生成されたと判断する。そして、焦点評価値からのフォーカスレンズ制御信号の生成を停止し、直前のフォーカスレンズ制御を保持する（ステップＳ３０５）。そして、本処理を終了する。

現在の判定結果が所定値を超えている場合は、内部メモリに記憶している所定回数分の判定結果をチェックする（ステップＳ３０６）。そして、現在の判定結果を除くすべての判定結果が所定値を超えていない場合は、Ｓ／Ｎが悪い期間の画像信号がすべて加算合成されたと判断し、焦点評価値を使用してフォーカスレンズ１０３の制御信号を生成する（ステップＳ３０２）。そして、本処理を終了する。

そうでない場合は、Ｓ／Ｎが悪い期間の途中と判断し、焦点評価値からのフォーカスレンズ制御信号の生成を停止し、直前のフォーカスレンズ制御を保持する（ステップＳ３０５）。そして、本処理を終了する。

図２（ｄ）は、マイコン１１３により、焦点評価値算出回路１１８で算出された焦点評価値を使用してフォーカスレンズ１０３の制御信号を生成した場合は上矢印、焦点評価値を使用しない場合は右矢印を表示している。

本実施の形態では、蛍光灯フリッカの影響で、信号のレベルが低いためにＳ／Ｎが悪い期間は画像信号を加算合成し、加算合成した画像を焦点評価値としてサンプリングするので、Ｓ／Ｎが悪い画像信号から算出された焦点評価値を使用することによる誤動作を防止している。

このように、信号のレベルが高いＳ／Ｎが良好な期間は焦点評価値のサンプリング周期を高速に保ち、信号のレベルが低いＳ／Ｎが悪い期間は焦点評価値のサンプリング周期を低くする。このことで、高速読み出しによるオートフォーカスの応答性を大きく低下させることなく、蛍光灯下において高速読み出しを行う際にも良好な合焦動作を行うことができる。

次に、第２の実施の形態について説明する。本実施の形態では、画像合成回路１０８で合成された画像信号の露出評価値を算出し、Ｓ／Ｎが良好と判断した場合の焦点評価値を使用してフォーカスレンズ１０３の制御を行うことで、焦点評価値のサンプリング回数を増やす。

図４は、本発明の第２の実施の形態に係る撮像装置のブロック構成図である。図５は、図４の撮像装置の動作を説明するためのタイミングチャートである。

図４、図５において、第１の実施の形態に係る図１、図２と同一の構成要素には、同一の符号が付されている。

尚、図４において、第２の露出評価値算出回路１２０は、第２のメモリ１１６から出力される画像信号の輝度値を積分し、フレーム内の露出評価値を算出し、第２の露出評価値判定回路１２１に出力する。

第２の露出評価値判定回路１２１は、第２の露出評価値算出回路１２０から出力された露出評価値を予め設定されている所定値と比較し、判定結果をマイコン１１３に出力する。

図５（ｊ）は、第２の露出評価値判定回路１２１の判定結果であり、第２の露出評価値算出回路１２０の露出評価値が予め設定されている所定値を超えている場合を○、超えていない場合を×で表している。

マイコン１１３は、露出評価値判定回路１１０の判定結果と、フリッカ検出回路１０９の検出結果と、焦点評価値算出回路１１８の焦点評価値と、第２の露出評価値判定回路１２１の判定結果より、フォーカスレンズの制御信号を生成する。そして、その制御信号を焦点調整部１１９に出力する。焦点調整部１１９は、マイコン１１３の制御信号に応じて図６に示すフローでフォーカスレンズ１０３の制御信号を生成する。

図６は、図４の撮像装置によって実行されるフォーカスレンズ制御（焦点調整）処理の手順を示すフローチャートである。

図４におけるマイコン１１３の制御の下、焦点調整部１１９によってフォーカスレンズ制御処理がなされる。

図６において、まず、フリッカの検出結果を判定し（ステップＳ６０１）、フリッカが検出されていない場合は、焦点評価値を使用してフォーカスレンズ１０３の制御（調整）信号を生成する（ステップＳ６０２）。そして、本処理を終了する。

フリッカが検出されている場合は、第２の露出評価値判定回路１２１の判定結果をチェックする（ステップＳ６０３）。

判定結果が所定値を超えている場合は、現在の焦点評価値が十分なＳ／Ｎを持った画像信号より焦点評価値が生成されたと判断し、焦点評価値を使用してフォーカスレンズ１０３の制御信号を生成する（ステップＳ６０２）。そして、本処理を終了する。

判定結果が所定値を超えていない場合は、Ｓ／Ｎの悪い画像信号より焦点評価値が生成されたと判断し、焦点評価値からのフォーカスレンズ制御信号の生成を停止し、直前のフォーカスレンズ制御を保持する（ステップＳ６０４）。そして、本処理を終了する。

図５（ｄ）は、マイコン１１３により、焦点評価値算出回路１１８で算出された焦点評価値を使用してフォーカスレンズの制御信号を生成した場合は上矢印、焦点評価値を使用しない場合は右矢印を表示している。

本実施の形態では、画像合成回路１０８で合成された画像信号の露出評価値を算出し、Ｓ／Ｎが良好と判断した場合の焦点評価値を使用してフォーカスレンズ１０３の制御を行うことで、焦点評価値のサンプリング回数を増やすことができる。

次に、第３の実施の形態について説明する。本実施の形態では、画像合成回路１０８で合成された画像信号の露出評価値を算出し、Ｓ／Ｎが良好と判断した場合の焦点評価値を使用してフォーカスレンズ１０３の制御を行う。また、それとともに、画像合成回路１０８での加算合成をリセットすることで、加算合成により動きぶれが発生した場合の誤判定を低減させる。

図７は、本発明の第３の実施の形態に係る撮像装置のブロック構成図である。図８は、図７の撮像装置の動作を説明するためのタイミングチャートである。

図７、図８において、第２の実施の形態に係る図４、図５と同一の構成要素には、同一の符号が付されている。

図７において、第２の露出評価値算出回路１２０は、第２のメモリ１１６から出力される画像信号の輝度値を積分し、フレーム内の露出評価値を算出し、第２の露出評価値判定回路１２１に出力する。

第２の露出評価値判定回路１２１は、第２の露出評価値算出回路１２０から出力された露出評価値を予め設定されている所定値と比較し、判定（比較）結果を画像合成回路１０８、マイコン１１３に出力する。

図８（ｊ）の第２の露出評価値判定結果が所定値を超えている場合は、焦点評価値のサンプリングが行われるため、図８（ｈ）の加算合成を一旦リセットする。

本実施の形態では、画像合成回路１０８で合成された画像信号の露出評価値を算出し、Ｓ／Ｎが良好と判断した場合の焦点評価値を使用してフォーカスレンズの制御を行う。またそれとともに、画像合成回路１０８での加算合成をリセットすることで、加算合成による動きぶれを低減することができる。

本発明の第１の実施の形態に係る撮像装置のブロック構成図である。 図１の撮像装置の動作を説明するためのタイミングチャートである。 図１の撮像装置によって実行されるフォーカスレンズ制御（焦点調整）処理の手順を示すフローチャートである。 本発明の第２の実施の形態に係る撮像装置のブロック構成図である。 図４の撮像装置の動作を説明するためのタイミングチャートである。 図４の撮像装置によって実行されるフォーカスレンズ制御（焦点調整）処理の手順を示すフローチャートである。 本発明の第３の実施の形態に係る撮像装置のブロック構成図である。 図７の撮像装置の動作を説明するためのタイミングチャートである。 従来の蛍光灯フリッカによる影響を説明する図である。 撮像素子から高速読み出しを行った場合の蛍光灯フリッカによる影響を説明する図である。

符号の説明

１０１ 固定レンズ
１０２ 絞り
１０３ フォーカスレンズ
１０４ 撮像素子
１０５ アナログフロントエンド
１０６ 第１のメモリ
１０７ 露出評価値算出回路
１０８ 画像合成回路
１０９ フリッカ検出回路
１１０ 露出評価値判定回路
１１１ 第１のゲイン制御回路
１１２ 第２のゲイン制御回路
１１３ マイコン
１１４ 第１のフリッカ補正回路
１１５ カメラ信号処理回路
１１６ 第２のメモリ
１１７ 第２のフリッカ補正回路
１１８ 焦点評価値算出回路
１１９ 焦点調整部
１２０‥‥第２の露出評価値算出回路
１２１ 第２の露出評価値判定回路

Claims (4)

1. 画像信号を取得する取得手段と、
   前記画像信号の露出評価値が所定値より大きい場合、当該画像信号を出力し、前記画像信号の露出評価値が前記所定値より小さい場合、前記画像信号と記憶手段に記憶された画像信号とを合成した画像信号を出力する合成手段と、
   前記合成手段から出力される露出評価値が所定値より大きい画像信号の焦点評価値に基づいてフォーカスレンズの位置を調整する調整手段と、を有することを特徴とする画像処理装置。
2. 前記合成手段から出力される画像信号の露出評価値を判定する判定手段を有し、前記調整手段は、前記判定手段により前記合成手段から出力される画像信号の露出評価値が前記所定値より大きいと判定される画像信号の焦点評価値に基づいて前記フォーカスレンズの位置を調整し、
   前記露出評価値が前記所定値より小さいと判定される画像信号の焦点評価値に基づいては前記フォーカスレンズの位置を調整しないことを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段から出力される画像信号のフリッカ成分を補正する第１の補正手段と、前記第１の補正手段から出力される画像信号に信号処理を行い、記録媒体に出力する処理手段と、
   前記合成手段から出力される画像信号のフリッカ成分を補正する第２の補正手段と、を有し、
   前記調整手段は、前記第２の補正手段の出力に基づいて前記フォーカスレンズの位置を調整することを特徴とする請求項１又は２に記載の画像処理装置。
4. 画像信号を取得する取得手段と、複数の画像信号を合成する合成手段と、画像信号に基づいてフォーカスレンズの位置を調整する調整手段と、を有する画像処理装置の制御方法であって、
   前記合成手段が、前記取得手段が取得した画像信号の露出評価値が所定値より大きい場合、当該画像信号を出力し、前記取得手段が取得した画像信号の露出評価値が前記所定値より小さい場合、前記画像信号と記憶手段に記憶された画像信号とを合成した画像信号を出力する合成ステップと、
   前記調整手段が、前記合成手段から出力される露出評価値が所定値より大きい画像信号の焦点評価値に基づいてフォーカスレンズの位置を調整する調整ステップと、を有することを特徴とする画像処理装置の制御方法。

Images