JP5207952B2 - 撮像装置 - Google Patents

Description

本発明は、ビデオカメラ等の撮像装置に関するものである。

従来より、被写体からの入射光を電気信号に変換する２次元平面上に配置された画素を有する撮像素子と、撮像素子の駆動方法（駆動モード）を切り替える制御手段とを構成要素に含む撮像装置が知られている。

このような撮像装置において、特許文献１には、以下の技術が提案されている。

即ち、特許文献１の技術では、動画、静止画を同時記録する際に、撮像素子の駆動方法を動画モードから静止画モードに切り替えたときに、欠落する動画フレームを撮影された静止画像から生成することで、欠落フレームのない動画像を得ることができる。
特開２００１―３５２４８３号公報

しかしながら、特許文献１の技術は、ＣＣＤ型撮像素子を用いた場合の欠落フレームを生成する制御手法であり、ＣＭＯＳセンサ等に代表されるＸＹアドレス型撮像素子を用いた場合の欠落フレームの制御手法については開示されていない。

図１２は、従来の撮像装置における動作タイミングを示すタイミングチャートである。

図１２において、垂直同期信号２００１、２００２、２００３、２００４は撮像装置の撮影方式で決定されるものであり、周期的に発生している。

符号ｒ１、ｒ２、ｒ４は撮像素子の読み出し駆動（駆動状態）を表している。撮像素子は、ＸＹアドレス型の走査方法を採るＣＭＯＳイメージセンサを用いることとし、以下説明を続ける。

ＸＹアドレス型の走査方法の撮像素子の場合、画素毎の露光タイミングがライン方向で順次行われるため、図示のように１垂直同期信号期間内で撮像素子の全画素を順次読み出す。また、ｓ１、ｓ２、ｓ４は撮像素子の電荷変換部に蓄積された電荷をリセットするための駆動（駆動状態）を表している。

各画素の露光時間を統一するため、読み出し駆動と同様にリセットのタイミングもライン方向で順次行われる。図１２のｓとｒで挟まれた時間ｔ１、ｔ２、ｔ４が撮像素子の蓄積時間となる。

蓄積時間ｔ１で蓄積され、読み出し駆動ｒ１で読み出された画像信号がＡであり、蓄積時間ｔ２で蓄積され、読み出し駆動ｒ２で読み出された画像信号がＢであり、蓄積時間ｔ４で蓄積され、読み出し駆動ｒ４で読み出された画像信号がＤである。

図１２において、ｒ１及びｒ４に対して、ｒ２の読み出し時間が長くなっているが、これは、例えば、動画用・静止画用の画像の撮影を切り替えるモード遷移のために撮像素子の駆動方法が変化したことにより、読み出し時間が変化したことを表している。

例えば、ｒ１及びｒ４は動画用の画像信号を読み出すために加算読み出しを行い、ｒ２では静止画用の画像信号を読み出すために非加算読み出しを行う。非加算読み出しは、加算読み出しよりも読み出す信号数が多いため、全てのラインの信号を読み出すために要する時間が、加算読み出しであるｒ１及びｒ４よりも長くなる。

それぞれのリセット駆動が行われるタイミングは、読み出し駆動が行われるタイミングと交差しないように制御しなければならず、非加算読み出しである読み出し駆動ｒ２を行うと、垂直同期信号２００３から２００４の間で規定される１フレーム期間内では十分な蓄積時間を確保できず、この期間での撮像素子の蓄積を諦めていた。

その結果、動画撮影中に静止画撮影を行うと、動画用のフレームレートにおける２フレームの期間で１つの静止画フレームしか得ることができない。仮に、欠落する動画フレームを、撮影された静止画像から生成したとしても、垂直同期信号２００２から２００４の２フレームの間で１つの動画フレームしか生成できず、欠落フレームが生じてしまっていた。

本発明の目的は、動画、静止画同時記録等によって撮像素子の駆動モードを動画モードから静止画モードに切り替えた際に欠落するフレームをより好適に生成することが可能となる撮像装置を提供することにある。

上記目的を達成するために、請求項１記載の撮像装置は、被写体像を光電変換により電気信号に変換して画像として出力する撮像素子と、一定の間隔で連続して出力される同期信号に応じて前記撮像素子に蓄積動作を順次行わせて画像信号を生成する制御手段と、前記撮像素子にて生成される画像信号の輝度を調整するためゲイン処理を行う輝度レベル調整手段と、前記撮像素子から出力される画像信号を遅延させるフレームメモリと、前記画像信号の評価値を抽出する評価値抽出手段と、前記輝度レベル調整手段のゲイン処理において用いられるゲイン量に応じて、前記輝度レベル調整手段でゲイン処理が行われた画像信号、および、前記フレームメモリにて遅延された画像信号のいずれかを選択する選択手段とを備え、前記制御手段は、蓄積動作に要する時間を決定するものであって、モード遷移によって、前記撮像素子が１画面を走査する時間が遅くなることにより、次の画像信号のための蓄積動作において、演算された蓄積動作に要する時間を確保できない場合に、次の蓄積動作に要する時間を前記決定した蓄積動作に要する時間よりも短縮し、前記輝度レベル調整手段は、前記時間の短縮に応じて前記画像信号の輝度を調整し、前記評価値抽出手段は、前記選択手段による選択結果によらず、前記輝度レベル調整手段でゲイン処理が行われた画像信号を用いて前記評価値を抽出することを特徴とする。

本発明の撮像装置によれば、動画、静止画同時記録等によって撮像素子の駆動モードを動画モードから静止画モードに切り替えた際に欠落するフレームをより好適に生成することが可能となる。

以下、本発明を図面を参照しながら詳細に説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。

図１において、撮像素子１０１は、制御部１０２から出力される制御信号により駆動され、被写体像を光電変換により電気信号に変換して、画像信号として出力する。このとき、撮像素子１０１が電子シャッタ機能を有する場合は、制御部１０２から出力される制御信号によって必要な露光時間となるように露光時間を確保しても良い。

制御部１０２は、撮像装置全体を制御する制御手段であり、撮像装置の制御のひとつとして撮像装置の状態を制御する機能も合わせて備えている。また、制御部１０２は、一定の間隔で連続して出力される同期信号に応じて撮像素子１０１に蓄積動作を順次行わせて画像信号を生成する。

輝度レベル調整部１０３は、撮像素子１０１で得られた画像信号に対し、画像信号の輝度レベルを調整する輝度レベル調整手段であり、制御部１０２から得られる撮像素子１０１の駆動情報を元に輝度レベルを調整する。

選択部１０４は、メモリ制御部１０６の出力と輝度レベル調整部１０３の出力を選択する選択手段で、制御部１０２からの制御信号に従って、画像信号を選択する。選択部１０４は、制御部１０２から得られる撮像条件に応じて輝度レベル調整部１０３の出力を選択するか否かを決定する。

選択部１０４によって選択された画像信号は、画像信号処理部１０７によって色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行い、図示していない記録手段等によって記録媒体に記録される。

フレームメモリ１０５は、撮像素子１０１で得られた画像信号を記憶（記録）するもので、制御部１０２により制御される制御信号に従ってメモリ制御部１０６を介して画像信号が読み出される。

また、制御部１０２は、撮像素子の１０１蓄積動作に要する時間を決定するものである。そして、制御部１０２は、モード遷移によって、撮像素子１０１が１画面を走査する時間が遅くなることにより、次の画像信号のための蓄積動作において、演算された蓄積動作に要する時間を確保できない場合に、以下のように制御する。

即ち、その場合、制御部１０２は、次の蓄積動作に要する時間を決定した蓄積動作に要する時間よりも短縮し、輝度レベル調整部１０３が時間の短縮に応じて画像信号の輝度を調整する。

図２は、図１の撮像装置の動作タイミングを示すタイミングチャートである。

撮像装置の撮影方式で決定される垂直同期信号２０１、２０２は周期的に発生している。ｒ１〜ｒ４は、撮像素子１０１の読み出し駆動を表している。この読み出し駆動ｒ１〜ｒ４はは垂直同期信号の立ち下がりに同期して開始される。

本実施の形態では、撮像素子１０１は、ＸＹアドレス型の走査方法を採るＣＭＯＳイメージセンサを用いることとし、以下説明を続ける。

ＸＹアドレス型の走査方法の撮像素子１０１の場合、画素毎の露光タイミングがライン方向で順次行われるため、図示のように、１垂直同期信号期間内で撮像素子１０１の全画素を順次読み出す。

また、ｓ１〜ｓ４は、撮像素子１０１の電荷変換部に蓄積された電荷をリセットするためのリセット駆動を表している。各画素の露光時間を統一するため、読み出し駆動と同様にリセットのタイミングもライン方向で順次行われる。

図２のｓとｒで挟まれた時間ｔ１〜ｔ４が撮像素子１０１の蓄積時間となる。この蓄積時間は、撮像素子１０１から得られた画像信号から被写体照度を求め、この被写体照度と理想とする目標照度の差分に基づいて演算される。制御部１０２は求めた蓄積時間が確保できるように、リセット駆動を開始するタイミングを制御する。２０３、２０４、２０５、２０６はそれぞれ、蓄積時間ｔ１〜ｔ４で蓄積され、読み出し駆動ｒ１〜ｒ４で読み出される画像信号を表しており、便宜的に画像信号Ａ〜Ｄと付した。

例えば、画像信号Ａは、リセット駆動ｓ１と読み出し駆動ｒ１で挟まれた蓄積時間ｔ１で蓄積動作を行い、読み出し駆動ｒ１によって順次読み出されている。２０７〜２１１は、制御部１０２から出力される制御信号のタイミングを表しており、この例では同期信号の周期毎に撮像素子１０１に対して駆動の制御を行っている。

本実施の形態では、読み出し駆動やリセット駆動を制御することで、蓄積時間を制御したり、撮像素子１０１からの読み出し方式の変更を制御する。

図２において、読み出し駆動ｒ１、ｒ３、ｒ４に対して、読み出し駆動ｒ２の読み出し時間が長くなっている、これは、例えば、動画用・静止画用の画像の撮影を切り替えるモード遷移のために、撮像素子１０１の駆動方法が変化したことにより、読み出し時間が変化したことを表している。

垂直同期信号２０１、２０２で繰り返し撮像（撮影）されている場合、リセット駆動ｓ３は読み出し駆動ｒ２と交差しないように制御しなければならず、リセット駆動ｓ３から読み出し駆動ｒ３までの時間、即ち、蓄積時間ｔ３が短くなってしまう。そのため、蓄積時間不足により画像信号Ｃの輝度レベルが低くなってしまう問題がある。

そこで、輝度レベル調整部１０３は、制御部１０２から得られる撮像素子１０１の駆動情報から、タイミング２１２で輝度レベルを調整するためのゲイン量を算出し、対象となる画像信号Ｃに対してゲイン処理をタイミング２１３で行う。

図３（ａ）、（ｂ）は、図１の撮像装置における輝度レベルの調整（ゲイン量の算出）方法の説明図である。

垂直同期信号３０１、３０２の周期をＴ（ｓ）とし、該垂直同期信号の周期Ｔ（ｓ）毎で読み出し駆動３０３〜３０７が行われるとする。読み出し駆動３０３、３０４、３０６、３０７は、読み出し時間ｔ＿ｒ１で撮像素子１０１から画像信号を読み出すものとし、読み出し駆動３０５は、読み出し時間ｔ＿ｒ２で撮像素子１０１から画像信号を読み出すとする。この場合、読み出し駆動３０５で読み出し時間が長くなることで、直後の読み出し駆動３０６に対する蓄積時間ｔは、式１の範囲に制限されてしまう。
（式１）０ ＜ ｔ ≦（Ｔ＋ｔ＿ｒ１−ｔ＿ｒ２）
これに対し、読み出し駆動３０３、３０４、３０５、３０７で読み出される画像信号の蓄積時間ｔ’は、式２の範囲で設定することが可能である。
（式２）０ ＜ ｔ’ ≦Ｔ
以上から、被写体照度が一定であるとすると、読み出し駆動３０６で読み出される画像信号に対するゲインアップ量Ａは、蓄積時間ｔ’とｔの比で求めることができ、蓄積時間ｔ’とゲインアップ量Ａの関係はグラフ３０８のようになる。

再び図２に戻り、本実施の形態における撮像装置のタイミングチャートについて説明する。

メモリ制御部１０６は、制御部１０２から出力される制御信号により、撮像素子１０１から得られる画像信号をフレームメモリ１０５に記憶させ、１フレーム遅延させてメモリ制御部１０６からタイミング２１４〜２１６でそれぞれ画像信号Ａ〜Ｃを出力する。

２１７は、選択部１０４の切り替えタイミングを示している。制御部１０２から出力される制御信号に応じて垂直同期信号２１８のタイミングで、輝度レベル調整部１０３の出力（ゲインアップした画像信号Ｃ）か、メモリ制御部１０６の出力（１フレーム遅延した画像信号Ｂ）かを選択する。

この例の場合、撮像素子１０１からの読み出し駆動は、撮像装置の垂直同期信号に同期して読み出しているので、選択部１０４の切り替えも垂直同期信号と同期するのが望ましいが、画像信号の切り替えが正しく行えていればそれに限らない。

次に、選択部１０４における選択の制御について説明する。
（１）撮像素子１０１の蓄積時間の差分で制御
画像信号に対してゲインアップ処理をすると、画像信号に含まれるノイズもゲインアップされてしまい、輝度レベルが調整されてもノイズ量は一致しない問題がある。従って、ゲインアップ量が大きければ大きいほどシグナル対ノイズの比（Ｓ／Ｎ比）は悪化し、ノイズの多いフレームが記録されてしまう。

以上から、ゲインアップ量（＝蓄積時間の差分）を元に、輝度レベル調整部１０３の出力か、メモリ制御部１０６の出力かを選択する制御を行うことで、Ｓ／Ｎのよい動画像を得ることができる。

図４は、図１の撮像装置によって実行される蓄積時間に応じた出力選択制御の手順を示すフローチャートである。

ステップ（Ｓ）４０１：制御部１０２は、撮像素子１０１の駆動の制御を行う。ステップ４０２：選択部１０４は、制御部１０２から得られる撮像素子１０１の制御情報から蓄積時間の情報を取得する。

ステップ４０３：選択部１０４において、ゲインアップする画像信号の蓄積時間ｔと直前の画像信号の蓄積時間ｔ’から蓄積時間の差分（ｔ’−ｔ）を算出する。ステップ４０４：蓄積時間の差分（ｔ’−ｔ）が所定の閾値ｔ＿ｔｈ以上かどうか、選択部１０４で判断する。

ステップ４０５：蓄積時間の差分（ｔ’−ｔ ）が閾値ｔ＿ｔｈ以上であった場合、ゲインアップ量が大きいと判断され、選択部１０４は、メモリ制御部１０６の出力を選択する。

ステップ４０６：メモリ制御部１０６は、予め記憶しておいた直前の画像信号をフレームメモリ１０５から所定のタイミングで出力する。

ステップ４０７：蓄積時間の差分（ｔ’−ｔ）が閾値ｔ＿ｔｈ 未満であった場合、ゲインアップ量は小さいと判断され、選択部１０４は、輝度レベル調整部１０３の出力を選択する。

ステップ４０８：輝度レベル調整部１０３は、予め算出したゲイン量で対象となる画像信号に対してゲインアップ処理を行う。

以上の制御により、撮像素子１０１の駆動情報から選択部１０４が蓄積時間に応じて画像信号を選択することで、Ｓ／Ｎのよい動画像を得ることが可能となる。

また、図４のフローチャートにおいて、蓄積時間の差分（ｔ’−ｔ）から出力の選択先を制御したが、蓄積時間の比率（ｔ’／ｔ）やゲインアップ量で制御しても同様の効果が得られる。

ゲインアップ量に応じて選択制御を行う場合、選択部１０４は、輝度レベル調整部１０３からゲイン量を情報として受け取る構成にしても、選択部１０４内で蓄積時間の差分からゲイン量を算出しても同様の効果が得られる。

また、図３に示したように、垂直同期信号周期Ｔ（ｓ）に同期して撮像素子１０１から画像信号を読み出す場合は、以下のようになる。

即ち、垂直同期信号周期Ｔ（ｓ）が大きければ大きいほど、ゲインアップする画像信号の蓄積時間ｔの最大値（Ｔ＋ｔ＿ｒ１−ｔ＿ｒ２）と直前の画像信号の蓄積時間ｔ’の最大値（Ｔ）の差分が小さくなり、結果ゲインアップ量も小さくなることは明白である。

図４のフローチャートにおけるステップ４０４において、選択部１０４が制御部１０２から垂直同期信号周期Ｔ（ｓ）を受け取って、該周期Ｔ（ｓ）に応じて選択先を切り替えても同様の効果が得られる。

この場合、予め決められた閾値Ｔ＿ｔｈと垂直同期信号の周期Ｔ（ｓ）を比較し、閾値Ｔ＿ｔｈ以上であれば、ステップ４０７に移行して、輝度レベル調整部１０３の出力を選択する。閾値Ｔ＿ｔｈ未満であれば、ステップ４０５に移行し、メモリ制御部１０６の出力を選択する。
（２）撮像装置のトータルゲインで制御
ビデオカメラ等の撮像装置は、一般的に、被写体から得られる光量が少ないとき、アイリスを開放側に移動させ、あるいはゲインアップによって輝度レベルを確保するシステムとなっている。

特に、デジタルゲイン等によってゲインアップがなされていてシステムとしてのトータルゲインＧが大きい場合、輝度レベル調整部１０３によってゲインアップされる画像信号は、システムの最大ゲイン値Ｇｍａｘを超えてしまう可能性がある。その場合は、Ｓ／Ｎの悪いフレームが生成されてしまう。

また、輝度レベル調整部１０３におけるゲインアップ量を考慮してシステムの最大ゲイン値Ｇｍａｘを設定してしまうと、通常の撮影時における最低被写体照度が上がってしまい、性能面で劣ってしまう問題がある。

以上から、撮像装置のシステムとしてのトータルゲインＧを元に、輝度レベル調整部１０３の出力か、メモリ制御部１０６の出力かを選択する制御を行うことで、Ｓ／Ｎのよい動画像を得ることができる。

図５は、図１の撮像装置によって実行されるシステムのトータルゲインに応じた出力選択制御の手順を示すフローチャートである。

ステップ（Ｓ）５０１：制御部１０２は、撮像素子１０１の駆動の制御を行う。ステップ５０２：選択部１０４は、制御部１０２からトータルゲインＧを取得する。ステップ５０３：システムのトータルゲインＧが所定の閾値Ｇ＿ｔｈ以上かどうか、選択部１０４で判断する。

ステップ５０４：トータルゲインＧが閾値Ｇ＿ｔｈ以上であった場合、輝度レベル調整部１０３で画像信号に対しゲインアップするとＳ／Ｎ が悪化する恐れがあるため、選択部１０４は、メモリ選択部１０６の出力を選択する。

ステップ５０５：メモリ制御部１０６は、予め記憶しておいた直前の画像信号をフレームメモリ１０５から所定のタイミングで出力する。

ステップ５０６：トータルゲインＧが閾値Ｇ＿ｔｈ未満であった場合、輝度レベル調整部１０３による画像信号のゲインアップによってＳ／Ｎが悪化しないと判断され、輝度レベル調整部１０３の出力が選択される。

ステップ５０７：輝度レベル調整部１０３は、予め算出したゲイン量で対象となる画像信号に対してゲインアップ処理を行う。

以上の制御により、撮像素子１０１の駆動情報から選択部１０４がトータルゲインＧに応じて画像信号を選択することで、Ｓ／Ｎのよい動画像を得ることが可能となる。
（３）撮像素子１０１の蓄積時間の差分と、システムのトータルゲインで適応的に制御
蓄積時間の差分を見て選択部１０４を制御する場合、非常にＳ／Ｎがよい画像信号に対してもゲインアップ量の大きさで切り替えが発生してしまう。

仮に、ゲインアップ量に耐えうるＳ／Ｎであったとしても、フレームメモリ１０５の画像信号が選択されてしまい、２フレーム連続で同じ画像信号が選択部１０４から出力されてしまう。

また、トータルゲインＧで選択部１０４を制御した場合、輝度レベル調整部１０３でのゲインアップ量が小さいにも関わらず、トータルゲインＧが大きいだけでフレームメモリ１０５の画像信号が選択されてしまう。そして、結果、ほとんどＳ／Ｎが変わらない輝度レベル調整部１０３でゲインアップされた画像信号は選択されなくなってしまう。

以上から、蓄積時間の差分とトータルゲインＧの両方をみて適応的に選択部１０４を制御することで、さらに適切な動画像を得ることが可能となる。

図６は、図１の撮像装置によって実行されるシステムのトータルゲインと蓄積時間の差分に応じた出力選択制御の手順を示すフローチャートである。

ステップ（Ｓ）６０１：制御部１０２は、撮像素子１０１の駆動の制御を行う。ステップ６０２：選択部１０４は、制御部１０２からトータルゲインＧを取得する。ステップ６０３：選択部１０４は、制御部１０２から得られる撮像素子１０１の制御情報から蓄積時間の情報を取得する。

ステップ６０４：選択部１０４において、ゲインアップする画像信号の蓄積時間ｔと直前の画像信号の蓄積時間ｔ’から蓄積時間の差を算出する。すでに述べたように、蓄積時間の差分を比率（ｔ’／ｔ）で算出し、ゲインアップ量に換算してもよい。

ステップ６０５：選択部１０４は、得られたトータルゲインＧとゲインアップ量Ａから、選択する画像信号を決定する。画像信号の選択の例を図７に示す。

図７に示すような線図を予め撮像装置に記憶しておき、トータルゲインＧとゲインアップ量Ａの値に応じて、領域Ａ７０１（輝度レベル調整部１０３の出力を選択する領域）か、領域Ｂ７０２（メモリ制御部１０６の出力を選択する領域）を決定する。

この例では、例えば、トータルゲインＧが最大Ｇｍａｘであったとしても、ゲインアップ量Ａがｘ１（０ｄＢ）に近い値であれば、輝度レベル調整部１０３の出力を選択するように工夫されている。

また、ゲインアップ量Ａが最大値Ａｍａｘでも、トータルゲインＧが最小値Ｇｍｉｎであれば、輝度レベル調整部１０３の出力が選択されるように工夫されている。領域Ａと領域Ｂの境界は、撮像装置のシステムに応じて変えることももちろん可能であり、本実施の形態の線図に限ったことではない。

ステップ６０７：選択部１０４において線図上で領域Ｂと判断された場合、選択部１０４は、メモリ制御部１０６の出力を選択する。ステップ６０７：メモリ制御部１０６は、予め記憶しておいた直前の画像信号をフレームメモリ１０５から所定のタイミングで出力する。

ステップ６０８：選択部１０４において線図上で領域Ａと判断された場合、選択部１０４は、輝度レベル調整部１０３の出力を選択する。ステップ６０９：輝度レベル調整部１０３は、予め算出したゲイン量で対象となる画像信号に対してゲインアップ処理を行う。

以上により、トータルゲインＧと輝度レベル調整部１０３のゲインアップ量Ａに応じて適応的に画像信号を選択することでよりＳ／Ｎ良く動画像に適した撮像を行うことができる。

また、メモリ制御部１０６は、図２において毎フレーム画像信号を出力するように制御しているが、所望のタイミングのみ動作するように、制御部１０２が制御するようにしても同様の効果が得られる。

輝度レベル調整部１０３は、図２においてゲイン処理を行うタイミング２１３が示されている。ここで、選択部１０４においてメモリ制御部１０６の出力が選択されることが予め判明している場合は、制御部１０２からの制御信号によってゲイン処理を行わないように制御することでも、同様の効果を得ることができる。

（第２の実施の形態）
以下、本発明の第２の実施の形態を図面を参照し、説明していく。第２の実施の形態は、第１の実施の形態に対し、評価値抽出部８０１を構成に加え、輝度レベル調整部１０３の出力先につなげたことを特徴としている。

図８は、本発明の第２の実施の形態に係る撮像装置のブロック図である。

第１の実施の形態と同じ番号を付したものについては説明を省略する。評価値抽出部８０１は、撮像素子１０１で得られる画像信号からフォーカス情報や、被写体顔位置情報、被写体の動き量、画像信号の輝度レベル等の評価値の抽出を行う。抽出した評価値は、制御部１０２に送られ、制御部１０２を介して、画像信号処理部１０７の信号処理の制御や、撮像素子１０１の駆動の制御等に反映される。

前述したフォーカス情報や、被写体顔位置情報、被写体の動き量、画像信号の輝度レベル等の評価値は、連続的に取得されることが望ましく、フレームの欠落等が発生すると、評価値の連続性も失われてしまい好ましくない。

そこで、本実施の形態では、評価値抽出部８０１の入力を、常に輝度レベル調整部１０３の出力とし、画像信号処理部１０７の入力は選択部１０４の出力とする構成を採用する。このことで、選択部１０４の選択結果に関わらず、輝度レベル調整部１０３によってゲインアップされた画像を用いて評価値を連続的に抽出することが可能となる。

図９は、図８における評価値抽出部が被写体顔検出を行う場合の効果について示す模式図である。

画像信号の模式図９０１〜９０４は、選択部１０４によってメモリ制御部１０６の出力画像が選択された場合のものであり、図２のタイミングチャートで示される画像信号Ａ、Ｂ、Ｄの例を示したものである。

画像信号Ａでは、被写体の顔を検出していたのにも関わらず、画像信号Ｂでは被写体が横を向いてしまい被写体の顔が検出できなくなってしまう様子を示した。画像信号処理部１０７への入力は、選択部１０４の出力であるため画像信号Ｂが連続して（模式図９０２、９０３）入力される。

それに対し、評価値抽出部８０１に対しては模式図９０５〜９０８に示した輝度レベル調整部１０３の出力が入っているため、連続して被写体の顔を検出することが可能となる。例えば、模式図９０７で示した画像信号Ｃは、輝度レベル調整部１０３でゲインアップされた画像で顔検出が可能な画像を示している。

この場合、被写体の顔を画像信号Ｂで見失ってもすぐに画像信号Ｃで検出することが可能となる。評価値抽出部８０１の入力を選択部１０４の出力とした場合、画像信号処理部１０７と同じ画像信号で検出動作を行うことになり、被写体の顔を見失っている時間が長くなってしまう問題がある。

以上のように、評価値抽出部８０１の入力を輝度レベル調整部１０３の出力とする構成を採ることで、画像信号処理部１０７に入力される画像信号とは別個に、連続的に評価値を抽出することが可能となる。

また、連続的に評価値を抽出する場合には同様の効果があり、本実施の形態で示した被写体の顔検出にのみならず、フォーカス情報や、被写体動き量、画像信号の輝度レベル等の評価値に対しても、連続性を失わずに良好な評価値を得ることができる。

（第３の実施の形態）
以下、本発明の第３の実施の形態を説明する。第３の実施の形態は、第１の実施の形態に対し、フレームメモリ１０５とメモリ制御部１０６からなる遅延バッファ部を２つ備える。そして、撮像素子１０１の出力と、第２の遅延バッファ部１００２の出力を画像生成部１００３につなぎ、第１の遅延バッファ部１００１の出力を輝度レベル調整部１０３につなげたことを特徴としている。

図１０は、本発明の第３の実施の形態に係る撮像装置のブロック図である。

第１の実施の形態と同じ番号を付したものについては説明を省略する。フレームメモリ１０５とメモリ制御部１０６で構成される第１の遅延バッファ部１００１を備える。また、第１の遅延バッファ部１００１から出力される画像信号をメモリ制御部１０６の入力とし、さらにフレームメモリ１０５とで構成される第２の遅延バッファ部１００２を備える。

第１の遅延バッファ部１００１は、撮像素子１０１から出力される画像信号をバッファリングし、第２の遅延バッファ部１００２は、第１の遅延バッファ部１００１の出力をバッファリングする。

画像生成部１００３は、撮像素子１０１から出力される画像信号と、第２の遅延バッファ部１００２から出力される画像信号を入力とし、２つの画像信号から１つの画像信号を生成する手段である。

選択部１０４は、第１の遅延バッファ部１００１から出力される画像信号を入力とする輝度レベル調整部１０３から出力される画像信号と、画像生成部１００３から出力される画像信号を選択するように構成されている。

図１１は、図１０の撮像装置の動作タイミングを示すタイミングチャートである。

第１の実施の形態と同じ番号を付したものについては説明を省略する。輝度レベル調整部１０３は、制御部１０２から得られる撮像素子１０１の駆動情報から、タイミング１１０１で輝度レベルを調整するためのゲイン量を算出する。そして、対象となる画像信号Ｃ１１０５に対してゲイン処理をタイミング１１０２で行う。

１１０３から１１０５は、第１の遅延バッファ部１００１から出力される画像信号を表しており、撮像素子１０１から出力される画像信号に対して、１フレーム遅延するように制御されている。

１１０６、１１０７は、第２の遅延バッファ部１００２から出力される画像信号を表しており、撮像素子１０１から出力される画像信号に対して、２フレーム遅延するように制御されている。

画像生成部１００３は、制御部１０２から出力される制御信号に従い、撮像素子１０１から出力される画像信号Ｄ２０６と第２の遅延バッファ１００２から出力される画像信号Ｂ１１０７から、新たに画像信号Ｃ’１１０８を生成する。

画像信号Ｃ’１００８は、第２の遅延バッファ１００２から出力される画像信号Ｂ１１０７と、撮像素子１０１から出力される画像信号Ｄ２０６を比較し、例えば各々の画像信号の対応する画素毎に該画像信号の平均値を取ることで生成する等が考えられる。

２１７は、選択部１０４の切り替えタイミングを示している。制御部１０２から出力される制御信号に応じて垂直同期信号１００９のタイミングで、輝度レベル調整部１０３の出力（ゲインアップした画像信号Ｃ１１０５）か、画像生成部１００３の出力（新たに生成した画像信号Ｃ’１１０８）かを選択する。

この例の場合、撮像素子１０１からの読み出し駆動は、撮像装置の垂直同期信号に同期して読み出しているので、選択部１０４の切り替えも垂直同期信号と同期するのが望ましいが、画像信号の切り替えが正しく行えていればそれに限らない。

以上のように、第３の実施の形態においても、第１の実施の形態と同様に、撮像装置の撮影条件に応じて、選択部１０４は、輝度レベル調整部１０３の出力を選択するか否かを決定するのである。されに加えて、本実施の形態では、新たに画像生成部１００３において画像信号Ｃ’１００８を生成することに特徴がある。

第１の実施の形態では、輝度レベル調整部１０３でゲインアップされた画像信号を選択しない場合は、フレームメモリ１０５に記憶されている画像信号を選択することで繰り返し同じ画像信号を画像信号処理部１０７に送っていた。この場合、同じ画像信号が続けて入力されることによって、動画像としてみたときに被写体の動きに違和感が生じてしまう。

これに対し、本実施の形態のように、輝度レベル調整部１０３でゲインアップされた画像信号Ｃ１１０５を選択しない場合に、画像信号Ｃ１１０５の前後の画像信号Ｂ、Ｄから新たに生成した画像信号Ｃ’１１０８を画像信号処理部１０７へ入力するように制御する。このことによって、動画像としてみたときに被写体の動きをより滑らかにする効果が得られる。

また、画像生成部１００３における画像信号の生成方法を、２つの画像信号の信号レベルの平均値で生成するとしたが、本発明はこれに限定するものではない。例えば、被写体の動き量を検出し、検出された動き量を元に、平均値を算出する画素と画像信号Ｂを採用する画素と画像信号Ｄを採用する画素を選択するようにして生成するようにしても同様の効果が得られる。

本発明の第１の実施の形態に係る撮像装置のブロック図である。 図１の撮像装置の動作タイミングを示すタイミングチャートである。 図１の撮像装置における輝度レベルの調整（ゲイン量の算出）方法の説明図である。 図１の撮像装置によって実行される蓄積時間に応じた出力選択制御の手順を示すフローチャートである。 図１の撮像装置によって実行されるシステムのトータルゲインに応じた出力選択制御の手順を示すフローチャートである。 図１の撮像装置によって実行されるシステムのトータルゲインと蓄積時間の差分に応じた出力選択制御の手順を示すフローチャートである。 図１の撮像装置における、システムのトータルゲインと蓄積時間の差分に応じた適応的な制御の説明図である。 本発明の第２の実施の形態に係る撮像装置のブロック図である。 図８における評価値抽出部が被写体顔検出を行う場合の効果について示す模式図である。 本発明の第３の実施の形態に係る撮像装置のブロック図である。 図１０の撮像装置の動作タイミングを示すタイミングチャートである。 従来の撮像装置における動作タイミングを示すタイミングチャートである。

符号の説明

１０１ 撮像素子
１０２ 制御部
１０３ 輝度レベル調整部
１０４ 選択部
１０５ フレームメモリ
１０６ メモリ制御部
１０７ 画像信号処理部

Claims (3)

1. 被写体像を光電変換により電気信号に変換して画像として出力する撮像素子と、
   一定の間隔で連続して出力される同期信号に応じて前記撮像素子に蓄積動作を順次行わせて画像信号を生成する制御手段と、
   前記撮像素子にて生成される画像信号の輝度を調整するためゲイン処理を行う輝度レベル調整手段と、
   前記撮像素子から出力される画像信号を遅延させるフレームメモリと、
   前記画像信号の評価値を抽出する評価値抽出手段と、
   前記輝度レベル調整手段のゲイン処理において用いられるゲイン量に応じて、前記輝度レベル調整手段でゲイン処理が行われた画像信号、および、前記フレームメモリにて遅延された画像信号のいずれかを選択する選択手段とを備え、
   前記制御手段は、蓄積動作に要する時間を決定するものであって、モード遷移によって、前記撮像素子が１画面を走査する時間が遅くなることにより、次の画像信号のための蓄積動作において、演算された蓄積動作に要する時間を確保できない場合に、次の蓄積動作に要する時間を前記決定した蓄積動作に要する時間よりも短縮し、
   前記輝度レベル調整手段は、前記時間の短縮に応じて前記画像信号の輝度を調整し、
   前記評価値抽出手段は、前記選択手段による選択結果によらず、前記輝度レベル調整手段でゲイン処理が行われた画像信号を用いて前記評価値を抽出することを特徴とする撮像装置。
2. 前記輝度レベル調整手段は、前記制御手段から送られる前記撮像素子の蓄積時間から前記ゲイン量を算出することを特徴とする請求項１記載の撮像装置。
3. 前記評価値は、フォーカス情報、被写体顔位置情報、および、被写体の動き量の少なくともいずれかを含むことを特徴とする請求項１または２記載の撮像装置。

Images