JP4810162B2 - 撮像装置、固体撮像装置の制御方法、及びコンピュータプログラム - Google Patents

Description

本発明は、測光用のプリ発光を行うようにした撮像装置、固体撮像装置の制御方法、及びコンピュータプログラムに関し、より具体的には、ＣＭＯＳ型センサのように、光電変換素子を含む画素が２次元状に複数配置され、一又は複数ライン単位で露光期間をずらして駆動可能とされた固体撮像装置を用いる場合に好適なものである。

近年、光電変換素子を高密度・高集積化させた固体撮像装置がビデオカメラやデジタルカメラ等に用いられており、記録媒体に複数枚の画像データを記録したり、画像データをプリントアウトやディスプレイ表示したりすることが可能となっている。

この種のビデオカメラやデジタルカメラ等には自動露光（ＡＥ：Automatic Exposure）機能が採用されており、昼光時には、撮像面の光量を測定して適切な露光量を測定して最適な露光条件で露光するようになっている。

また、フラッシュランプや電子ストロボが備えられており、光量の少ない夜間や室内の暗い領域では、瞬間的なフラッシュ（閃光）を発光させて撮影することが行われている。

ＡＥの場合、フラッシュ発光時に瞬時にＡＥ調節することは現実的に困難であるため、測光用のプリ発光を行い、その際の光量を測定してフラッシュ発光前にＡＥ調節を終えておき、正規の撮影を行うようにしている。通常、固体撮像装置の蓄積時間外でプリ発光しても、正確にフラッシュ光量を測定することができないので、フラッシュ発光タイミングに同期して蓄積動作を行っている。

近年、ビデオカメラやデジタルカメラ等において、高解像化のため、微細化プロセスを用いた光電変換素子のセルサイズ縮小が精力的に行われている。

一方、光電変換信号出力が低下すること等から、光電変換信号を増幅して出力することが可能な増幅型の固体撮像装置が注目されている。このような増幅型の固体撮像装置には、ＢＡＳＩＳ、ＭＯＳ型、ＳＩＴ、ＡＭＩ、ＣＭＤ等のＸＹアドレス型センサの２次元固体撮像装置がある。

また、２次元固体撮像装置として、高密度化と高Ｓ／ＮによりＣＣＤ（Charge Coupled Device）型センサが優れて用いられている。

２次元固体撮像装置を有するデジタルカメラ等において、画像撮像時に該撮像の露光条件を適切に調整して、固体撮像装置の感度に応じた露光時間を設定する。この露光時間の設定の際、２次元エリアセンサの一部に当たっている光の量を測定して、その値がある目標値になるまで絞り等のパラメータを振って、最適値を見つけている。この動作をＡＥ（Automatic Exposure）と称する。

デジタルカメラのＡＥの場合、ＣＣＤ型２次元エリアセンサでは、全画素データを全部読み出して記憶媒体に格納し、その中から所定のブロック領域を抽出し、一度蓄積後、適切な所定露光レベルと比較し、シャッター速度や絞り等のパラメータを変更して、再度ブロック領域を抽出して所定露光レベルと比較し、数回の繰り返しで、露光レベルが所定露光レベルとなったときの条件を露光条件と決定する。

図１７を参照して、ＣＣＤを用いた固体撮像装置によるＡＥ方式を説明する。インターライン転送方式及びフレーム転送方式のいずれであっても、ＣＣＤ型センサ１６０１から時系列に読み出される画像信号がＡ／Ｄ変換器１６０２でデジタル画像信号に変換され、フレームメモリ１６０３に１フレーム分書き込まれる。

ＡＥのためには、特に中心部のブロック領域だけを読み出し、そのブロック領域の画像信号レベルを積分器１６０４で積分し、当該ブロック領域の全積分値を求める。このブロック領域の全積分値と予め定められた所定露光レベルとを判定回路１６０５で比較し、その比較結果に差異があれば、露光条件設定回路１６０６に出力する。この露光条件は、ＣＣＤ型センサ１６０１への露光時間・シャッター速度や絞り度合い、ＣＣＤ型センサ１６０１の蓄積時間等をいい、シャッター速度等を変更する。露光条件設定回路１６０６での設定に応じて、再度ＣＣＤ型センサ１６０１を動作し、ブロック領域の露光積分値を検出し、判定回路１６０５で比較・判定し、露光の最適値を求める。

このＡＥ方式では、図１７（ｂ）のタイミングチャートに示すように、ローレベルで示す露光時間の蓄積時（１）と、その蓄積後のフレームメモリ１６０３からブロック領域の読み出し積分した時をハイレベルで示すＡＥ評価時（２）と、各ＡＥ評価時のＡＥ値（３）とで表され、（３）の点線で示しているのが所定ＡＥ値である。これをグラフで示せば、図１７（ｃ）となり、３回目の露光検出値ではＡＥ値が高すぎて、４回目のＡＥ値のときの露光条件をＡＥ用の条件とすることで、最適なＡＥを実行することができる。

特開２０００―１９６９５１号公報

ところで、近年では、安価で複雑なタイミング発生回路を必要とせず且つ単一電源で動作して消費電力も少ない等の理由により、ＣＭＯＳ型センサを用いるケースが増えてきている。

ところが、ＣＭＯＳ型センサにおいては、ライン単位で信号を読み出すため、ライン毎に光電荷を蓄積する開始時間がずれてしまう。そのため、ＡＥのための光量蓄積のライン毎のタイミングずれが生じ、ＡＥ評価のためのブロック領域からプリ発光の光がずれてしまうことがある。

この対策として、例えば特許文献１には、ブロック領域での各読み出しラインが時間的に重なる期間にプリ発光させることで、ブロック領域全てにプリ発光が照射されるように制御することが開示されている。

しかしながら、日中シンクロ等の高速にシャッター動作が行われた場合、ブロック領域での各読み出しラインが時間的に重なる期間が存在しないことがある。その場合に任意のタイミングでプリ発光させると、ＣＭＯＳ型センサには、外光及びフラッシュの反射光からなる撮影光による光電荷と、外光のみからなる撮影光による光電荷とが混在して蓄積されることになり、正確な光量を検出することができないという問題がある。

本発明は上記のような点に鑑みてなされたものであり、プリ発光に際して、高速シャッター動作時であっても正確な光量を検出できるようにすることを目的とする。

本発明による撮像装置は、光電変換素子を含む画素が複数ライン配置された撮像手段と、一又は複数ライン単位で露光期間をずらすように前記撮像手段を駆動する駆動手段と、プリ発光に際して、シャッター速度を所定の閾値と比較し、前記シャッター速度が前記所定の閾値以上である場合に、前記撮像手段の所定の領域からの信号の読み出しモードを、前記撮像手段から順次出力される連続画像を表示手段に表示するスルー表示読み出しモードにするとともに、前記シャッター速度が前記所定の閾値未満である場合には、最初に読み出すラインの露光期間の一部と最後に読み出すラインの露光期間の一部とが時間的に重なるように前記駆動手段が前記撮像手段を駆動するプリ発光読み出しモードにするように制御する制御手段とを備え、前記所定の閾値は、前記撮像手段の所定の領域からの読み出し時間とプリ発光時間との和である点に特徴を有する。
本発明による固体撮像装置の制御方法は、光電変換素子を含む画素が複数ライン配置された撮像手段と、一又は複数ライン単位で露光期間をずらすように前記撮像手段を駆動する駆動手段とを備えた固体撮像装置の制御方法であって、プリ発光に際して、シャッター速度を所定の閾値と比較する手順と、前記シャッター速度が前記所定の閾値以上である場合に、前記撮像手段の所定の領域からの信号の読み出しモードを、前記撮像手段から順次出力される連続画像を表示手段に表示するスルー表示読み出しモードにするとともに、前記シャッター速度が前記所定の閾値未満である場合には、最初に読み出すラインの露光期間の一部と最後に読み出すラインの露光期間の一部とが時間的に重なるように前記駆動手段が前記撮像手段を駆動するプリ発光読み出しモードにするように制御する手順とを有し、前記所定の閾値は、前記撮像手段の所定の領域からの読み出し時間とプリ発光時間との和である点に特徴を有する。
本発明によるコンピュータプログラムは、光電変換素子を含む画素が複数ライン配置された撮像手段と、一又は複数ライン単位で露光期間をずらすように前記撮像手段を駆動する駆動手段とを備えた固体撮像装置を制御するためのコンピュータプログラムであって、プリ発光に際して、シャッター速度を所定の閾値と比較する処理と、前記シャッター速度が前記所定の閾値以上である場合に、前記撮像手段の所定の領域からの信号の読み出しモードを、前記撮像手段から順次出力される連続画像を表示手段に表示するスルー表示読み出しモードにするとともに、前記シャッター速度が前記所定の閾値未満である場合には、最初に読み出すラインの露光期間の一部と最後に読み出すラインの露光期間の一部とが時間的に重なるように前記駆動手段が前記撮像手段を駆動するプリ発光読み出しモードにするように制御する処理とをコンピュータに実行させ、前記所定の閾値は、前記撮像手段の所定の領域からの読み出し時間とプリ発光時間との和である点に特徴を有する。

本発明によれば、プリ発光に際して、高速シャッター動作時であっても正確な光量を検出することができる。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、本発明が適用可能なデジタルカメラ等の撮像装置１００の構成例を示す図である。同図において、１０は撮影レンズである。１２は絞り機能を備えるシャッターである。１４は固体撮像素子（固体撮像装置）であり、本実施形態では光電変換素子を含む画素がマトリクス状に複数配置され、一又は複数ライン単位で信号を読み出すとともに、任意のブロック領域から信号を読み出しが可能とされたＣＭＯＳ型センサが用いられる。１６は固体撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

１８は固体撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御部２２及びシステム制御部５０により制御される。

２０は画像処理部であり、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御部２２からの画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御部４０及び測距制御部４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式の自動焦点（ＡＦ）処理、自動露光（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行う。さらに、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行う。

２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理部２０、メモリ制御部２２を介して、或いはメモリ制御部２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等からなる画像表示部である。画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８に表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ（ＥＶＦ：Electric View Finder）機能を実現することが可能である。なお、画像表示部２８は、システム制御部５０の指示により表示をＯＮ又はＯＦＦが可能である。画像表示部２８の表示をＯＦＦにした場合、撮像装置１００の電力消費を大幅に低減することができる。また、画像表示部２８は、合焦、手振れ、フラッシュ充電、シャッタースピード、絞り値、露出補正等に関する情報をシステム制御部５０からの指示に従って表示する。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに充分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写やパノラマ撮影の場合にも、高速かつ大量の画像をメモリ３０に書き込むことができる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮伸長部であり、メモリ３０から読み出した画像データを画像圧縮し、画像圧縮された画像データをメモリ３０に書き込む機能、及び、メモリ３０から読み出した画像データを伸長し、伸長した画像データをメモリ３０に書き込む機能を有する。

４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はレンズを保護するためのバリア１０２の動作を制御するバリア制御部である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０及び測距制御部４２はＴＴＬ方式を用いて制御されており、上述の通り、Ａ／Ｄ変換器１６からの画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０及び測距制御部４２を制御する。

５０は撮像装置１００全体を制御するシステム制御部、５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を通知する液晶表示装置、スピーカー等の通知部であり、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置される。例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、通知部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示等がある。

また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、及び７０は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

６０はモードダイアルスイッチであり、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

６２はシャッタースイッチSW1であり、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

６４はシャッタースイッチSW2であり、不図示のシャッターボタンの操作完了でＯＮとなり、固体撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む露光処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮伸長部３２で画像圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

７０は各種ボタンやタッチパネル等からなる操作部であり、メニューボタン、セットボタン、マクロ／非マクロ切り替えボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等がある。

８０は電源制御部であり、電池検出回路、ＤＣ-ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ-ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等からなる電源である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２、９６に記録媒体２００、２１０が装着されているか否かを検知する記録媒体着脱検知部である。

１０２はバリアであり、撮像装置１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する。

１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダ１０４のみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。

１１０は通信部であり、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００及び２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２及び２１２と、撮像装置１００とのインタフェース２０４及び２１４と、撮像装置１００と接続を行うコネクタ２０６及び２１６を備えている。

図２、３は、撮像装置１００での処理動作の主ルーチンを示すフローチャートである。電池交換等の電源投入により、システム制御部５０はフラグや制御変数等を初期化し（ステップＳ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（ステップＳ１０２）。

システム制御部５０は、モードダイアルスイッチ６０の設定位置を判断し、モードダイアルスイッチ６０が電源ＯＦＦに設定されていたならば（ステップＳ１０３）、各表示部の表示を終了状態に変更し、バリア１０２を閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御部８０により画像表示部２８を含む撮像装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（ステップＳ１０５）、ステップＳ１０３に戻る。モードダイアルスイッチ６０が撮影モードに設定されていたならば（ステップＳ１０３）、ステップＳ１０６に進む。モードダイアルスイッチ６０がその他のモードに設定されていたならば（ステップＳ１０３）、システム制御部５０は選択されたモードに応じた処理を実行し（ステップＳ１０４）、処理を終えたならば、ステップＳ１０３に戻る。

撮影モードにおいて、システム制御部５０は、電源制御部８０により電池等により構成される電源８６の残容量や動作情況が撮像装置１００の動作に問題があるか否かを判断し（ステップＳ１０６）、問題があるならば通知部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。

電源８６に問題が無いならば、システム制御部５０は記録媒体２００或いは２１０の動作状態が撮像装置１００の動作、特に記録媒体２００或いは２０１に対する画像データの記録再生動作に問題があるか否かを判断し（ステップＳ１０７）、問題があるならば通知部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。

記録媒体２００或いは２１０の動作状態に問題が無いならば（ステップＳ１０７）、通知部を用いて画像や音声により撮像装置１００の各種設定状態をユーザに知らせる（ステップＳ１０９）。なお、画像表示部２８の画像表示がＯＮの場合には、画像表示部２８を用いて画像や音声により撮像装置１００の各種設定状態をユーザに知らせるようにしてもよい。

次に、システム制御部５０は、撮像した画像データを逐次表示するスルー表示状態に設定する（ステップＳ１１６）。スルー表示状態においては、固体撮像素子１４、Ａ／Ｄ変換器１６、画像処理部２０、メモリ制御部２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御部２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示することにより、電子ファインダ機能を実現している。

次に、シャッタースイッチSW1の状態をチェックし、シャッタースイッチSW1がＯＦＦならば（ステップＳ１１９）、ステップＳ１０３に戻る。シャッタースイッチSW1がＯＮならば（ステップＳ１１９）、システム制御部５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター速度を決定する。測光処理において、必要であればフラッシュフラグをセットし、フラッシュの設定も行う（ステップＳ１２０）。この測距・測光・測色処理の詳細は図４を用いて後述する。

測距・測光・測色処理（ステップＳ１２０）を終えたならば、シャッタースイッチSW2の状態をチェックし、シャッタースイッチSW2が押されずに（ステップＳ１２１）、さらにシャッタースイッチSW1も解除されたならば（ステップＳ１２２）、ステップＳ１０３に戻る。シャッタースイッチSW2が押されずに（ステップＳ１２１）、シャッタースイッチSW1がＯＮのままである場合には（ステップＳ１２２）、ステップＳ１２１に戻る。

シャッタースイッチSW2が押されたならば（ステップＳ１２１）、システム制御部５０は、後述するように測距・測光・測色処理（ステップＳ１２０）でたてられるフラッシュフラグによりフラッシュが必要か否かを判断し（ステップＳ１２７）、必要な場合は、固体撮像素子１４からの信号読み出し方式をここまでのＥＶＦ読み出しモードからプリ発光読み出しモードに切り替えるとともに（ステップＳ１２８）、プリ発光・露光処理を行う（ステップＳ１２９）。フラッシュが必要でない場合は、ステップＳ１２３に進む。このプリ発光読み出しモードの詳細については後述する。

次に、システム制御部５０は、固体撮像素子１４、Ａ／Ｄ変換器１６、画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６から直接メモリ制御部２２を介して、メモリ３０に撮影した画像データを書き込む露光処理、及び、メモリ制御部２２そして必要に応じて画像処理部２０を用いて、メモリ３０に書き込まれた画像データを読み出して各種処理を行う現像処理からなる撮影処理を実行する（ステップＳ１２３）。この撮影処理の詳細は図５を用いて後述する。

撮影処理の終了後、システム制御部５０は、メモリ３０に書き込まれた撮影画像データを読み出して、メモリ制御部２２そして必要に応じて画像処理部２０を用いて各種画像処理を、また、圧縮伸長部３２を用いて設定したモードに応じた画像圧縮処理を行った後、記録媒体２００或いは２１０へ画像データの書き込みを行う記録処理を実行する（ステップＳ１２４）。この記録処理の詳細は図６を用いて後述する。

記録処理の終了後、シャッタースイッチSW2の状態を調べ（ステップＳ１２５）、ＯＦＦであればステップＳ１０３に戻り、ＯＮであれば、連写モードが設定されているか否かを確認する（ステップＳ１２６）。連写モードが設定されていなければステップＳ１２５に戻り、シャッタースイッチSW2が解除されるのを待ってステップＳ１０３に戻る。連写モードが設定されていれば、ステップＳ１２３に戻り、次の撮影を行う。

図４は、図３のステップＳ１２０における測距・測光・測色処理の詳細なフローチャートである。システム制御部５０は、固体撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理部２０に画像データを逐次読み込む（ステップＳ２０１）。この逐次読み込まれた画像データを用いて、画像処理部２０はＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＦ処理に用いる所定の演算を行う。なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。

システム制御部５０は、画像処理部２０での演算結果を用いて露光（ＡＥ）が適正と判断されるまで（ステップＳ２０２）、露光制御部４０を用いてＡＥ制御を行う（ステップＳ２０３）。ＡＥ制御で得られた測定データを用いて、システム制御部５０はフラッシュが必要か否かを判断し（ステップＳ２０４）、フラッシュが必要ならばフラッシュフラグをセットし、フラッシュ４８を充電する（ステップＳ２０５）。フラッシュが必要なければ、そのままステップＳ２０１に戻る。

露光（ＡＥ）が適正と判断したならば（ステップＳ２０２）、測定データ及び或いは設定パラメータをシステム制御部５０の内部メモリ或いはメモリ５２に記憶する。

次に、画像処理部２０での演算結果及びＡＥ制御で得られた測定データを用いて、システム制御部５０はホワイトバランスが適正と判断されるまで（ステップＳ２０６）、画像処理部２０を用いて色処理のパラメータを調節してＡＷＢ制御を行う（ステップＳ２０７）。ホワイトバランスが適正と判断したならば（ステップＳ２０６）、測定データ及び或いは設定パラメータをシステム制御部５０の内部メモリ或いはメモリ５２に記憶する。

ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、システム制御部５０は測距（ＡＦ）が合焦と判断されるまで（ステップＳ２０８）、測距制御部４２を用いてＡＦ制御を行う（ステップＳ２０９）。測距（ＡＦ）が合焦と判断したならば（ステップＳ２０８）、測定データ及び或いは設定パラメータをシステム制御部５０の内部メモリ或いはメモリ５２に記憶し、測距・測光・測色処理ルーチンを終了する。

図５は、図３のステップＳ１２３における撮影処理の詳細なフローチャートである。システム制御部５０は、図４で説明したようにシステム制御部５０の内部メモリ或いはメモリ５２に記憶された測光データに従い、露光制御部４０を制御して、絞り機能を有するシャッター１２を絞り値に応じて開放して（ステップＳ３０１）、固体撮像素子１４の露光を開始する（ステップＳ３０２）。

次に、フラッシュフラグによりフラッシュが必要か否かを判断し（ステップＳ３０３）、必要な場合は、フラッシュ４８を発光させる（ステップＳ３０４）。フラッシュが必要でない場合は、フラッシュ４８を発光させずにステップＳ３０６に進む。

システム制御部５０は、測光データに従って固体撮像素子１４の露光終了を待ち（ステップＳ３０５）、露光時間が終了すると、シャッター１２を閉じて（ステップＳ３０６）、固体撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６、画像処理部２０、メモリ制御部２２を介して、或いは、Ａ／Ｄ変換器１６から直接メモリ制御部２２を介して、メモリ３０に画像データを書き込む（ステップＳ３０７）。

次に、設定された撮影モードに応じて、色処理を順次行った後（ステップＳ３１０）、メモリ３０に処理を終えた画像データを書き込んで、撮影処理ルーチンを終了する。

図６は、図３のステップＳ１２４における記録処理の詳細なフローチャートである。システム制御部５０は、メモリ制御部２２そして必要に応じて画像処理部２０を用いて、メモリ３０に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮伸長部３２で行った後（ステップＳ４０２）、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の記録媒体２００或いは２０１へ書き込んで（ステップＳ４０３）、記録処理ルーチンを終了する。

以上述べた撮像装置において、フラッシュオン時においては、図７にも示すように、シャッタースイッチSW1がＯＮになると（ステップＳ１１９）、測距・測光・測色処理が行われ（ステップＳ１２０）、その後、シャッタースイッチSW2が押されたならば（ステップＳ１２１）、固体撮像素子１４からの信号読み出し方式がここまでのＥＶＦ読み出しモードからプリ発光読み出しモードに切り替えて（ステップＳ１２８）、プリ発光・露光処理として、プリ発光及びプリ露光、信号読み出しが行われる（ステップＳ１２９）。すなわち、プリ発光時には、ＥＶＦ読み出しモードや本露光読み出しモードとは異なるプリ発光読み出しモードに移行するものである。このように、シャッタースイッチSW2が押された直後にプリ発光・露光処理を行うことにより、本露光開始時間とプリ露光開始時間との時間が短くなるので、精度の高いストロボ調光を実現することができる。

この場合に、シャッタースイッチSW2が押された時に画像表示装置２８の表示（ＥＶＦ出力）は固定とし、プリ発光読み出しモードにて読み出した信号はスルー表示を行わない。

図８は、固体撮像素子１４として用いられるＣＭＯＳ型センサの回路図である。同図において、Ｂ１１〜Ｂ４４は、フォトダイオード等の光電変換素子、光電変換素子の蓄積電荷を読み出して増幅する増幅型ＭＯＳトランジスタ、増幅型ＭＯＳトランジスタを活性する選択ＭＯＳトランジスタ等を有する画素であり、マトリクス状に配置される（図示例では４×４の画素）。

ＥＶＦ読み出しモードでは、例えば水平方向に２画素、垂直方向に２画素加算平均を行うものとする。すなわち、垂直シフトレジスタ８０１から水平ライン毎に読み出すＶＳＥＬ１を出力し、ＶＳＥＬ１の制御パルスによって選択された各画素の光出力は、各垂直出力線ＶＳＩＧ１〜４に読み出され、加算回路８０２に蓄積される。

図９は加算回路８０２の回路構成を示す図であり、水平方向の２画素Ｂ１１、Ｂ１２及び垂直方向の２画素Ｂ２１、Ｂ２２の光出力が加算される様子を示す。同図に示すように、各画素に接続された垂直出力線から転送スイッチ９０１、９０２を介して画素Ｂ１１、Ｂ１２の信号成分が蓄積コンデンサ９０３、９０４に蓄積される。次のタイミングに、図８のＶＳＥＬ２を出力し、画素Ｂ２１、Ｂ２２の信号成分が転送スイッチ９０５、９０６を介して蓄積コンデンサ９０７、９０８に蓄積される。その後、水平シフトレジスタ８０３からの制御信号によって転送スイッチ９０９、９１０、９１１、９１２がオンになることにより、水平出力線９１３では、水平方向である画素Ｂ１１及びＢ１２の信号成分、さらに垂直方向である画素Ｂ２１及びＢ２２の信号成分が加算され、水平垂直２画素加算が完了する。

ここで、ＣＭＯＳ型センサ等ローリング式電子シャッター方式を用いたときのタイミングずれについて、図１０のＣＭＯＳ型センサの読み出し方式とＥＦの説明図を参照しつつ説明する。図１０（ａ）は、例えばＣＭＯＳ型センサによるＥＦ評価ブロック領域のプリ発光による光電荷の蓄積タイミング状態を示している。ＣＭＯＳ型センサが受けた光電荷を蓄積しようとする場合、一ライン単位で信号を読み出すので、各ラインｎ，ｎ＋１，ｎ＋２の蓄積開始がそれぞれずれる。

また、ＥＦ動作について、ある時間にストロボをプリ発光する場合の光強度は、時間を横軸として図１０（ｂ）に示すように変化し、この光量変化をＣＭＯＳ型センサが受けて、全エリア内から抽出された一部のブロック領域を評価する。このとき、ＥＦ評価ブロック領域のラインｎ〜ｎ＋ｍ全てがプリ発光期間内に電荷の蓄積を行わなければならない。

つまり、ＥＦ評価ブロック領域全てがプリ発光による光を受光しなくてはフラッシュを正しく検出することができないため精度が落ちてしまう。図１０の例では、ＥＦ評価ブロック領域全てでプリ発光による光を受光している。

それでは、どのような場合に、ＥＦ評価ブロック領域全てにプリ発光が照射されなくなってしまうのかについて、例を挙げて説明する。

[通常フラッシュ撮影時（シャッター速度１／６０）]
図１１に、ＥＦ評価ブロック領域の蓄積時間のタイミングを示す。いま、シャッター速度は１／６０であるので蓄積時間は１６．７ｍｓとなる。また、１ライン読み出すのに必要な時間を２４μｓとし、さらにＥＶＦにおける垂直方向ライン数が１８０本と仮定すると、読み出し時間は、２４μｓ×１８０＝４．３ｍｓとなる。さらにプリ発光時間を２０μｓと仮定すると、図１１から明らかなようにＥＦブロック領域の全ライン重なり期間が１２．４ｍｓであることから、その重なり期間でプリ発光させることにより、ＥＦ評価ブロック領域の全ラインにプリ発光を照射することができる。

[日中シンクロ時（シャッター速度１／２５０）]
図１２に、ＥＦ評価ブロック領域の蓄積時間のタイミングを示す。いま、シャッター速度は１／２５０であるので蓄積時間は４ｍｓとなる。また、１ライン読み出すのに必要な時間及び垂直方向ライン数を[通常フラッシュ撮影時]と同じにすると、図１２から明らかなようにＥＦ評価ブロック領域の全ラインに時間的に重なる期間が存在せず、ＥＦ評価ブロック領域の全ラインにプリ発光を照射することができない。

このように日中シンクロ時等の高速シャッターが切られる場合、１ライン読み出すのに必要な時間に比べて蓄積時間が短くなるため、ＥＦ評価ブロック領域全てにプリ発光を照射することができない。

上記の結果から、同調シャッター速度、ＥＦ評価ブロック領域からの読み出し時間、プリ発光時間が下式（１）を満足したときに初めてＥＦ評価ブロック領域全てにプリ発光を照射することができる。
同調シャッター速度≧読み出し時間＋プリ発光時間・・・式（１）

そこで、プリ発光時には下記のような固体撮像素子の所定の領域（本実施の形態では、４×４の画素）からの信号の読み出し期間を短くするためのパラメータを変えることにより、プリ発光読み出しモードとして動作させる。
（１）読み出し水平画素数
（２）駆動周波数
（３）水平ブランキング時間
（４）読み出し垂直画素数

（１）、（２）、（３）の値を変えることによりタイミング図の平行四辺形の傾きを変えることができる。この様子を図１３に示す。また、（４）の値を変えると読み出すライン数が変化するため、タイミングが図１４のように変化する。これら４つの値のうち少なくとも１つの値を変えることで、シャッター速度により定まる蓄積時間内にて最初に読み出すラインと最後に読み出すラインとが時間的に重なるようにすることができるので、ＥＦ評価ブロック領域全てにプリ発光が照射されるようなプリ発光読み出しモードとすることができるものである。

（第２の実施形態）
上記第１の実施形態では、プリ発光時においては常にプリ発光読み出しモードに移行し、プリ発光読み出しモードでは、既述したように（１）読み出し水平画素数、（２）駆動周波数、（３）水平ブランキング時間、（４）読み出し垂直画素数を適切な値にすることでＥＦ評価ブロック領域全てにプリ発光が照射されるようにしていた。

ところが、読み出し水平画素数及び読み出し垂直画素数に関しては減少させる方向となるため、過大間引きによるフラッシュ調光精度が落ちてしまう可能性がありうる。また、駆動周波数に関しては増加させる方向となるため、消費電力が増大する可能性も考えられる。また、水平ブランキング時間に関しては減少させる方向となるため、スイッチング速度の高速化のためにセンサ性能の劣化の可能性が考えられる。

本実施形態では、ＥＦ評価ブロック全てにプリ発光が照射されるか否かの判定を行い、その判定が否の場合のみプリ発光読み出しモードに移行するようにしたものである。図１５は上記第１の実施形態の図３に対応するフローチャートであり、図３と同様の処理動作には同じ符号を付し、ここでは相違点のみを説明する。

シャッタースイッチSW2が押されたならば（ステップＳ１２１）、システム制御部５０は、フラッシュが必要か否かを判断し（ステップＳ１２７）、必要な場合は、まず、シャッター速度が閾値以上であるか否かの判定を行う（ステップＳ１３０）。この閾値は、上式（１）に示した「読み出し時間＋プリ発光時間」と等しいものである。そして、シャッター速度が閾値以上でなければ、ＥＦ評価ブロック領域全てにプリ発光が照射されないため、プリ発光読み出しモードに切り替え（ステップＳ１２８）、シャッター速度が閾値以上であれば、ＥＶＦ読み出しモードのままとして（ステップＳ１３１）、プリ発光・露光処理を行う（ステップＳ１２９）。

（第３の実施形態）
上記第１の実施形態では、プリ発光モードでは、既述したように（１）読み出し水平画素数、（２）駆動周波数、（３）水平ブランキング時間、（４）読み出し垂直画素数を適切な値にすることで同調シャッター速度においてもＥＦ評価ブロック領域全てにプリ発光が照射されるようにしていた。

ところが、駆動周波数に関しては増加させる方向となるため、消費電力が増大する可能性も考えられる。

本実施形態では、シャッター速度に応じて駆動周波数を変更するようにしたものである。いま、駆動周波数が４０ＭＨｚ、２０ＭＨｚ、１０ＭＨｚの３種類を選択することが可能なセンサであるとする。

また、デジタルカメラの同調シャッター速度が１／５００ｓ（２ｍｓ）、さらにプリ発光時間が１／２０００ｓ（０．５ｍｓ）、４０ＭＨｚ駆動における読み出し時間が１．５ｍｓであるとすると、同調シャッター速度は（４０ＭＨｚ駆動時読み出し時間＋プリ発光時間）以上となり、ＥＦ評価ブロック領域全てにプリ発光が照射される。

さらに、２０ＭＨｚ駆動時における読み出し時間が２ｍｓ、１０ＭＨｚ駆動時における読み出し時間が２．５ｍｓであると仮定すると、２０ＭＨｚ駆動時において上式（１）を満足させる最小のシャッター速度は、読み出し時間２ｍｓ＋プリ発光時間０．５ｍｓ＝２．５ｍｓとなる。つまり、２．５ｍｓ以上のシャッター速度は駆動周波数を２０ＭＨｚにしてもよい。同様に、１０ＭＨｚ駆動時において上式（１）を満足させる最小のシャッター速度は、読み出し時間２．５ｍｓ＋プリ発光時間０．５ｍｓ＝３．０ｍｓとなる。つまり、３．０ｍｓ以上のシャッター速度は駆動周波数を１０ＭＨｚにしてもよい。

すなわち、シャッター速度Ｔｖと駆動周波数とをまとめると、以下のようになる。
（場合１）２ｍｓ≦Ｔｖ＜２．５ｍｓ 駆動周波数４０ＭＨｚで上式（１）を満足する。
（場合２）２．５ｍｓ≦Ｔｖ＜３ｍｓ 駆動周波数２０ＭＨｚで上式（１）を満足する。
（場合３）３ｍｓ≦Ｔｖ 駆動周波数１０ＭＨｚで上式（１）を満足する。

この関係を図１６にまとめた。このことから、常に駆動周波数を４０ＭＨｚで駆動させる必要は無く、シャッター速度に応じて駆動周波数を遅くすることが可能であり、その結果、消費電力を低減させることができる。

なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明が適用可能な撮像装置の構成例を示す図である。 第１の実施形態の撮像装置での処理動作の主ルーチンの一部を示すフローチャートである。 第１の実施形態の撮像装置での処理動作の主ルーチンの一部を示すフローチャートである。 測距・測光・測色処理を示すフローチャートである。 撮影処理を示すフローチャートである。 記録処理を示すフローチャートである。 フラッシュオン時における処理動作のシーケンス図である。 ＣＭＯＳ型センサの回路図である。 加算回路の回路構成を示す図である。 ＣＭＯＳ型センサの読み出し方式とＥＦを説明するための図である。 シャッター速度が１／６０の場合でのＥＦ評価ブロックの蓄積時間のタイミングを示す図である。 シャッター速度が１／２５０の場合でのＥＦ評価ブロックの蓄積時間のタイミングを示す図である。 読み出し水平画素数又は駆動周波数又は水平ブランキング時間を変えたときの蓄積時間のタイミングを示す図である。 読み出し垂直画素数を変えたときの蓄積時間のタイミングを示す図である。 第２の実施形態の撮像装置での処理動作の主ルーチンの一部を示すフローチャートである。 第３の実施形態の撮像装置でのシャッター速度と駆動周波数との関係を示す図である。 ＣＣＤを用いた固体撮像装置によるＡＥ方式を説明するための図である。

符号の説明

１２ 絞り機能を備えるシャッター
１４ 固体撮像素子
１８ タイミング発生回路
２８ 画像表示部
４０ 露光制御部
４２ 測距制御部
４８ フラッシュ
５０ システム制御部
６２ シャッタースイッチSW1
６４ シャッタースイッチSW2
Ｂ１１〜Ｂ４４ 画素
８０１ 垂直シフトレジスタ
８０２ 加算回路
８０３ 水平シフトレジスタ

Claims (5)

1. 光電変換素子を含む画素が複数ライン配置された撮像手段と、
   一又は複数ライン単位で露光期間をずらすように前記撮像手段を駆動する駆動手段と、
   プリ発光に際して、シャッター速度を所定の閾値と比較し、前記シャッター速度が前記所定の閾値以上である場合に、前記撮像手段の所定の領域からの信号の読み出しモードを、前記撮像手段から順次出力される連続画像を表示手段に表示するスルー表示読み出しモードにするとともに、前記シャッター速度が前記所定の閾値未満である場合には、最初に読み出すラインの露光期間の一部と最後に読み出すラインの露光期間の一部とが時間的に重なるように前記駆動手段が前記撮像手段を駆動するプリ発光読み出しモードにするように制御する制御手段とを備え、
   前記所定の閾値は、前記撮像手段の所定の領域からの読み出し時間とプリ発光時間との和であることを特徴とする記載の撮像装置。
2. 前記制御手段は、読み出し水平画素数、駆動周波数、水平ブランキング時間、読み出し垂直画素数のうちいずれか一又は複数の値を変更することにより、前記プリ発光読み出しモードに切り替えることを特徴とする請求項１に記載の撮像装置。
3. 前記プリ発光読み出しモードではスルー表示を行わないことを特徴とする請求項１又は２に記載の撮像装置。
4. 光電変換素子を含む画素が複数ライン配置された撮像手段と、一又は複数ライン単位で露光期間をずらすように前記撮像手段を駆動する駆動手段とを備えた固体撮像装置の制御方法であって、
   プリ発光に際して、シャッター速度を所定の閾値と比較する手順と、
   前記シャッター速度が前記所定の閾値以上である場合に、前記撮像手段の所定の領域からの信号の読み出しモードを、前記撮像手段から順次出力される連続画像を表示手段に表示するスルー表示読み出しモードにするとともに、前記シャッター速度が前記所定の閾値未満である場合には、最初に読み出すラインの露光期間の一部と最後に読み出すラインの露光期間の一部とが時間的に重なるように前記駆動手段が前記撮像手段を駆動するプリ発光読み出しモードにするように制御する手順とを有し、
   前記所定の閾値は、前記撮像手段の所定の領域からの読み出し時間とプリ発光時間との和であることを特徴とする固体撮像装置の制御方法。
5. 光電変換素子を含む画素が複数ライン配置された撮像手段と、一又は複数ライン単位で露光期間をずらすように前記撮像手段を駆動する駆動手段とを備えた固体撮像装置を制御するためのコンピュータプログラムであって、
   プリ発光に際して、シャッター速度を所定の閾値と比較する処理と、
   前記シャッター速度が前記所定の閾値以上である場合に、前記撮像手段の所定の領域からの信号の読み出しモードを、前記撮像手段から順次出力される連続画像を表示手段に表示するスルー表示読み出しモードにするとともに、前記シャッター速度が前記所定の閾値未満である場合には、最初に読み出すラインの露光期間の一部と最後に読み出すラインの露光期間の一部とが時間的に重なるように前記駆動手段が前記撮像手段を駆動するプリ発光読み出しモードにするように制御する処理とをコンピュータに実行させ、
   前記所定の閾値は、前記撮像手段の所定の領域からの読み出し時間とプリ発光時間との和であることを特徴とするコンピュータプログラム。

Images