JP5597243B2

JP5597243B2 - 撮像装置

Info

Publication number: JP5597243B2
Application number: JP2012279465A
Authority: JP
Inventors: 稔廣瀬
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-12-21
Filing date: 2012-12-21
Publication date: 2014-10-01
Anticipated expiration: 2027-01-31
Also published as: JP2013093875A

Description

本発明は、測光のダイナミックレンジを拡大する場合に適用される撮像装置に関する。

現在、多くの撮像装置では、露出制御を行うための測光方式として、測光用の圧縮系センサを利用して測光を行う方式か、撮像面等のリニア系センサを利用して測光を行う方式が採用されている。リニア系センサを利用して測光を行う方式は、圧縮センサ系を利用して測光を行う方式に比べ、測光可能なダイナミックレンジが狭いため、コントラストの大きい被写体を正確に測光することができない。

特に、ストロボ撮影を行う際に、予備発光を行い被写体からの反射光を測光することで撮影時の発光量を計算するストロボ調光を行う場合、撮影シーンによって反射光の量が大きく異なる。そのため、予備発光時の露光結果がリニア系センサのダイナミックレンジ内に収まらず、黒つぶれしたり飽和したりしてしまい、一度の露光では正確に測光できないことがある。

上述した問題に対処する技術としては以下の技術が提案されている（例えば、特許文献１参照）。特許文献１記載の技術では、予備発光による測光結果に基づいて再度予備発光を行うか否かを判定し、再度予備発光が必要と判断した場合は、露光条件を変えて再度予備発光による測光を行っている。

また、上記リニア系センサのダイナミックレンジを拡大する技術としては以下の技術が提案されている（例えば、特許文献２参照）。特許文献２記載の技術では、固体撮像装置において、複数種類の混合数の異なる同色画素加算を行い、その出力結果を用いて測光を行っている。

特開２０００−１８７２６６号公報特開２００５−１１７１９２号公報

しかしながら、上記特許文献１記載の技術においては、複数回、予備発光を行い測光する必要がある。そのため、撮像装置のシャッタボタン操作に伴いレリーズスイッチが作動してから撮影が開始されるまでのレリーズタイムラグが長くなってしまう。

また、上記特許文献２記載の技術においては、撮像素子としてＣＭＯＳを利用し、ライブビュー機能（撮像素子に結像した画像をリアルタイムで表示しながら構図確認やピント合わせを行う機能）を実現している場合に、親和性がよくない。即ち、後述するように、画素加算により解像度を低下させるため測光精度の低下を招く。

ＣＭＯＳ型の撮像素子は、ＣＣＤ型の撮像素子のように電荷の一括転送を行うことができず、順次、画素信号の読出しを行う。そのため、ライブビュー機能などのように機械シャッタを利用することができない状況では、画像信号の読出し中においても露光し続けてしまう。従って、高輝度時は定常光による画素信号の飽和を防ぐために間引き読出しを行い、撮像素子からの読出しを高速化することで蓄積時間を短くする必要がある。

しかし、上記特許文献２の提案による画素加算方式で撮像素子としてＣＭＯＳを利用しダイナミックレンジを拡大させる場合、画素信号の間引き読出しに加え、更に画素加算により解像度を低下させてしまう。その結果、測光精度の低下を招いてしまうという問題がある。もし、測光精度に影響がない程度の解像度を確保することが可能だとするなら、高輝度側の測光連動範囲の拡大を行いたいため、更に間引き率を大きくして画素信号の高速読出しを行いたいという課題がある。

本発明の目的は、測光のダイナミックレンジの拡大を可能とした撮像装置を提供することにある。

上述の目的を達成するために、本発明の撮像装置は、各々が光電変換素子を含み、水平方向及び垂直方向に配置された複数の画素から構成される画素配列と、前記画素配列から複数色の画素信号を読出す画素読出手段と、少なくとも２つの異なる第１の利得および第２の利得の設定が可能で、前記画素読出手段により前記画素配列から読出された前記複数色の画素信号を増幅して出力する増幅手段とを備えた撮像素子と、前記撮像素子から出力される複数色の画素信号に基づいて被写体からの反射光を測光する測光手段と、前記測光手段による測光結果または撮影者による設定に基づいて、前記被写体に対して光を照射する発光手段を発光させて前記撮像素子による前記被写体の撮像を行うか否かを判定する判定手段と、前記判定手段により前記発光手段を発光させて前記被写体の撮像を行うと判定された場合に、前記画素配列の規定の周期の行毎又は列毎に前記第１の利得および前記第２の利得を前記増幅手段に設定し、前記発光手段を発光させずに定常光で前記撮像素子による前記被写体の撮像を行い、前記画素配列から読出される前記複数色の全色の画素信号を前記増幅手段により前記第１の利得および前記第２の利得で増幅することで第１の定常光信号出力および第２の定常光信号出力を取得するように制御する制御手段と、前記第１の定常光信号出力および前記第２の定常光信号出力と前記測光手段による測光結果から算出した露出パラメータとに基づいて、前記発光手段の発光量を決定する発光量決定手段と、を備えることを特徴とする。

本発明によれば、画素配列からの１回の読出しに際して異なる利得の画素信号を得るように、前記画素配列の規定の周期の行毎又は列毎に増幅手段に対して異なる利得を設定するので、撮像素子から１回の読出しにつき異なる利得の画素信号を得ることが可能となり、測光のダイナミックレンジの拡大が可能となる。

本発明の第１の実施の形態に係る固体撮像素子の構成を示すブロック図である。画素毎の読出しゲインを示す模式図である。画素毎の読出しゲインを示す模式図である。画素毎の読出しゲインを示す模式図である。本発明の第２の実施の形態に係る撮像装置としてのデジタルカメラシステムの構成を示すブロック図である。撮像装置の撮影処理を示すフローチャートである。ストロボ調光制御の詳細を示すフローチャートである。撮像素子の駆動方式と読出し及び蓄積時間を示す模式図である。撮像素子の駆動方式と蓄積時間と読出し時間を示す模式図である。画素毎の読出しゲインを示す模式図である。測光可能な距離レンジを示す模式図である。外光輝度とストロボ反射光の関係を示す図である。予備発光時の撮像素子の読出し時間と最小蓄積時間の関係を示す模式図である。予備発光時の撮像素子の読出し時間と最小蓄積時間の関係を示す模式図である。予備発光時の撮像素子の読出し時間と最小蓄積時間の関係を示す模式図である。予備発光時の撮像素子の読出し時間と最小蓄積時間の関係を示す模式図である。

以下、本発明の実施の形態を図面に基づいて説明する。

［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る固体撮像素子の構成を示すブロック図である。

図１において、本実施の形態に係る固体撮像素子（以下撮像素子）は、１回の読出しにつき明度の異なる出力信号を得ることが可能な装置である。撮像素子は、画素配列１、画素読出し部２、行選択部３、列選択部４、ゲイン回路５、ゲイン選択部６を備えている。

画素配列１は、光電変換素子を含む水平方向及び垂直方向に配置された複数の画素から構成されている。行選択部３は、画素配列１から複数の画素を水平方向に選択する。列選択部４は、画素配列１から複数の画素を垂直方向に選択する。画素読出し部２は、画素配列１から水平方向または垂直方向に規定の周期で画素間引きを行って高速に読出すことが可能であり、行選択部３及び列選択部４によりそれぞれ選択された画素信号を順次読出す。

ゲイン選択部６は、画素信号の１回の読出しに際して、画素配列１の行毎及び列毎に複数種類の異なる利得（ゲイン）をゲイン回路に対して設定する。ゲイン回路５は、複数種類の異なるゲインを設定することが可能であり、ゲイン選択部６により選択されたゲインに基づき画素信号を増幅し出力する。ゲイン選択部６は、行選択部３により画素配列１から選択された規定の周期の行毎にゲイン回路５に対してゲインを設定する。また、ゲイン選択部６は、列選択部４により画素配列１から選択された規定の周期の列毎にゲイン回路５に対してゲインを設定する。

図２は、画素毎の読出しゲインを示す模式図である。

図２において、図１に示した画素配列からの画素信号の読出し時にゲイン選択部６により選択されたゲインの選択例を示している。画素配列の２行毎にＩＳＯ１００とＩＳＯ４００が交互に選択され、画素信号の１回の読出しに際し、異なる２種類のゲインが掛けられた信号が読み出される。本実施の形態では、簡略化のために１２行８列で示している。なお、本実施の形態では、ＩＳＯ１００とＩＳＯ４００の２種類の異なるゲインを選択した場合の例を示しているが、選択されるゲインの値及び種類の数はこれに限定されるものではない。

図３は、画素毎の読出しゲインを示す模式図である。

図３において、図２に示した画素配列に対して画素の間引き読出しを行った場合の例を示している。本実施の形態では、画素配列の３行毎に１行間引いて読出しを行っており、読出しを行う行毎にＩＳＯ１００とＩＳＯ４００を交互に選択して読出している。このように、画素の間引き読出しを行うことにより、１回の読出し速度を向上させることが可能である。なお、本実施の形態では、３行毎に１行間引く（間引き周期１／３）読出しを行った場合の例を示しているが、間引き周期はこれに限定されるものではない。

図４は、画素毎の読出しゲインを示す模式図である。

図４において、画素配列の列毎にゲイン選択部６により、読出す画素信号のゲイン設定を選択し、且つ、３列毎に１列間引いて読出した場合の例を示している。本実施の形態では、読み出される列毎にＩＳＯ１００とＩＳＯ８００を交互に選択して読出しを行っている。なお、本実施の形態では、画素配列の３列毎に１列間引き、２種類の異なるゲインを選択した場合の例を示しているが、間引き周期、ゲインの値、種類の数はこれに限定されるものではない。

以上説明したように、本実施の形態によれば、画素配列からの画素信号の１回の読出しに際し、複数種類の異なるゲインが掛けられた画像信号出力を得ることが可能となる。これにより、１回の露光によって得られる画像信号出力のダイナミックレンジを拡大させることが可能となる。また、画素配列に対して画素の間引き読出しを併用することで、画素信号の高速読出しを行う場合においても上記と同様の効果を得ることが可能となる。

［第２の実施の形態］
図５は、本発明の第２の実施の形態に係る撮像装置としてのデジタルカメラシステムの構成を示すブロック図である。

図５において、デジタルカメラシステムは、一眼レフデジタルカメラ（以下デジタルカメラ）１００に撮影レンズユニット２００とストロボ装置３００を装備している。デジタルカメラ１００は、光学機構、各種回路、各種操作ボタン、システムコントローラ（ＣＰＵ）１２０等を備えている。デジタルカメラ１００には、撮影レンズユニット２００がマウント機構（不図示）を介し着脱可能に取り付けられる。撮影レンズユニット２００は、撮影レンズ２０１、絞り２０２等を備えている。マウント機構は、電気的接点群２１０を備えている。システムコントローラ１２０と電気的接点群２１０とからレンズ検出部を構成している。

電気的接点群２１０は、デジタルカメラ１００と撮影レンズユニット２００との間で制御信号、状態信号、データ信号等を伝え合う機能を有する。更に、電気的接点群２１０は、各種電圧・電流を供給する機能、撮影レンズユニット２００が接続されるとシステムコントローラ１２０へ信号を送信する機能も有する。デジタルカメラ１００と撮影レンズユニット２００の間の通信により、撮影レンズユニット内の撮影レンズ２０１及び絞り２０２の駆動が可能となる。また、電気的接点群２１０は、電気通信のみならず、光通信、音声通信等の機能を有する構成としてもよい。

なお、本実施の形態では便宜上１枚の撮影レンズを図示しているが、実際は更に多数の撮影レンズから構成されていることは周知の通りである。

撮像装置による撮影動作に伴い、被写体像（不図示）からの撮影光束が撮影レンズ２０１及び絞り２０２を介して、図示の矢印方向に駆動可能なクイックリターンミラー１０２に導かれる。クイックリターンミラー１０２の中央部はハーフミラーに構成されており、クイックリターンミラー１０２がダウンした際に一部の撮影光束が透過する。クイックリターンミラー１０２を透過した撮影光束は、クイックリターンミラー１０２に付設されたサブミラー１０３により下方に向けて反射される。

ＡＦセンサユニット１０４は、公知の位相差検出方式を有し、不図示の結像面近傍に配置されたフィールドレンズ、反射ミラー、２次結像レンズ、絞り、及び、複数のＣＣＤから成るラインセンサ等から構成されている。焦点検出回路１０５は、システムコントローラ１２０からの制御信号に基づきＡＦセンサユニット１０４を制御することで、公知の位相差検出方式により焦点検出を行う。ＡＦセンサユニット１０４と焦点検出回路１０５とから焦点検出部を構成している。

一方、クイックリターンミラー１０２により反射された撮影光束は、ペンタプリズム１０１、接眼レンズ１０６を介して撮影者の目に至る。また、クイックリターンミラー１０２がアップした際は、撮影レンズ２０１を透過した撮影光束は、機械シャッタであるフォーカルプレーンシャッタ１０８、フィルタ１０９を介して撮像素子としてのイメージセンサ１１２に至る。イメージセンサ１１２は、具体的にはＣＭＯＳイメージセンサに代表される。

なお、イメージセンサ１１２は、上記第１の実施の形態で説明した固体撮像素子に相当する。イメージセンサ１１２は、行選択部により選択された行毎に所定の周期でゲイン回路を設定することが可能であり、１回の読出しで明度の異なる出力信号を得ることが可能な固体撮像素子とする。また、イメージセンサ１１２は、水平方向及び垂直方向に画素間引きを行って高速に画素信号の読出しを行うことが可能な機能を有するものとする。

フィルタ１０９は、赤外線をカットし可視光線のみをイメージセンサ１１２へ導く機能と、光学ローパスフィルタとしての機能の２つの機能を有する。フォーカルプレーンシャッタ１０８は、先幕及び後幕を備えており、撮影レンズ２０１からの光束の透過／遮断を制御する。なお、クイックリターンミラー１０２のアップ時には、サブミラー１０３は折り畳まれるように構成されている。

システムコントローラ１２０は、デジタルカメラシステム全体の制御を司るＣＰＵにより構成されており、後述する各部の動作を適宜制御するものであり、プログラムに基づき後述の図６及び図７のフローチャートに示す処理を実行する。また、システムコントローラ１２０は、測光機能と発光量計算機能とを有する。システムコントローラ１２０には、レンズ制御回路２０４、絞り制御回路２０６が接続されている。レンズ制御回路２０４は、撮影レンズ２０１を光軸方向に移動してピント合わせを行うためのレンズ駆動機構２０３を制御する。絞り制御回路２０６は、絞り２０２を駆動するための絞り駆動機構２０５を制御する。

また、システムコントローラ１２０には、シャッタチャージ・ミラー駆動機構１１０、シャッタ制御回路１１１、測光回路１０７が接続されている。シャッタチャージ・ミラー駆動機構１１０は、クイックリターンミラー１０２のアップ／ダウンの駆動及びフォーカルプレーンシャッタ１０８のシャッタチャージを制御する。シャッタ制御回路１１１は、フォーカルプレーンシャッタ１０８の先幕及び後幕の走行を制御する。測光回路１０７は、接眼レンズ１０６の近傍に配設された測光センサ（不図示）に接続された自動露出を行う回路である。

また、システムコントローラ１２０には、ＥＥＰＲＯＭ１２２が接続されている。ＥＥＰＲＯＭ１２２には、デジタルカメラシステムを制御する上で調整が必要なパラメータ、デジタルカメラの個体識別が可能なカメラＩＤ情報、基準レンズで調整されたＡＦ補正データ、自動露出補正値などが記憶されている。

レンズ制御回路２０４は、レンズ固有の情報（例えば焦点距離、開放絞り、レンズ個々に割り振られるレンズＩＤ等の情報）、システムコントローラ１２０から受け取った情報を記憶するレンズ記憶部も備えている。測光回路１０７に接続される測光センサは、被写体の輝度を測定するためのセンサであり、その出力は測光回路１０７を経てシステムコントローラ１２０に供給される。

システムコントローラ１２０は、レンズ制御回路２０４によりレンズ駆動機構２０３を制御することにより、被写体像をイメージセンサ１１２上に結像する。また、システムコントローラ１２０は、設定されたＡｖ（絞り込み量）値に基づいて絞り制御回路２０６により絞り駆動機構２０５を制御し、更に、設定されたＴｖ（シャッタ速度）値に基づいてシャッタ制御回路１１１へ制御信号を出力する。

フォーカルプレーンシャッタ１０８の先幕及び後幕は、駆動源がバネにより構成されており、シャッタ走行後、次の動作のためにバネチャージを要する。シャッタチャージ・ミラー駆動機構１１０は、このバネチャージを制御するように構成されている。また、シャッタチャージ・ミラー駆動機構１１０は、上述したようにクリックリターンミラー１０２のアップ／ダウンを行う。

また、システムコントローラ１２０には、画像データコントローラ１１５が接続されている。画像データコントローラ１１５は、ＤＳＰ（デジタル信号プロセッサ）から構成され、イメージセンサ１１２の制御、イメージセンサ１１２から入力された画像データの補正・加工等をシステムコントローラ１２０の指令に基づき実行する。画像データの補正・加工の項目の中にはオートホワイトバランスも含まれている。オートホワイトバランスとは、撮影画像中の最大輝度の部分を所定の色（白色）に補正する機能であり、システムコントローラ１２０からの命令により補正量を変更可能である。

システムコントローラ１２０と画像データコントローラ１１５とから第２の測光部を構成している。第２の測光部は以下の処理を行う。画像データコントローラ１１５は、画像信号を領域分割し、それぞれの領域でベイヤ画素毎に積分した値をシステムコントローラ１２０に供給する。システムコントローラ１２０は、積分信号を評価することで測光を行う。

画像データコントローラ１１５には、タイミングパルス発生回路１１４、Ａ／Ｄコンバータ１１３、Ｄ／Ａコンバータ１１６、画像圧縮回路１１９、ＤＲＡＭ１２１、コントラスト検出回路１４０が接続されている。タイミングパルス発生回路１１４は、イメージセンサ１１２を駆動する際に必要なパルス信号を出力する。

Ａ／Ｄコンバータ１１３は、イメージセンサ１１２と共にタイミングパルス発生回路１１４で発生されたタイミングパルスを受けて、イメージセンサ１１２から出力される被写体像に対応したアナログ信号をデジタル信号に変換する。ＤＲＡＭ１２１は、得られた画像データ（デジタル信号）を一時的に記憶しておく。ＤＲＡＭ１２１は、加工や所定のフォーマットへのデータ変換が行われる前の画像データを一時的に記憶するために使用される。

画像圧縮回路１１９には、記録媒体４０１が接続される。画像圧縮回路１１９は、ＤＲＡＭ１２１に記憶された画像データの圧縮や変換（例えばＪＰＥＧ方式の圧縮）を行うための回路である。変換された画像データは、記録媒体４０１に格納される。記録媒体としては、ハードディスク、フラッシュメモリ、フロッピー（登録商標）ディスク）等が使用される。なお、画像データコントローラ１１５と画像圧縮回路１１９と記録媒体４０１とから記録部を構成している。

Ｄ／Ａコンバータ１１６には、エンコーダ回路１１７を介して画像表示回路１１８が接続されている。画像表示回路１１８は、イメージセンサ１１２により撮像された画像データを表示する回路であり、一般にはカラーの液晶表示素子により構成される。

画像データコントローラ１１５は、ＤＲＡＭ１２１に記憶された画像データをＤ／Ａコンバータ１１６によりアナログ信号に変換し、エンコーダ回路１１７に出力する。エンコーダ回路１１７は、Ｄ／Ａコンバータ１１６の出力を、画像表示回路１１８を駆動する際に必要な映像信号（例えばＮＴＳＣ信号）に変換する。なお、Ｄ／Ａコンバータ２１５と画像表示回路１１８とエンコーダ回路１１７とから画像表示部を構成している。

コントラスト検出回路１４０は、システムコントローラ１２０の指令に基づいて以下の処理を実行する。コントラスト検出回路１４０は、画像データコントローラ１１５により補正された画像データを所定の周波数特性を持つフィルタを通し、所定のガンマ処理を行って得られる画像信号の所定方向のコントラストの評価を行う。コントラストの評価結果はシステムコントローラ１２０に供給される。

更に、システムコントローラ１２０には、通信Ｉ／Ｆ回路１２６、動作表示回路１２３、各種選択ボタン、各種スイッチ等が接続されている。通信Ｉ／Ｆ回路１２６は、情報処理装置４００との間の通信を司る。動作表示回路１２３は、デジタルカメラの動作モードの情報、露出情報（シャッタ秒時、絞り値等）等を外部液晶表示部１２４や内部液晶表示部１２５に表示させる。なお、動作表示回路１２３とシステムコントローラ１２０とから表示制御部を構成している。

撮影モード選択ボタン１３０は、撮影者が所望の動作をデジタルカメラに実行させるためのモードを設定する際に操作する。測距点選択ボタン１３３は、ＡＦセンサユニット１０４が有する複数の焦点検出位置から使用する焦点検出位置を選択する際に操作する。ＡＦモード選択ボタン１３４は、ＡＦモードを選択する際に操作する。測光モード選択ボタン１３５は、測光モードを選択する際に操作する。レリーズＳＷ１・１３６は、測光・測距等の撮影準備動作を開始する際に操作する。レリーズＳＷ２・１３７は、撮像動作を開始する際に操作する。

ファインダモード選択ボタン１３８は、光学ファインダモードとライブビューモードとを切り替える際に操作する。光学ファインダモードは、接眼レンズ１０６を通過する撮影光束を確認することが可能なモードである。ライブビューモードは、イメージセンサ１１２により受光した被写体象信号（画像）を逐次、画像表示回路１１８により表示するモードである。

更に、デジタルカメラ１００には、ストロボ装置３００がマウント機構（不図示）を介し着脱可能に取り付けられる。マウント機構は、電気的接点群３１０を備えている。電気的接点群３１０は、デジタルカメラ１００とストロボ装置３００との間で制御信号、状態信号、データ信号等を伝え合う機能を有する。更に、電気的接点群３１０は、ストロボ装置３００が接続されるとシステムコントローラ１２０へ信号を送信する機能も有する。デジタルカメラ１００とストロボ装置３００の間の通信により、ストロボの発光制御を行うことが可能となる。また、電気的接点群３１０は、電気通信のみならず、光通信、音声通信等の機能を有する構成としてもよい。

次に、上記のように構成されたデジタルカメラシステムの動作について図６乃至図１６を参照しながら詳細に説明する。

図６は、撮像装置の撮影処理を示すフローチャートである。図７は、ストロボ調光制御の詳細を示すフローチャートである。

図６において、デジタルカメラのシステムコントローラ２０は、撮影者がファインダモード選択ボタン１３８によりライブビューモードの開始（ＯＮ）を指示したか否かを判定する（ステップＳ１０１）。撮影者によりファインダモード選択ボタン１３８が操作されライブビューモードの開始がシステムコントローラ１２０に通知されると、システムコントローラ１２０は以下の制御を行う。即ち、システムコントローラ１２０は、クリックリターンミラー１０２をアップ状態とし、フォーカルプレーンシャッタ１０８を開き、撮影レンズユニット２００を通過した撮影光束がイメージセンサ１１２へ露光されつづける状態となるよう制御を行う。

次に、システムコントローラ１２０は、ライビュー動作を実行する（ステップＳ１０２）。即ち、システムコントローラ１２０は、イメージセンサ１１２の駆動方法をスリットローリングシャッタ読出し方式に切り替え、イメージセンサ１１２から連続的に読み出された画像信号を、Ａ／Ｄコンバータ１１３によりデジタル信号に変換する。更に、システムコントローラ１２０は、画像データコントローラ１１５で画像処理を行い、画像処理後のデジタル信号をＤ／Ａコンバータ１１６によりアナログ信号に変換し、エンコーダ回路１１７によりエンコードを行いＤＲＡＭ１２１に転送する。更に、システムコントローラ１２０は、外部液晶表示部１２４に画像を順次表示する。

ここで、ライブビュー動作中のイメージセンサ１１２の駆動方式について図８及び図９を用いて簡単に説明する。ライブビュー機能を実現する場合は、連続的にイメージセンサ１１２から画素信号を読出す必要がある。ＣＭＯＳ方式の撮像素子では、ＣＣＤ方式の撮像素子のような画素信号の一括転送及び一括読出しができないため、一般的にローリングシャッタ読出し方式が使用されている。

図８に示すローリングシャッタ読出し方式は、ＶＤのタイミングで水平ライン毎に、画像領域の上部のラインから順次、イメージセンサ１１２のフォトダイオード（以下ＰＤ）に蓄積された画素信号が読み出され、画素リセットが行われる。即ち、ＶＤのタイミングで画素リセットをかける。そのため、１枚（１フレーム）の画像において、ライン毎に蓄積から読出しまでで時差があり、この時差は１ラインの読出し速度と読出す垂直ライン数により制限を受ける。また、蓄積時間に関しても同様に１枚の画像を読出す時間に制限を受けてしまう。

図９に示すスリットローリングシャッタ駆動方式では、任意のタイミングで画素リセットライン（スリット）に従って画素リセットをかけていき、ＰＤに蓄積された電荷をリセットすることで蓄積時間を変更することが可能である。即ち、ＶＤのタイミングとは異なるタイミングで画素リセットをかける。また、スリットローリングシャッタ駆動方式では、自動露出制御機能と合わせて、蓄積時間を調節することで撮像素子から所望の露光量に調節された画素信号を得ることが可能である。なお、図９のＲｅｓで示すラインはリセットラインである。

また、ライブビュー動作のようにフレームレートにより読出し時間の制約を受ける場合は、全画面領域に対して一部の領域のみの読出しを行うか、水平方向及び垂直方向に画素間引きを行い高速に画素信号を読出す必要がある。

上記ステップ１０２のライブビュー動作では、読出された画素信号を基に第２の測光部（システムコントローラ１２０、画像データコントローラ１１５）により測光を行う。また、自動露出制御機能により、絞り及び蓄積時間を制御すると共にゲイン回路に対するゲインの設定を行い、露出を調節する。また、同時に、ストロボ装置３００を発光させるかどうかを自動的に判定するストロボ自動発光判定を行う。

撮影者によりレリーズＳＷ１が押されるとステップＳ１０３に移行する。システムコントローラ１２０は、コントラスト検出回路１４０の出力結果を基にレンズ制御回路２０４と通信を行い、焦点状態を調節する（ステップＳ１０３）。焦点状態の調節が終了するとステップＳ１０４に移行する。

システムコントローラ１２０は、ライブビュー動作中と同様に、イメージセンサ１１２から読出された画像信号を基に測光を行い、撮影用Ｂｖ値を算出する（ステップＳ１０４）。ここで、Ｂｖ値は輝度レベルを表す指標であり、Ｂｖ＝Ｔｖ＋Ａｖ−Ｓｖで表すことができる。Ｔｖはシャッタ速度（蓄積時間に相当する）、Ａｖは絞り込み量、ＳｖはＩＳＯ感度等のゲインレベルを表している。測光が終了するとステップＳ１０５に移行する。

システムコントローラ１２０は、レリーズＳＷ１がＯＮの期間中、撮影用Ｂｖ値をシステムコントローラ１２０で保持し、ライブビュー動作を行う（ステップＳ１０５）。また、システムコントローラ１２０は、測光及びストロボ自動発光判定を継続して行う。撮影者によりレリーズＳＷ１がＯＦＦされると、システムコントローラ１２０は、保持していた撮影用Ｂｖ値を破棄してステップＳ１０２に移行する。

撮影者によりレリーズＳＷ２が押されると、システムコントローラ１２０は、撮影者により設定可能なストロボ発光条件（強制発光、自動発光、発光禁止）及び自動発光判定結果を基に、ストロボ撮影を行うか否かを判定する（ステップＳ１０６）。ストロボ撮影が必要と判断した場合、システムコントローラ１２０は、ストロボ調光制御を行う（ステップＳ１０７）。ストロボ調光制御については図７で後述する。他方、ストロボ撮影が不要と判断した場合、システムコントローラ１２０は、ステップＳ１０４で算出した撮影用Ｂｖ値を保持したままステップＳ１０８に移行に移行する。

図７において、システムコントローラ１２０は、調光時の露出制御設定を行う（ステップＳ２０１）。まず、システムコントローラ１２０は、ステップＳ１０５で求めた最新の測光結果を基に、所定の絞りと蓄積時間の設定を行う。また、システムコントローラ１２０は、イメージセンサ１１２の第１のゲイン回路設定をＩＳＯ１００相当に設定し、第２のゲイン回路設定を第１のゲイン回路設定とは異なる値（例えばＩＳＯ３２００）に設定する。

これにより、図１０に示すように、イメージセンサ１１２から第１の信号出力と第２の信号出力を得ることが可能になる。第１の信号出力と第２の信号出力については、同じタイミングで露光、蓄積、読出しが行われるため、第１及び第２のゲイン回路設定の差分だけシフトした露出レベルの信号出力となる。調光時の露出制御設定が終了するとステップＳ２０２に移行する。

システムコントローラ１２０は、ステップＳ２０１で設定した露出条件で定常光を測光する定常光測光を行う（ステップＳ２０２）。更に、システムコントローラ１２０は、第１の信号出力から得られる第１の定常光信号出力Ｅ１ａと、第２の信号出力から得られる第２の定常光信号出力Ｅ２ａをＥＥＰＲＯＭ１２２に記憶する。定常光測光が終了するとステップＳ２０３に移行する。

ここで、上記定常光測光においては、イメージセンサ１１２に対する定常光による画素信号の蓄積に際してゲイン回路を調節し、イメージセンサ１１２から得られる異なるゲインの複数種類の画素信号の少なくとも１つを利用して定常光の測光を行う。

システムコントローラ１２０は、ステップＳ２０１で設定した露出条件のもとで所定の発光量で撮影前に実施する予備発光を行い、予備発光に伴う被写体からの反射光（ミックス光）を測光する予備発光測光を行う（ステップＳ２０３）。この結果、システムコントローラ１２０は、第１の信号出力から得られる第１の予備発光信号出力Ｅ１ｂと、第２の信号出力から得られる第２の予備発光信号出力Ｅ２ｂとを得ることができる。予備発光測光が終了するとステップＳ２０４に移行する。

ここで、上記予備発光測光においては、イメージセンサ１１２に対する予備発光による画素信号の蓄積に際してゲイン回路を調節し、イメージセンサ１１２から得られる異なるゲインの複数種類の画素信号の少なくとも１つを利用して測光を行う。

また、上記定常光におけるイメージセンサ１１２に対する画素信号の蓄積と上記予備発光におけるイメージセンサ１１２に対する画素信号の蓄積の際の、ゲイン回路に対するゲインの設定が同じである。

システムコントローラ１２０は、ステップＳ２０２及びステップＳ２０３の信号出力結果を用いて、ストロボ装置３００の発光に伴う被写体からの反射光量を求め、本撮影時に必要な発光量を計算する（ステップＳ２０４）。被写体からの反射光量は以下のように算出することが可能である。即ち、ステップＳ２０３で得た第１、第２の予備発光信号出力（Ｅ１ｂ，Ｅ２ｂ）と、ステップＳ２０２で得た第１、第２の定常光信号出力（Ｅ１ａ，Ｅ２ａ）との差分を各々求めることで、第１の反射光量Ｒ１と第２の反射光量Ｒ２を算出することが可能である。

Ｒ１＝Ｅ１ｂ−Ｅ１ａ
Ｒ２＝Ｅ２ｂ−Ｅ２ａ
また、発光量は、第１、第２の反射光量結果Ｒ１、Ｒ２、及び、ステップＳ１０５で求めた測光結果から算出した撮影時のシャッタ速度、絞り、ＩＳＯ感度等の露出パラメータを基に計算する。なお、マニュアル露出時は別である。

次に、上記ストロボ調光制御により調光可能なダイナミックレンジについて説明する。調光可能な距離は、測光に用いる撮像素子のダイナミックレンジを仮に±３段とし、定常光の影響が十分に無視できるとしたならば、ステップＳ２０１で適切に露光条件が設定された場合、以下のように算出することが可能である。

即ち、図１１に示すように、第１の反射光量結果Ｒ１により、約０．７１ｍから５．６６ｍにある反射率１８％の反射板の距離を算出することが可能となる。また、第２の反射光量結果Ｒ２により、約４．００ｍから３２ｍにある反射率１８％の反射板の距離を算出することが可能となる。つまり、第１の反射光量結果Ｒ１と第２の反射光量結果Ｒ２は５段分シフトした結果となる。１度の予備発光の蓄積と読出しにより、第１の信号出力と第２の信号出力を得ることで、測光可能な距離レンジを５段分拡大させることが可能となる。

また、外光輝度とストロボ反射光（露光条件）の関係を図１２に示す。定常光が低輝度の場合は、外光の影響は小さくなるためストロボの反射光が支配的となり、絞りを開放として蓄積時間を制御することで所望のストロボ反射光を得ることが可能である。しかし、定常光が高輝度の場合は、蓄積時間が高速側の制御限界に突き当たり（到達し）、外光の除去ができなくなってしまう。

外光の除去ができなくなった場合は、絞りを駆動して露光条件を制御する必要があるが、絞りを駆動することによりストロボ成分の反射光までもが減少してしまう。そのため、予備発光時の発光量を増加させる以外に所望の反射光量を得ることができなくなってしまう。また、予備発光時の発光量を増加させることは、本撮影時のストロボ発光のためのチャージ時間を増大させてしまうため問題がある。つまり、外光を除去するためには、蓄積時間をできるだけ短くして外光を除去し、ストロボの反射光を効率よく得ることが必要である。

次に、ライブビュー動作のためにイメージセンサ１１２をスリットローリングシャッタ駆動させている場合のストロボ発光時における最小蓄積時間について、図１３乃至図１６を用いて説明する。

図１３は、スリットローリングシャッタ駆動における間引きと蓄積時間の関係を示す図である。水平方向及び垂直方向に画素間引きを行わずに、３０ｆｐｓ（ｆｒａｍｅｓｐｅｒｓｅｃｏｎｄ）の周期で撮像素子から画素信号の読出しを行っている場合のストロボ発光時における最小蓄積時間を示している。ストロボの予備発光は、測光領域を画像全域とした場合、画像全域に対して均一な量のストロボ光があたるようにする必要がある。そのため、画像全域の露光時間（画像領域の読出し時間＋蓄積時間）の間フラット発光を行うか、画像全域が露光している全開区間に発光を行う必要がある。

前者（画像全域の露光時間の間フラット発光を行う）場合は、予備発光の時に大量のエネルギーが必要であり現実的でない。そのため、後者の全開区間発光を行うことになるが、その場合、最低、予備発光時間と制御誤差分の時間だけ画像全域が露光している全開区間を確保する必要がある。その結果、スリットローリング機能により走らせるリセットラインに制限が生まれてしまい、蓄積時間の高速側の限界が悪化し、高輝度の場合は定常光で飽和を招いてしまい調光ができなくなってしまう。

上記の問題は、撮像素子からの読出し時間の高速化を行うことで軽減することが可能である。図１４は、撮像素子からの読出方法が「水平方向間引なし、垂直方向１／３間引き」の場合のストロボ発光時における最小蓄積時間を示している。また、図１５は、「水平１／２間引き、垂直間引きなし」の場合の最小蓄積時間を示している。また、図１６は、「水平１／２間引き、垂直方向１／３間引き」の場合の最小蓄積時間を示している。

図１４乃至図１６から、一定の読出し周期において、水平方向及び垂直方向に間引き読出しを行い読出し時間を高速にすることで、最小蓄積時間の限界を高速側に向上させることが可能であることが分かる。

図７のステップＳ２０１〜ステップＳ２０４のストロボ調光制御により、本撮影時の露出条件とストロボ発光量が決定し、メイン撮影シーケンスの図６のステップＳ１０８に移行する。

図６において、ストロボ撮影をしない場合は、システムコントローラ１２０は、ステップＳ１０４で求めた撮影Ｂｖ値、ユーザにより設定された撮影モード、及び撮影パラメータを基にデジタルカメラの露出条件の設定を行う。また、ストロボ撮影を行う場合は、システムコントローラ１２０は、ステップＳ１０７のストロボ調光制御結果を基にデジタルカメラの露出条件とストロボの発光量の設定を行う（ステップＳ１０８）。設定が終了するとステップＳ１０９に移行する。なお、ここでは、第１のゲイン回路設定と第２のゲイン回路設定は同じ値に制御される。

システムコントローラ１２０は、開かれているフォーカルプレーンシャッタ１０８を一旦閉じてバネチャージを行い、設定されたＴｖ値で先幕及び後幕を駆動する。更に、システムコントローラ１２０は、イメージセンサ１１２から画素を間引かずに順次読出す通常の撮影動作（静止画撮影）を行う（ステップＳ１０９）。

その後、システムコントローラ１２０は、イメージセンサ１１２から読出された画像信号を画像データコントローラ１１５により画像補正処理を行い、画像圧縮回路１１９によりＪＰＥＧ圧縮等の画像変換を行った後、記録媒体４０１に画像を記録する。また、システムコントローラ１２０は、イメージセンサ１１２から読出しが終了すると、ミラーアップ及びシャッタ幕を開いた状態で保持し、ステップＳ１０２に戻りライビュー動作を再開する。

なお、本実施の形態では、簡略化のために２種類のゲイン設定を行う例を示したが、ゲインの種類の数はこれに限定されるものではない。また、間引き数に関しても限定されるものではない。

以上説明したように、本実施の形態によれば、上記のストロボ調光制御により、１回の予備発光による被写体からの反射光を基に調光可能なダイナミックレンジの拡大を行うことが可能となる。また、間引き読出しを併用することで、高輝度における調光についても高輝度限界を改善することが可能となる。また、定常光測光を行う場合においても、複数種類のゲインが掛けられた出力信号を得ることで、測光のダイナミックレンジを拡大させることが可能となる。

［他の実施の形態］
また、本発明の目的は、以下の処理を実行することにより達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理により前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理により実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

１画素配列
２画素読出し部（画素読出手段）
３行選択部
４列選択部
５ゲイン回路（増幅手段）
６ゲイン選択部（利得設定手段）
１００カメラ本体（撮像装置）
１０７測光回路（測光手段）
１１２イメージセンサ（撮像素子）
１２０システムコントローラ（測光手段）
３００ストロボ装置（発光手段）

Claims

各々が光電変換素子を含み、水平方向及び垂直方向に配置された複数の画素から構成される画素配列と、前記画素配列から複数色の画素信号を読出す画素読出手段と、少なくとも２つの異なる第１の利得および第２の利得の設定が可能で、前記画素読出手段により前記画素配列から読出された前記複数色の画素信号を増幅して出力する増幅手段とを備えた撮像素子と、
前記撮像素子から出力される複数色の画素信号に基づいて被写体からの反射光を測光する測光手段と、
前記測光手段による測光結果または撮影者による設定に基づいて、前記被写体に対して光を照射する発光手段を発光させて前記撮像素子による前記被写体の撮像を行うか否かを判定する判定手段と、
前記判定手段により前記発光手段を発光させて前記被写体の撮像を行うと判定された場合に、前記画素配列の規定の周期の行毎又は列毎に前記第１の利得および前記第２の利得を前記増幅手段に設定し、前記発光手段を発光させずに定常光で前記撮像素子による前記被写体の撮像を行い、前記画素配列から読出される前記複数色の全色の画素信号を前記増幅手段により前記第１の利得および前記第２の利得で増幅することで第１の定常光信号出力および第２の定常光信号出力を取得するように制御する制御手段と、
前記第１の定常光信号出力および前記第２の定常光信号出力と前記測光手段による測光結果から算出した露出パラメータとに基づいて、前記発光手段の発光量を決定する発光量決定手段と、
を備えることを特徴とする撮像装置。
前記画素読出手段は、前記画素配列に対して水平方向又は垂直方向に規定の周期で画素間引きを行って画素信号を読出すことが可能であることを特徴とする請求項１に記載の撮像装置。
前記制御手段は、さらに、前記発光手段を予備発光させて前記撮像素子により前記被写体の撮像を行い、前記画素配列から読出される前記複数色の全色の画素信号を前記増幅手段により前記第１の利得および前記第２の利得で増幅することで第１の予備発光信号出力および第２の予備発光信号出力を取得するように制御し、
前記発光量決定手段は、前記第１の定常光信号出力および前記第２の定常光信号出力と、前記第１の予備発光信号出力および第２の予備発光信号出力とに基づいて、前記発光手段の発光量を決定することを特徴とする請求項１又は２に記載の撮像装置。
前記制御手段は、前記発光手段を発光させずに定常光で前記撮像素子による前記被写体の撮像を行う際の前記増幅手段に対する利得の設定と、前記発光手段を予備発光させて前記撮像素子による前記被写体の撮像を行う際の前記増幅手段に対する利得の設定が同じになるように制御することを特徴とする請求項３に記載の撮像装置。
前記撮像素子から読出した画素信号に基づく画像を表示手段に逐次表示するライブビュー動作を行うライブビュー機能を有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
撮影者がレリーズ動作を指示する指示手段を備え、前記ライブビュー動作実行中に撮影者により前記指示手段が操作された場合に、前記制御手段が、前記測光手段による測光結果に基づいて前記発光手段の発光量を決定し、決定した発光量で前記発光手段が発光するように制御することを特徴とする請求項５に記載の撮像装置。