JP7064322B2 - 電子機器およびその制御方法、ならびに撮像素子 - Google Patents

Description

本発明は電子機器およびその制御方法、ならびに撮像素子に関する。

複数の光電変換素子が配列され、光学像を電気信号群に変換する撮像素子は、デジタルカメラなどの撮像装置に広く用いられている。従来、ＣＣＤ撮像素子が主流であったが、近年はＣＭＯＳ撮像素子が主流になってきている。

通常、ＣＭＯＳ撮像素子は画素ラインごとに駆動されるため、１画面分の画像を構成する画素ラインのうち、異なる画素ライン間では電荷蓄積期間が異なる。そのため、メカニカルシャッタを使用しない撮影モードでフラッシュ光のような照射時間の短い補助光を用いた撮影を行う場合に、補助光の照射期間が電荷蓄積期間から外れる画素ラインが発生することがある（フラッシュバンド現象）。フラッシュバンド現象は、シャッタ速度が速い（電荷蓄積期間が短い）ほど発生しやすい。特許文献１には、他のカメラに装着された補助光源が撮影者の意図しないタイミングで発光されたことに起因するフラッシュバンドの発生を検出し、補正する技術が記載されている。

特開２０１７－１６９０２７号公報

画素ラインごとの電荷蓄積期間のずれを削減すれば、フラッシュバンド現象の発生を抑制することが可能である。ここで、画素ラインごとの電荷蓄積期間のずれは、画素ラインごとの画像信号の読み出し速度を早めることで削減することができる。しかしながら、読み出し速度はデータ転送回路や、読み出した画像データを処理する信号処理回路の処理速度によって制限を受ける。読み出し速度を高めるために転送回路や信号処理回路の処理速度を高めると、回路の規模、消費電力、発熱などが増加する。これらは、コストの上昇や装置の大型化を招くため、望ましくない。

本発明はこのような従来技術の課題に鑑みなされたものであり、撮像動作と連動して発光する補助光源に起因するフラッシュバンド現象の発生を効果的に抑制可能な電子機器およびその制御方法、ならびに撮像素子の提供を目的とする。

上述の目的は、複数の画素と、１フレーム分の画像データを記憶するフレームメモリとを有し、複数の画素から読み出された画像信号に基づく画像データを、フレームメモリに記憶してから外部に出力する第１の経路と、画像データをフレームメモリに記憶せずに外部に出力する第２の経路とを切り替え可能な撮像素子と、補助光源を用いて電子シャッタモードで撮影する際に、予め定められた閾値より速いシャッタ速度が設定されている場合に前記第１の経路を用いて画像データを外部に出力し、閾値より速くないシャッタ速度が設定されている場合に第２の経路を用いて画像データを外部に出力する、ように撮像素子を制御する制御手段と、を有することを特徴とする電子機器によって達成される。

本発明によれば、撮像動作と連動して発光する補助光源に起因するフラッシュバンド現象の発生を効果的に抑制可能な電子機器およびその制御方法、ならびに撮像素子を提供することができる。

本発明の実施形態に係るデジタルカメラの構成例を示す図 本発明の実施形態に係る撮像素子の構造例を示す図 本発明の実施形態に係る画素およびカラムＡＤＣブロックの構成例を示す図 本発明の実施形態に係る撮像素子の外観斜視図および垂直断面図 本発明の実施形態に係る撮像素子の垂直断面図 本発明の第１実施形態の動作に関するフローチャート 本発明の第２実施形態に関するタイムチャート

以下、本発明の例示的な実施形態について、添付図面を用いて詳細に説明する。以下の実施形態においては、本発明に係る撮像素子を適用可能な電子機器の一例としてのデジタルカメラに関して説明する。しかしながら、本発明は固体撮像素子を用いる任意の電子機器に適用可能である。このような電子機器にはデジタルカメラをはじめ、パーソナルコンピュータ、タブレットコンピュータ、携帯電話機、スマートフォン、ＰＤＡ、ゲーム機、ドライブレコーダ、ロボットなどが含まれるが、これらに限定されない。また、本発明は以下に説明する実施形態に限定されず、特許請求の範囲に記載された範囲内で種々の変形および変更が可能である。

●（第１実施形態）
図１は、本発明の実施形態に係る撮像素子を適用可能な電子機器の一例としてのデジタルカメラの機能構成例を示すブロック図である。
レンズ部１０１から入射する光束は絞り１０４にて適切な光量に調整され、撮像素子１０６の撮像面に被写体像を形成する。撮像面に形成された被写体像は、撮像素子１０６が有する光電変換素子によって電気信号に変換される。電気信号にはゲイン調整やＡ／Ｄ変換などが行われたのち、画素に設けられたカラーフィルタの色に応じてＲ（赤）、Ｇｒ（緑）、Ｇｂ（緑）、Ｂ（青）のデジタル画像信号として、信号処理回路１０７に送られる。信号処理回路１０７は、受信したデジタル画像信号に対し、ノイズを軽減するローパスフィルタ処理、シェーディング処理、ＷＢ処理などの各種の画像処理、さらに各種の補正処理、データの圧縮処理などを行う。

レンズ部１０１は、レンズ駆動部１０２によって変倍レンズやフォーカスレンズを駆動することにより画角やフォーカス等が調整される。メカニカルシャッタ１０３、絞り１０４はシャッタ・絞り駆動部１０５によって駆動される。制御部１０９は例えば１つ以上のプログラマブルプロセッサ（ＭＰＵ）、プログラムおよび設定値などを記憶する不揮発性メモリ（ＲＯＭ）、ＭＰＵがプログラムを実行するために用いるメモリ（ＲＡＭ）を有する。制御部１０９はＭＰＵがプログラムを実行してデジタルカメラの各部を制御することにより、デジタルカメラの機能を実現する。

第１メモリ部１０８は画像データを一時的に記憶するメモリであり、撮像素子１０６の外部メモリである。媒体インターフェース（Ｉ／Ｆ）部１１０は例えばメモリカードである記録媒体１１２へのデータ書き込みおよび記録媒体からのデータ読み出しを行う。表示部１１１はライブビュー画像、撮影画像、ＧＵＩ、デジタルカメラの各種情報などの表示に用いられる。外部Ｉ／Ｆ部１１３は外部機器（コンピュータ等）との通信インターフェースである。第２メモリ部１１４は制御部１０９が処理結果などを記憶するために用いる。操作部１１５はスイッチ、ボタン、キーなどの入力デバイスであり、ユーザがデジタルカメラに指示を入力するために用いる。制御部１０９は操作部１１５の操作を検出すると、検出した操作に応じた動作を実行する。

補助光源１１６は例えばフラッシュであり、制御部１０９の制御により、電荷蓄積期間中に短時間発光する。制御部１０９は、ＡＥ処理の結果やユーザ設定などに応じて補助光源１１６の発光要否および発光量を決定することができる。なお、補助光源１１６は内蔵タイプであっても外付けタイプであってもよい。また、カメラに直接装着されていなくても、電子機器による撮像動作と連動して（同期して）発光するように構成されているものでもよく、さらに、複数の補助光源１１６が接続されていてもよい。

図２は撮像素子１０６の構成例を示すブロック図である。
撮像素子１０６は第１の集積回路としての第１の半導体チップ２０（撮像層）および第２の集積回路としての第２の半導体チップ２１（回路層）を有し、第２の半導体チップ２１上に第１の半導体チップ２０が積層された構造を有する。第１の半導体チップ２０はマトリックス状に配列された複数の画素２０１を有し、画素２０１に光が入射するように配置されている（つまり、撮像面を有している）。

画素２０１は水平方向（行方向）において転送信号線２０３、リセット信号線２０４、および行選択信号線２０５に接続され、垂直方向（列方向）において垂直出力線２０２に接続されている。なお、垂直出力線２０２の各々は読み出し行単位で接続先が異なる。

第２の半導体チップ２１は、カラムＡＤＣブロック２１１と、行走査回路２１２、列走査回路２１３、タイミング制御回路２１４等の画素駆動回路とを有する。第２の半導体チップはさらに、第１切り替えスイッチ２１６、第２切替スイッチ２１７は、フレームメモリ２１８、Ｐ／Ｓ変換部２１９を有する。カラムＡＤＣブロック２１１は、画素２０１から読み出された画像信号をＡ／Ｄ変換し、画像データとして出力する。

第１の半導体チップ２０に画素２０１を形成し、第２の半導体チップ２１に周辺回路を統合することで、撮像素子１０６の撮像層と回路層とで製造プロセスを異ならせることができる。そのため、例えば回路層を撮像層より細かいプロセスルールで製造することにより、配線の細線化および高密度化による、高速化、小型化、および高機能化（例えばフレームメモリ２１８の大容量化）を図ることができる。なお、周辺回路とは、画素の駆動回路、読み出し回路、内部メモリ回路、演算回路、ＡＤコンバータ、Ｓ／Ｐ変換回路などであってよいが、これらに限定されない。

第１切り替えスイッチ２１６は、チャンネルごとの水平信号線２１５－ａ、水平信号線２１５－ｂから出力される画像データを第２切替スイッチ２１７に順次、選択的に出力するためのスイッチである。第１切り替えスイッチ２１６の動作はタイミング制御回路２１４もしくは制御部１０９が制御する。

フレームメモリ２１８は、撮影によって得られた画像データを一時的に記憶する。画素２０１からカラムＡＤＣブロック２１１を通じて読み出した画像データをフレームメモリ２１８に一時的に記憶する場合、読み出し速度は転送回路や信号処理回路１０７の処理能力の制約を受けない。そのため、転送回路や信号処理回路の処理能力によって決まる読み出し速度の上限を超える速度で画像データを読み出すことが可能になり、画像データの読み出し時間を短縮することができる。その結果、画素ラインごとの蓄積期間のずれを削減し、フラッシュバンド現象の発生を抑制することができる。なお、フレームメモリ２１８を用いる場合、フレームメモリ２１８から信号処理回路１０７へは従前通り転送回路や信号処理回路１０７の処理能力に応じた速度で画像データを供給する。

第２切替スイッチ２１７は、第１切替スイッチ２１６から供給される画像データの出力先を、制御部１０９の制御に従って、フレームメモリ２１８かＰ／Ｓ変換部２１９の一方に切り替える。第２切替スイッチ２１７は、画像データをフレームメモリ２１８に一時記憶することなしにＰ／Ｓ変換部２１９に直接供給するか、フレームメモリ２１８に一時記憶してからＰ／Ｓ変換部２１９に供給するかを切り替える。換言すれば、第２切替スイッチ２１７は、画像データをフレームメモリ２１８に一時記憶することなしに外部に出力する第１の経路と、画像データをフレームメモリ２１８に一時記憶してから外部に出力する第２の経路とを切り替える。このように、撮像素子１０６は読み出した画像信号を出力するための第１の経路と第２の経路とを切り替え可能に構成されている。

後述するように、本実施形態では、撮影に用いるシャッタの種類、補助光源１１６の使用有無、シャッタ速度などに応じて、画像データをフレームメモリ２１８に一時記憶するか否かを制御部１０９が決定する。そして、制御部１０９は、決定にしたがって第２切替スイッチ２１７の出力先を制御する。なお、図２では第１および第２切替スイッチ２１６および２１７を便宜上メカニカルスイッチのように記載しているが、実際には論理回路などから構成される、機械的可動部を有さないスイッチで構成することができる。

また、撮像素子１０６の動作は制御部１０９がタイミング制御回路２１４を通じて制御する。例えば、画像信号を読み出し、Ａ／Ｄ変換を行い、画像データをフレームメモリ２１８に記憶する一連の処理のデータレートの変更は、制御部１０９がタイミング制御回路２１４の動作を変更することによって実現することができる。本実施形態において制御部１０９は、画像データをフレームメモリ２１８に一時記憶する場合は、一時記憶させない場合よりも画像信号の読み出しおよびフレームメモリ２１８への一時記憶までの処理を速く実行するよう、タイミング制御回路２１４を制御する。
Ｐ／Ｓ変換部２１９は画像データをシリアルデータに変換して信号処理回路１０７に出力する。

図３（ａ）は撮像素子１０６の画素２０１の構成例を示す回路図、図３（ｂ）はカラムＡＤＣブロック２１１の機能構成例を示す図である。なお、ここではＮチャネルのＭＯＳトランジスタを用いて画素２０１を構成した例を示している。

画素２０１において、フォトダイオード（ＰＤ）３０１は光電変換素子であり、受光量に応じた電荷（ここでは電子）を発生する。ＰＤ３０１のカソードは、転送トランジスタ３０２を介して増幅トランジスタ３０４のゲートに接続されている。増幅トランジスタ３０４のゲートに接続したノードは、電荷を電圧に変換するフローティングディフュージョン（ＦＤ）部３０６を構成する。

転送トランジスタ３０２は、ＰＤ３０１のカソードとＦＤ部３０６との間に接続され、ゲートに転送信号線２０３を介して転送パルスφＴＲＧが与えられることによってオンとなり、ＰＤ３０１で発生した信号電荷をＦＤ部３０６に転送する。

リセットトランジスタ３０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部３０６にそれぞれ接続され、ゲートにリセット信号線２０４を介してリセットパルスφＲＳＴが与えられることによってオンとなる。ＰＤ３０１からＦＤ部３０６への信号電荷の転送に先立ってリセットトランジスタ３０３をオンすることで、ＦＤ部３０６を電源電位Ｖｄｄでリセットする。

増幅トランジスタ３０４は、ゲートがＦＤ部３０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続され、リセットトランジスタ３０３によってリセットした後のＦＤ部３０６の電位をリセットレベルとして出力する。また増幅トランジスタ３０４は、転送トランジスタ３０２によって信号電荷を転送した後のＦＤ部３０６の電位を信号レベルとして出力する。

選択トランジスタ３０５は、例えば、ドレインが増幅トランジスタ３０４のソースに、ソースが垂直出力線２０２にそれぞれ接続され、ゲートに行選択信号線２０５を介して選択パルスφＳＥＬが与えられることによってオンとなる。選択トランジスタ３０５はオンすると、増幅トランジスタ３０４が出力する信号（信号レベル）を垂直出力線２０２に中継する。

選択トランジスタ３０５は、画素電源Ｖｄｄと増幅トランジスタ３０４のドレインとの間に接続してもよい。また、図３（ａ）に示した構成は一例であって、例えば増幅トランジスタ３０４と選択トランジスタ３０５を１つのトランジスタが兼ねる構成など、他の構成であってもよい。

選択された画素２０１から垂直出力線２０２を介して出力される信号は、カラムＡＤＣブロック２１１に転送される。カラムＡＤＣブロック２１１は比較器３１１、アップダウンカウンタ３１２、メモリ３１３、Ｄ／Ａコンバータ（ＤＡＣ）３１４を有する。

比較器３１１は一対の入力端子の一方に垂直出力線２０２が接続され、他方にＤＡＣ３１４の出力が接続される。ＤＡＣ３１４は、タイミング制御回路２１４から入力される基準信号に基づいてレベルが線形増加もしくは減少するランプ信号を出力する。そして比較器３１１は、ＤＡＣ３１４から入力されるランプ信号のレベルと、垂直出力線２０２から入力される画像信号のレベルとを比較する。なお、タイミング制御回路２１４は制御部１０９の制御に従ってＤＡＣ３１４へ基準信号を出力する。

比較器３１１は例えば、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの信号を出力する。
アップダウンカウンタ３１２は、比較器３１１に接続され、比較を開始してから比較器３１１の出力が変化するまでの期間の長さをカウントし、そのカウント値（デジタル値）をメモリ３１３に出力する。メモリ３１３に出力されるカウント値は、垂直出力線２０２から入力される画像信号に対応するデジタル値である。

その後、メモリ３１３に記憶された画像信号（デジタル値）は、列走査回路２１３からの信号に同期して水平信号線２１５－ａまたは水平信号線２１５－ｂを通じて第１切替スイッチ２１６を介してフレームメモリ２１８に転送される。

図４（ａ）は撮像素子１０６の外観を模式的に示す斜視図、図４（ｂ）は撮像素子１０６の断面図をそれぞれ示している。
撮像素子１０６を構成する第１の半導体チップ（撮像層）および第２の半導体チップ（回路層）は、それぞれのマイクロパッド４０２、４０３を電気的および機械的に接続するマイクロバンプ４０１により一体化されている。

図５は、撮像素子１０６の断面構造の詳細を模式的に示す図であり、図４と共通する構成については同じ参照数字を付している。なお、図５は図４と上下関係が逆転している転に留意されたい。

第１の半導体チップ２０は、Ｓｉ基板５０３上に配線層５０４が形成された構成を有する。
Ｓｉ基板５０３の光照射面側には、ＰＤ３０１としてのｎ型拡散領域５０７が形成されている。また、Ｓｉ基板５０３の表面部（配線層５０４との境界部）には、ＰＤ３０１のｐ＋拡散領域５０８、ＦＤ部３０６のｎ＋拡散領域５０９、トランジスタ３０２～３０５のｎ＋拡散領域５１０が複数形成されている。

配線層５０４には、ＳｉＯ２などからなる絶縁層内に、トランジスタ３０２～３０５のゲート配線５１１、信号伝搬用配線５１２が形成され、さらに表面部（第２の半導体チップ２１と対向する面）にはＣｕなどからなるマイクロパッド４０２が形成されている。
ｎ＋拡散領域５０９、ｎ＋拡散領域５１０、およびトランジスタのゲート配線５１１から転送トランジスタ３０２、リセットトランジスタ３０３、増幅トランジスタ３０４、選択トランジスタ３０５が構成される。
さらに、配線層５０４には、ｎ＋拡散領域５１０をマイクロパッド４０２と接続するためのビア５１４が形成されている。

第２の半導体チップ２１は、Ｓｉ基板５０５上に配線層５０６が形成された構成を有する。
Ｓｉ基板５０５の表面部（配線層５０６との境界部）には、トランジスタの拡散領域５１６が複数形成される。
配線層５０６には、ＳｉＯ２などからなる絶縁層内に、トランジスタのゲート配線５１７、信号伝搬用配線５１８が形成される。配線層５０６の表面部（第１の半導体チップ２０と対向する面）にはＣｕなどからなるマイクロパッド４０３が形成されている。
トランジスタの拡散領域５１６やトランジスタのゲート配線５１７、信号伝搬用配線５１８などから各種回路が構成される。また、配線層５０６には、拡散領域５１６等をマイクロパッド４０３と接続するためのビア５２０が形成されている。

マイクロパッド４０２と４０３は、マイクロバンプ４０１により電気的かつ機械的に接続されている。
なお、本実施形態では第１の半導体チップ２０および第２の半導体チップ２１の接続端子としてマイクロバンプを用いる構成例を示したが、マイクロバンプを用いずに第１の半導体チップ２０と第２の半導体チップ２１とを直接接続する構成としてもよい。

このような構成を有する撮像素子１０６の駆動方法に関して、図６に示すフローチャートを用いて説明する。本実施形態では、シャッタ速度が予め定められた閾値より短く（速く）、かつ補助光源を使用する撮影に関しては画像データをフレームメモリに転送することで読み出し時間を短縮し、フラッシュバンド現象の発生を抑制する。

本実施形態のデジタルカメラは、撮影にメカニカルシャッタ１０３を用いる撮影モード（メカシャッタモード）と、メカニカルシャッタ１０３を用いない撮影モード（電子シャッタモード）と有する。制御部１０９は、設定されている撮影モードが例えば静音モードであれば電子シャッターモードとするなど、撮影モードに応じて撮影に用いるシャッタの種類を決定することができる。また、撮影モードとは別に、使用するシャッタの種類をユーザが設定可能であってもよい。

ユーザにより、操作部１１５に含まれる電源ボタンがＯＮされると実行されるものとする。Ｓ６０２で制御部１０９は各種の初期設定処理を実行する。初期設定処理が終了すると制御部１０９は、静止画撮影のスタンバイ状態の動作を実行する。静止画撮影のスタンバイ状態において制御部１０９は、表示部１１１をＥＶＦとして機能させ、操作部１１５の操作を監視する。具体的には、制御部１０９は動画撮影を連続的に実行し、ライブビュー画像を生成して表示部１１１に順次表示するよう、各部を制御する。

Ｓ６０３で制御部１０９は、操作部１１５を通じて撮影開始指示（例えばシャッタボタンの全押し操作）が検出されたか否かを判定し、撮影開始指示が検出されたと判定されればＳ６０４へ処理を進め、判定されなければＳ６０３を繰り返し実行する。なお、Ｓ６０３において撮影開始指示の検出を待機している間に他の指示が検出された場合、制御部１０９は検出された指示に応じた処理を実行する。

例えば、撮影準備指示（例えばシャッタボタンの半押し操作）が検出された場合、制御部１０９は、ＡＥ処理やＡＦ処理を実行することができる。制御部１０９は例えば信号処理回路１０７が生成する評価値やユーザ設定に基づいて、露出条件（補助光源１１６の点灯要否および光量を含む）を決定したり、レンズ駆動部１０２を通じてレンズ部１０１の合焦位置を調整したりすることができる。

Ｓ６０３で撮影開始指示が検出されたと判定された場合、制御部１０９は記録用の静止画の撮影処理を開始する。Ｓ６０４で制御部１０９は、電子シャッターモードで撮影を行うか否かを判定し、電子シャッターモードで撮影すると判定した場合にはＳ６０６へ、判定しない場合にはＳ６０５へ、それぞれ処理を進める。

Ｓ６０５で制御部１０９は、第２切替スイッチ２１７の出力先がＰ／Ｓ変換部２１９となるよう、必要に応じて第２切替スイッチ２１７を切り替え、処理をＳ６１１に進める。これにより、今回の撮影について画素２０１から読み出され、カラムＡＤＣブロック２１１を通じて得られる画像データは、フレームメモリ２１８に一時記憶されずに直接Ｐ／Ｓ変換部２１９に供給される。このように、制御部１０９は、メカニカルシャッタ１０３を用いる撮影に関しては、フレームメモリ２１８を用いないように撮像素子１０６の読み出し動作を制御する。これは、メカニカルシャッタ１０３を用いる場合、全ての画素ラインに共通する蓄積期間内でメカニカルシャッタ１０３を開閉するため、フラッシュバンド現象が生じないためである。

Ｓ６０６で制御部１０９は、撮影時に補助光源１１６を使用するか否か（発光させるか否か）を判定し、使用すると判定した場合にはＳ６０８へ、判定しない場合にはＳ６０５へ、それぞれ処理を進める。つまり、制御部１０９は、補助光源１１６を使用しない撮影に関しては、フレームメモリ２１８を用いないように撮像素子１０６の読み出し動作を制御する。これは、補助光源１１６を使用しなければフラッシュバンド現象が生じないためである。

Ｓ６０８で制御部１０９は、撮影時のシャッタ速度(Tv)が閾値(Thresh)より高い（速い）か否かを判定し、高いと判定した場合にはＳ６１０へ、判定しない場合にはＳ６０５へ、それぞれ処理を進める。ここでは電子シャッタを用いるため、シャッタ速度は蓄積期間の長さに相当する。つまり、制御部１０９は、補助光源１１６を使用する撮影であっても、シャッタ速度が遅い（閾値以下）場合にはフレームメモリ２１８を用いないように撮像素子１０６の読み出し動作を制御する。これは、シャッタ速度が遅ければフラッシュバンド現象が生じないためである。なお、閾値(Thresh)の具体的な値は、撮像素子１０６の動作クロックや画素数、データ転送回路や信号処理回路の処理能力といった装置固有の特性に加え、画像データの読み出し方法などにも依存するため、予め定めておくことができる。複数の閾値を用意し、例えば読み出し方法に応じて異なる閾値を用いるなど、条件に応じて閾値を使い分けてもよい。

Ｓ６１０で制御部１０９は、第２切替スイッチ２１７の出力先がフレームメモリ２１８となるよう、必要に応じて第２切替スイッチ２１７を切り替え、処理をＳ６１１に進める。つまり、制御部１０９は、フレームメモリ２１８を用いずに実現可能な読み出し速度ではフラッシュバンド現象が発生する条件に該当する場合、フレームメモリ２１８を用いるように撮像素子１０６の読み出し動作を制御する。

Ｓ６１１で制御部１０９は、フレームメモリ２１８を用いると決定していればＳ６１２へ、フレームメモリ２１８を使用しないと決定していればＳ６１３へ、それぞれ処理を進める。
なお、制御部１０９は、Ｓ６０４からＳ６１１の処理を、撮像素子１０６の電荷蓄積処理と並行して実行することができる。

Ｓ６１２で制御部１０９は、電荷蓄積期間が終了した画素ラインから順に、画素２０１から画像信号を読み出し、カラムＡＤＣブロック２１１で画像信号を画像データに変換するように撮像素子１０６の動作を制御する。また、制御部１０９は、画像データを、第１および第２切替スイッチ２１６および２１７を通じてフレームメモリ２１８に記憶するように撮像素子１０６の動作を制御する。また、Ｓ６１４で制御部１０９は、フレームメモリ２１８に記憶された画像データを、Ｐ／Ｓ変換部２１９を介して信号処理回路１０７に転送するように撮像素子１０６の動作を制御し、処理をＳ６１５に進める。

制御部１０９は、Ｓ６１２における画像データの記憶動作と、Ｓ６１４における画像データの転送動作とを並行して実行するように撮像素子１０６の動作を制御することができる。制御部１０９は、Ｓ６１４における、フレームメモリ２１８から信号処理回路１０７への画像データの転送は、転送回路や信号処理回路１０７の処理能力に応じた速度（第１のデータレート）で実行するようにタイミング制御回路２１４の動作を制御する。一方、制御部１０９は、Ｓ６１２における、画像信号の読み出し、Ａ／Ｄ変換、画像データのフレームメモリ２１８への記憶という一連の処理を、第１のデータレートよりも速い第２のデータレートで実行するようにタイミング制御回路２１４の動作を制御する。

なお、第２のデータレートは、フラッシュバンド現象が発生しない値として予め定めておくことができる。第２のデータレートは固定値であってもよいし、シャッタ速度と補助光源１１６の発光時間との少なくとも一方に応じて変化する値であってもよい。なお、補助光源の発光期間が、全ての画素ラインに共通する電荷蓄積期間に収まればフラッシュバンド現象は発生しない。つまり、画素ライン間の蓄積期間のずれが小さいほど、フラッシュバンド現象は発生しづらくなる。第２のデータレートが高くなるほど画素ライン間の蓄積期間のずれを小さくすることができるため、高い（速い）シャッタ速度でもフラッシュバンド現象の発生を回避できる。

一方、Ｓ６１３で制御部１０９は、電荷蓄積期間が終了した画素ラインから順に、画素２０１から画像信号を読み出し、カラムＡＤＣブロック２１１で画像信号を画像データに変換するように撮像素子１０６の動作を制御する。そして、制御部１０９は、画像データを、第１および第２切替スイッチ２１６および２１７、およびＰ／Ｓ変換部２１９を通じて信号処理回路１０７に転送するように撮像素子１０６の動作を制御し、処理をＳ６１５に進める。この場合、制御部１０９は、転送回路や信号処理回路の処理能力を超えない第１のデータレートで画像信号の読み出し処理を実行するよう、タイミング制御回路２１４の動作を制御する。フレームメモリ２１８を介さずに画像データを信号処理回路１０７に転送する場合、フレームメモリ２１８を介する場合と比較して、画像信号の読み出しから信号処理回路１０７での処理開始までのタイムラグを短縮できる。

Ｓ６１５で信号処理回路１０７は、画像データに対して所定の画像処理（例えば現像処理、符号化処理など）を実行する。その後、画像データは所定のデータファイルに格納されて記録媒体１１２に記録されたり、外部Ｉ／Ｆ部１１３を通じて外部機器に送信されたりする。

なお、本実施形態では撮影に補助光源を使用する場合、シャッタ速度が閾値より速いか否かを判定する構成について説明した。しかし、補助光源を使用する撮影の場合はシャッタ速度に関係なくフレームメモリ２１８を用いるように構成してもよい。

以上説明したように、本実施形態によれば、補助光源を用いる撮影時に、画素から読み出した画像信号を、撮像素子内に設けたフレームメモリに一時記憶してから撮像素子の外部回路に転送するようにした。そのため、転送回路や外部回路の処理能力を高めなくても高速で画像信号を読み出すことが可能になり、フラッシュバンド現象の発生を効果的に抑制することができる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態も第１実施形態と同様の構成を有するデジタルカメラで実施可能であるため、第１実施形態で説明した事項については説明を省略する。補助光源の発光量を決定するための調光動作において、メカニカルシャッタを用いず、かつ補助光源を用いる撮影を行う場合があるが、本発明はこの調光動作時の撮影にも適用することができる。

調光用の静止画撮影は、撮影開始指示（例えばシャッタボタンの全押し）が検出された際に、記録用の静止画撮影に先立って実行される。調光用の静止画撮影時の撮影条件（補助光源１１６の発光量やシャッタ速度など）は、静止画撮影のスタンバイ状態で撮影している動画のデータについて信号処理回路１０７を用いて得られる被写体輝度情報などによって制御部１０９が決定することができる。以下、調光用の静止画撮影時における補助光源１１６の発光をプリ発光、撮影開始指示によって実行する静止画撮影時における補助光源１１６の発光を本発光と呼ぶ。

図７は本実施形態において、デジタルカメラが静止画撮影のスタンバイ状態で撮影開始指示を検出し、調光用の静止画撮影を行ってから記録用の静止画撮影を実行し、スタンバイ状態に復帰する一連の動作に関するタイミングチャートである。なお、ここでは本撮影はメカシャッタモードであるものとする。

静止画撮影スタンバイ状態（ａ）では、上述したように、動画撮影を行い、表示部１１１にライブビュー画像を表示している。静止画撮影スタンバイ状態において、撮影準備指示が検出されると、制御部１０９はレンズ部１０１のＡＦ処理や露出条件を決定するＡＥ処理を実行する。ＡＥ処理において、被写体輝度の情報やユーザ設定に基づいて制御部１０９は補助光源１１６の発光要否およびプリ発光量を決定する。その後、撮影開始指示が検出されると、デジタルカメラの動作状態は、補助光源１１６の本発光量を決定するための調光用静止画撮影状態（ｂ）に移行する。

調光用静止画撮影状態（ｂ）に移行すると制御部１０９はまず、補助光源１１６をプリ発光させて静止画撮影を実行する。調光用の静止画撮影ではメカニカルシャッタ１０３を用いない。そのため、制御部１０９は、第１実施形態で説明した図６のＳ６０８からの処理を実行する。電子シャッタ速度が閾値より高い（速い）場合、制御部１０９は電荷蓄積期間（１）において、第２のデータレートで画像信号を読み出し、フレームメモリ２１８に記憶するように撮像素子１０６の動作を制御する。（Ｓ６１２）。そして、制御部１０９は、フレームメモリ２１８に記憶された画像データを第１のデータレートで信号処理回路１０７に転送するように撮像素子１０６の動作を制御する（Ｓ６１４、期間（２））。一方、電子シャッタ速度が閾値以下の場合、制御部１０９は期間（２）において第１のデータレートで画像信号を読み出し、フレームメモリ２１８に記憶せずに撮像素子１０６の外部に転送するように撮像素子１０６の動作を制御する（Ｓ６１３）。

画像データの転送が終了すると、信号処理回路１０７が本発光量を決定するための情報（例えば輝度情報）を画像データから生成する（Ｓ６１５）。そして、この情報に基づいて制御部１０９が本発光の量を決定する（期間（３））。なお、期間（１）と（２）、（２）と（３）はオーバーラップしていてもよい。

本発光の量が決定されると、デジタルカメラの動作状態は記録用静止画撮影状態（本撮影状態）（ｃ）に遷移し、制御部１０９は露光（電荷蓄積）を開始する。制御部１０９は先に決定した本発光の量にしたがって電荷蓄積期間中に補助光源１１６を点灯（本発光）させる。

電荷蓄積期間が終了すると制御部１０９はメカニカルシャッタ１０３を閉じて露光を終了し、画像信号の読み出しおよび転送を開始する。画像データの転送が終了すると、デジタルカメラの動作状態はスタンバイ状態（ｄ）に移行し、制御部１０９は再び静止画撮影スタンバイ状態の動作を開始する。

本実施形態によれば、補助光源１１６の調光用の撮影時にも、第１実施形態と同様の効果を実現できる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…レンズ部、１０２…レンズ駆動部、１０６…撮像素子、１０７…信号処理回路、１０８…第１メモリ部、１０９…制御部、１１１…表示部、２１６…第１切替スイッチ、２１７…第２切替スイッチ、２１８…フレームメモリ

Claims (6)

1. 複数の画素と、１フレーム分の画像データを記憶するフレームメモリとを有し、前記複数の画素から読み出された画像信号に基づく画像データを、前記フレームメモリに記憶してから外部に出力する第１の経路と、前記画像データを前記フレームメモリに記憶せずに外部に出力する第２の経路とを切り替え可能な撮像素子と、
   補助光源を用いて電子シャッタモードで撮影する際に、
   予め定められた閾値より速いシャッタ速度が設定されている場合に前記第１の経路を用いて前記画像データを外部に出力し、
   前記閾値より速くないシャッタ速度が設定されている場合に前記第２の経路を用いて前記画像データを外部に出力する、
   ように前記撮像素子を制御する制御手段と、
   を有することを特徴とする電子機器。
2. 前記第２の経路を用いる場合に前記画像データを前記撮像素子の外部に出力する速度が、前記画像データを処理する外部回路の処理能力に依存する速度であることを特徴とする請求項１に記載の電子機器。
3. 前記第１の経路を用いる場合に前記複数の画素から画像信号を読み出し、読み出された画像信号に基づく画像データを前記フレームメモリに記憶するまでの処理速度は、前記複数の画素の全てに共通する電荷蓄積期間に前記補助光源の発光期間が収まるように定められることを特徴とする請求項１または２に記載の電子機器。
4. 前記補助光源を用いる撮影が、前記補助光源の調光のための撮影であることを特徴とする請求項１から３のいずれか１項に記載の電子機器。
5. 複数の画素と、１フレーム分の画像データを記憶するフレームメモリとを有し、前記複数の画素から読み出された画像信号に基づく画像データを、前記フレームメモリに記憶してから外部に出力する第１の経路と、前記フレームメモリに記憶せずに外部に出力する第２の経路とを切り替え可能な撮像素子、を有する電子機器の制御方法であって、
   制御手段が、
   補助光源を用いて電子シャッタモードで撮影する際に、
   予め定められた閾値より速いシャッタ速度が設定されている場合に前記第１の経路を用いて前記画像データを外部に出力し、
   前記閾値より速くないシャッタ速度が設定されている場合に前記第２の経路を用いて前記画像データを外部に出力する、
   ように前記撮像素子を制御する制御工程を有することを特徴とする電子機器の制御方法。
6. 電子機器が有するコンピュータを、請求項５に記載の電子機器の制御方法を実行させるためのプログラム。

Images