JP5919924B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

近年、ＣＭＯＳ型の撮像装置を用いたビデオカメラやデジタルカメラが広く普及している。ＣＭＯＳ型の撮像装置は、複数の画素が二次元行列状に配置された画素アレイを有している。ＣＭＯＳ型の撮像装置のシャッタ方式として、一画面同時にシャッタ動作を行うグローバルシャッタ方式と、選択された行毎にシャッタ動作を行うローリングシャッタ方式とがある。例えば、ローリングシャッタ方式では、露光の開始および信号の読み出しは、１行毎に順番に実施される。また、グローバルシャッタ方式では、露光は、全画素同時に実施され、信号の読み出しは、メカニカルシャッタ等により画素への入射光路を閉じた状態で、１行毎に順番に実施される（例えば、特許文献１）。

特開２００９−２９６４００号公報

ローリングシャッタ方式では、露光および信号の読み出しが１行毎に順番に実施されるため、例えば、逆光時にフラッシュを使用した撮影を実施した場合、最初の方に露光を開始した行と最後の方に露光を開始した行とで画像に輝度差が発生する。また、グローバルシャッタ方式を使用した撮像装置では、メカニカルシャッタ等が必要になり、撮像装置本体の小型化が困難である。

本発明の目的は、メカニカルシャッタを用いずに、フラッシュを使用した撮影の画像の輝度差を低減することである。

撮像装置は、画素信号を生成する複数の画素が２次元状に配置された撮像素子と、発光部を発光させて撮影する第１撮影では撮像素子の一方に配置された画素の画素信号を読み出し、他方に配置される画素に向かって画素信号を読み出し、第１撮影の次に発光部を発光させて撮影する第２撮影では撮像素子の他方に配置された画素から一方に配置された画素に向かって画素信号を読み出す制御部と、第１撮影および第２撮影によりそれぞれ生成された画像データを合成する画像処理部とを備える。
また、撮像装置は、画素信号を生成する複数の画素が２次元状に配置された撮像素子と、発光部を発光させて撮影する第１撮影では撮像素子の一方に配置された画素の画素信号を読み出し、他方に配置される画素に向かって画素信号を読み出し、第１撮影の次に発光部を発光させて撮影する第２撮影では撮像素子の他方に配置された画素から一方に配置された画素に向かって画素信号を読み出し、第２撮影の次に発光部を発光させて撮影する第３撮影では撮像素子の一方に配置された画素から他方に配置された画素に向かって画素信号を読み出す制御部と、第１撮影および第２撮影によりそれぞれ生成された画像データを合成し、第２撮影および第３撮影によりそれぞれ生成された画像データを合成する画像処理部とを備える。

本発明によれば、メカニカルシャッタを用いずに、フラッシュを使用した撮影の画像の輝度差を低減できる。

一実施形態における撮像装置の概要を示す図である。 図１に示した撮像素子の一例を示す図である。 フラッシュ撮影時の撮像素子の動作の一例を示す図である。 図３に示した動作により生成される画像の一例を示す図である。 フラッシュ撮影時の撮像装置の動作の一例を示す図である。 フラッシュを使用しない撮影での撮像素子の動作の一例を示す図である。 図３に示した動作の比較例を示す図である。 別の実施形態における撮像装置の動作の一例を示す図である。

以下、本発明の実施形態を図面を用いて説明する。

図１は、本発明の一実施形態を示している。この実施形態の撮像装置１０は、例えば、ＣＭＯＳ型の撮像装置であり、デジタルカメラに搭載される。例えば、撮像装置１０は、撮影レンズ２０、ＣＭＯＳ型の撮像素子２２、アナログ処理部２４、Ａ／Ｄ変換部２６、制御部２８、画像処理部３０、バッファ部３２、メモリ３４、記憶媒体インターフェース３６、表示部３８、操作部４０および発光部４２を有している。例えば、Ａ／Ｄ変換部２６、制御部２８、画像処理部３０、バッファ部３２、メモリ３４、記憶媒体インターフェース３６および表示部３８は、バスＢＵＳに接続されている。

撮影レンズ２０は、被写体の像を撮像素子２２の受光面に結像する。撮像素子２２は、例えば、ＣＭＯＳイメージセンサーである。撮像素子２２は、撮影レンズ２０を介して入射される被写体の像を電気信号（以下、画素信号とも称する）に変換し、変換した電気信号をアナログ処理部２４に出力する。なお、撮像素子２２は、画素の信号を読み出す際の行の選択順序を切り替え可能に構成されている。例えば、撮像素子２２は、制御部２８から受ける制御信号に基づいて、画素の信号を読み出す際の行の選択順序を切り替える。撮像素子２２の詳細は、図２で説明する。

アナログ処理部２４は、撮像素子２２から受けた画素信号に対してアナログ信号処理を実施するアナログフロントエンド回路である。例えば、アナログ処理部２４は、画素信号のゲインを調整するゲイン制御や画素信号のノイズ成分を低減するための相関二重サンプリング処理等を実施し、アナログ画像データを生成する。そして、アナログ処理部２４は、生成したアナログ画像データをＡ／Ｄ変換部２６に出力する。

Ａ／Ｄ変換部２６は、アナログ処理部２４から受けたアナログ画像データをデジタル画像データに変換することにより、画像のＲＡＷデータを生成する。そして、Ａ／Ｄ変換部２６は、ＲＡＷデータをバッファ部３２に出力する。

制御部２８は、例えば、マイクロプロセッサであり、メモリ３４に記憶されているプログラムに基づいて、撮像装置１０の動作を制御する。例えば、制御部２８は、オートフォーカス制御、露出制御、ホワイトバランス制御、撮像素子２２の制御、画像処理部３０の制御、発光部４２の制御および画像データの記録等を実施する。

例えば、制御部２８は、フラッシュを使用するフラッシュ撮影のときに、読み出し行の選択順序を互いに逆にした第１撮影および第２撮影を撮像素子２２に連続して実施させる。この際、制御部２８は、第１撮影（例えば、１枚目の撮影）および第２撮影（例えば、２枚目の撮影）の各撮影における画素のフラッシュ発光期間が互いに同じになるように撮像素子２２の露光タイミングを制御する。

画像処理部３０は、例えば、フラッシュ撮影が実施されたとき、バッファ部３２に記憶された２枚の画像のＲＡＷデータを合成して、撮影画像（合成画像）のＲＡＷデータを生成する。すなわち、画像処理部３０は、フラッシュ撮影が実施されたとき、連続して撮影された２枚の画像のＲＡＷデータを合成して、撮影画像のＲＡＷデータを生成する。これにより、フラッシュ撮影が実施されたときの撮影画像データが生成される。画像処理部３０は、生成した撮影画像データをバッファ部３２に記憶する。なお、画像処理部３０は、撮影画像データを、記憶媒体インターフェース３６を介して記憶媒体に記憶してもよい。

また、画像処理部３０は、例えば、バッファ部３２に記憶されたＲＡＷデータに対して、色補間処理、ホワイトバランス処理、輪郭補償処理、ガンマ処理、ノイズリダクション処理等の画像処理を実施してもよい。この場合、画像処理部３０は、合成画像のＲＡＷデータをバッファ部３２に記憶する前に、合成画像のＲＡＷデータに対して画像処理を実施してもよい。さらに、画像処理部３０は、画像処理後のデータをＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する圧縮部を有してもよい。すなわち、画像処理部３０は、合成画像に対して圧縮処理を実施してもよい。

バッファ部３２は、例えば、Ａ／Ｄ変換部２６から受けたＲＡＷデータおよび画像処理部３０から受けた撮影画像データを一時的に記憶する。メモリ３４は、例えば、フラッシュメモリ等の不揮発性メモリで形成された内蔵メモリであり、撮像装置１０の動作を制御するためのプログラム等を記憶する。

記憶媒体インターフェース３６は、記憶媒体を接続するためのコネクタを有している。記憶媒体インターフェース３６に記憶媒体が接続されているときに、制御部２８は、記憶媒体に対してデータの読み出し／書き込みを実行する。例えば、制御部２８は、バッファ部３２に記憶された撮影画像データ等を記憶媒体に記憶する。

表示部３８は、例えば、液晶ディスプレイであり、スルー画像、撮影された画像およびメニュー画面等を表示する。操作部４０は、レリーズボタンおよびその他の各種スイッチを有し、撮像装置１０を動作させるために、ユーザにより操作される。発光部４２は、制御部２８により制御され、被写体に向けてフラッシュを発光するために、撮像装置１０に接続されたフラッシュ等を駆動する。なお、フラッシュは、撮像装置１０に設けられてもよいし、撮像装置１０から脱着可能にしてもよい。例えば、発光部４２は、フラッシュを使用するフラッシュ撮影が実施されるとき、制御部２８の制御に応じて、フラッシュ等を駆動する。

図２は、図１に示した撮像素子２２の一例を示している。撮像素子２２は、例えば、画素アレイＡＲＹ、垂直信号線ＶＬ、行選択部ＬＳＥおよび水平走査回路ＨＳＣを有している。画素アレイＡＲＹは、２次元行列状に配置された複数（ｎ×ｍ個）の画素ＰＸを有している。例えば、画素ＰＸは、入射光を光電変換して電荷を生成する光電変換部を有し、入射光に応じた電気信号を生成する。例えば、列方向に配置された複数の画素ＰＸは、列毎に設けられた垂直信号線ＶＬに接続されている。

行選択部ＬＳＥは、例えば、制御信号ＳＣＮＴおよび垂直同期信号ＶＳＹを図１に示した制御部２８から受け、制御信号ＳＣＮＴおよび垂直同期信号ＶＳＹに基づいて制御信号ＳＥＬ、ＲＳＴ、ＴＸを生成する。なお、制御信号ＳＥＬは、画素ＰＸの信号を垂直信号線ＶＬに出力するための選択信号である。制御信号ＲＳＴは、画素ＰＸ内の光電変換部やフローティングディフュージョン領域をリセットするためのリセット信号である。制御信号ＴＸは、光電変換部の電荷をフローティングディフュージョン領域に転送するための転送信号である。例えば、行選択部ＬＳＥは、フラッシュ撮影が実施されるときには、画素ＰＸのフラッシュ発光期間が互いに同じになるように制御信号ＲＳＴ、ＴＸを生成する。

制御信号ＳＥＬ、ＲＳＴ、ＴＸは、例えば、行毎に生成される。すなわち、行選択部ＬＳＥは、制御信号ＳＥＬ、ＲＳＴ、ＴＸを用いて、画素アレイＡＲＹの画素ＰＸを行毎に制御できる。例えば、高レベルの制御信号ＳＥＬを受けた画素ＰＸの信号が垂直信号線ＶＬに出力される構成では、行選択部ＬＳＥは、制御信号ＳＥＬ（１）を高レベルに維持し、１行目の画素ＰＸの信号を垂直信号線ＶＬに出力する。なお、１行目の画素ＰＸの信号が読み出される期間では、制御信号ＳＥＬ（１）以外の制御信号ＳＥＬは低レベルに維持されている。すなわち、読み出し行以外の行の画素ＰＸを制御する制御信号ＳＥＬは、低レベルに維持されている。

なお、行選択部ＬＳＥは、例えば、制御信号ＳＣＮＴに基づいて、画素ＰＸの信号を読み出す際の行の選択順序を切り替える。例えば、フラッシュ撮影では、読み出し行の選択順序を互いに逆にした第１撮影および第２撮影が連続して実施される。第１撮影が実施されるとき、行選択部ＬＳＥは、例えば、読み出し行を１行目からｎ行目まで順に選択するように、制御信号ＳＥＬを生成する。そして、第２撮影が実施されるとき、行選択部ＬＳＥは、例えば、読み出し行をｎ行目から１行目まで順に選択するように、制御信号ＳＥＬを生成する。

水平走査回路ＨＳＣは、垂直走査回路３０により選択された行の画素ＰＸの信号ＯＵＴＳ、ＯＵＴＮを蓄積し、蓄積した信号ＯＵＴＳ、ＯＵＴＮを列毎に順次出力する。例えば、水平走査回路ＨＳＣは、例えば、制御部２８から受ける水平同期信号ＨＳＹを用いて、各行の信号ＯＵＴＳ、ＯＵＴＮを列毎に順次出力する。ここで、信号ＯＵＴＮは、例えば、画素ＰＸのリセットノイズ成分等を含む固定ノイズ成分を示すノイズ信号である。また、信号ＯＵＴＳは、画素ＰＸのリセットノイズ成分等の固定ノイズ成分と、画素ＰＸ内の光電変換部で生成された電荷に応じた信号成分とを含む画素信号である。

図３は、フラッシュ撮影時の撮像素子２２の動作の一例を示している。なお、図３は、画素アレイＡＲＹの各行の露光期間および信号の読み出し期間を示している。図３の網掛けは、各行における画素ＰＸの読み出し動作の期間（読み出し期間）を示している。

フラッシュ撮影では、少なくとも２回の撮影が実施される。例えば、連続して実施される２回の撮影では、画素ＰＸの信号を読み出す際の行の選択順序（読み出し方向）は、互いに逆に設定される。図３の例では、１回目の撮影は、時刻ｔ０の垂直同期信号ＶＳＹを基準に開始し、２回目の撮影は、時刻ｔ６の垂直同期信号ＶＳＹを基準に開始する。垂直同期信号ＶＳＹの周期は、例えば、フレームレートに応じて決定される。

先ず、時刻ｔ０の垂直同期信号ＶＳＹを基準にして、１回目の撮影が実施される。時刻ｔ１では、撮像素子２２は、画素アレイＡＲＹの全ての行（例えば、１行目からｎ行目）の画素ＰＸの露光を同時に開始する。例えば、撮像素子２２は、全の画素ＰＸを同時にリセットし、全ての画素ＰＸの露光を開始する。そして、全ての画素ＰＸの露光が開始された後の時刻ｔ２に、フラッシュが発光される。これにより、この実施形態では、フラッシュ発光期間ＴＦを、全ての画素ＰＸで同じにできる。例えば、フラッシュ発光期間ＴＦは、時刻ｔ２から時刻ｔ３までの期間である。

時刻ｔ４の垂直同期信号ＶＳＹに同期して、画素ＰＸの信号の読み出し動作（図３の網掛け）が行毎に実施される。１回目の撮影では、読み出し動作は、例えば、１行目から順にｎ行目まで実施される（図３の読み出し方向Ｖ１）。例えば、時刻ｔ４では、撮像素子２２は、１行目の画素ＰＸの信号を垂直信号線ＶＬに出力する。１行目の読み出し動作が終了した後、例えば、撮像素子２２は、２行目の画素ＰＸの信号を垂直信号線ＶＬに出力する。このように、読み出し動作が１行目から順に実施される。そして、時刻ｔ５では、撮像素子２２は、ｎ行目の画素ＰＸの信号を垂直信号線ＶＬに出力する。これにより、１回目の撮影の画像ＩＭＧ１（画像データＩＭＧ１）が読み出される。

１回目の撮影では、例えば、１行目の画素ＰＸの露光時間は、時刻ｔ１から時刻ｔ２までの期間ＴＥ１１である。また、例えば、ｎ行目の画素ＰＸの露光時間は、時刻ｔ１から時刻ｔ５までの期間ＴＥ１ｎである。なお、時刻ｔ４から時刻ｔ５までの読み出し期間ＴＲＤは、１行目の読み出し動作が開始されてからｎ行目の読み出し動作が開始されるまでの時間である。

次に、時刻ｔ６の垂直同期信号ＶＳＹを基準にして、２回目の撮影が実施される。なお、２回目の撮影の読み出し方向Ｖ２は、１回目の撮影の読み出し方向Ｖ１を反転した方向である。例えば、時刻ｔ６までに、撮像素子２２は、制御部２８から受ける制御信号ＳＣＮＴに基づいて、画素ＰＸの信号を読み出す際の行の選択順序を切り替える。なお、読み出し方向の反転は、２回目の撮影の読み出し動作が開始されるまでに実施されればよい。したがって、例えば、撮像素子２２は、時刻ｔ６から時刻ｔ７までの期間に、画素ＰＸの信号を読み出す際の行の選択順序を切り替えてもよい。２回目の撮影は、読み出し方向を除いて、１回目の撮影と同じである。

時刻ｔ７では、撮像素子２２は、画素アレイＡＲＹの全ての行（例えば、１行目からｎ行目）の画素ＰＸの露光を同時に開始する。そして、全ての画素ＰＸの露光が開始された後の時刻ｔ８に、フラッシュが発光される。これにより、この実施形態では、各撮影のフラッシュ発光期間ＴＦを、全ての画素ＰＸで同じにできる。例えば、フラッシュ発光期間ＴＦは、時刻ｔ８から時刻ｔ９までの期間である。なお、２回目の撮影のフラッシュ発光期間ＴＦは、１回目の撮影のフラッシュ発光期間ＴＦと異なる長さでもよい。

時刻ｔ１０の垂直同期信号ＶＳＹに同期して、画素ＰＸの信号の読み出し動作（図３の網掛け）が行毎に実施される。２回目の撮影では、読み出し動作は、例えば、ｎ行目から順に１行目まで実施される（図３の読み出し方向Ｖ２）。例えば、時刻ｔ１０では、撮像素子２２は、ｎ行目の画素ＰＸの信号を垂直信号線ＶＬに出力する。ｎ行目の読み出し動作が終了した後、例えば、撮像素子２２は、（ｎ−１）行目の画素ＰＸの信号を垂直信号線ＶＬに出力する。このように、読み出し動作がｎ行目から順に実施される。そして、時刻ｔ１１では、撮像素子２２は、１行目の画素ＰＸの信号を垂直信号線ＶＬに出力する。これにより、２回目の撮影の画像ＩＭＧ２（画像データＩＭＧ２）が読み出される。

２回目の撮影では、例えば、１行目の画素ＰＸの露光時間は、時刻ｔ７から時刻ｔ１１までの期間ＴＥ２１である。また、例えば、ｎ行目の画素ＰＸの露光時間は、時刻ｔ７から時刻ｔ１０までの期間ＴＥ２ｎである。なお、時刻ｔ１０から時刻ｔ１１までの読み出し期間ＴＲＤは、ｎ行目の読み出し動作が開始されてから１行目の読み出し動作が開始されるまでの時間である。

ここで、各行目の読み出し期間（図３の網掛け）は、１行目からｎ行目までの複数の行で互いに同じである。このため、１回目の撮影の読み出し期間ＴＲＤは、２回目の撮影の読み出し期間ＴＲＤと同じ長さである。また、１回目の撮影の１行目の画素ＰＸの露光時間ＴＥ１１は、２回目の撮影のｎ行目の画素ＰＸの露光時間ＴＥ２ｎと同じ長さである。同様に、１回目の撮影のｎ行目の画素ＰＸの露光時間ＴＥ１ｎは、２回目の撮影の１行目の画素ＰＸの露光時間ＴＥ２１と同じ長さである。

したがって、１回目の撮影の露光時間と２回目の撮影の露光時間との和は、画素アレイＡＲＹの全ての行で同じである。すなわち、例えば、２回の撮影の画像を平均することにより、行毎の露光時間の差が無くなる。この場合、露光時間の差による画像の輝度むらを無くすことができる。例えば、２回の撮影による各行の露光時間は、露光期間ＴＥ１１と露光期間ＴＥ２１との和（ＴＥ１１＋ＴＥ２１）である。ここで、露光期間ＴＥ２１は、露光期間ＴＥ１１（ＴＥ２ｎ）と読み出し期間ＴＲＤとの和である。したがって、２回の撮影による各行の露光時間は、例えば、露光期間ＴＥ１１を２倍した期間と読み出し期間ＴＲＤとの和（２・ＴＥ１１＋ＴＲＤ）である。

ここで、２回の撮影による各行の露光時間は、例えば、露出演算等により算出された適正な露光時間の２倍に設定される。適正な露光時間をＴＥＸとしたとき、露光時間ＴＥＸは、読み出し期間ＴＲＤの半分の期間と露光期間ＴＥ１１との和である（ＴＥＸ＝ＴＥ１１＋（ＴＲＤ／２））。したがって、露光期間ＴＥ１１は、読み出し期間ＴＲＤの半分の期間を露光時間ＴＥＸから減算した期間である（ＴＥ１１＝ＴＥＸ−（ＴＲＤ／２））。このように算出された露光期間ＴＥ１１に基づいて、例えば、露光の開始時刻ｔ１が設定される。

なお、２回の撮影の画像を加算するときには、２回の撮影による各行の露光時間は、例えば、露出演算等により算出された適正な露光時間ＴＥＸに設定される。この場合、露光期間ＴＥ１１は、読み出し期間ＴＲＤを露光時間ＴＥＸから減算した期間の半分である（ＴＥ１１＝（ＴＥＸ−ＴＲＤ）／２）。

図４は、図３に示した動作により生成される画像ＩＭＧ１、ＩＭＧ２、ＩＭＧＳの一例を示している。図４では、画像の輝度を網掛けの濃淡で模式的に示している。例えば、濃い網掛け部分は、薄い網掛け部分より輝度が低いことを示している。画像ＩＭＧ１は、１回目の撮影により生成される画像を示している。画像ＩＭＧ２は、２回目の撮影により生成される画像を示している。画像ＩＭＧＳは、画像ＩＭＧ１と画像ＩＭＧ２とを合成した画像を示している。画像ＩＭＧ１、ＩＭＧ２では、フラッシュ発光期間（図３の期間ＴＦ）が全ての画素で同じであるため、全ての画素がフラッシュの効果を得ることができる。これにより、例えば、図４の人物の全体像は、フラッシュを使用しないときに比べて明るく撮影される。

画像ＩＭＧ１では、１行目から順に信号が読み出されるため、上側の行の画素（例えば、１行目の画素）の露光時間が下側の行の画素（例えば、ｎ行目の画素）の露光時間に比べて短い。このため、上側の行の画素の輝度は、下側の行の画素の輝度に比べて低い。一方、画像ＩＭＧ２では、ｎ行目から順に信号が読み出されるため、下側の行の画素（例えば、ｎ行目の画素）の露光時間が上側の行の画素（例えば、１行目の画素）の露光時間に比べて短い。このため、下側の行の画素の輝度は、上側の行の画素の輝度に比べて低い。

画像ＩＭＧＳは、例えば、画像ＩＭＧ１と画像ＩＭＧ２を平均した画像である。なお、画像ＩＭＧＳは、画像ＩＭＧ１と画像ＩＭＧ２とを加算することにより生成されてもよい。図３で説明したように、２回の撮影の画像を平均することにより、露光時間の差による画像の輝度むらは、無くなる。したがって、画像ＩＭＧＳでは、露光時間の差による画像の輝度むらが無くなる。

また、この実施形態では、フラッシュ発光期間（図３の期間ＴＦ）が全ての画素で同じであるため、画像ＩＭＧＳの人物の全体像は、フラッシュを使用しないときに比べて明るく撮影される。このように、この実施形態では、メカニカルシャッタを用いずに、フラッシュを使用した撮影の画像（例えば、画像ＩＭＧＳ）の輝度差を低減できる。すなわち、この実施形態では、メカニカルシャッタを用いずに、グローバルシャッタ方式での撮影と同様の効果を得ることができる。

図５は、フラッシュ撮影時の撮像装置１０の動作の一例を示している。例えば、ステップＳ１００−Ｓ２１０は、制御部２８の制御により、メモリ３４に記憶されたプログラムに従って実施される。

ステップＳ１００では、制御部２８は、レリーズボタンの状態を検出する。ステップＳ１１０では、制御部２８は、レリーズボタンがオン（ＯＮ）状態か否かを判定する。例えば、制御部２８は、レリーズボタンが押下されているとき、レリーズボタンがオン状態であると判定する。レリーズボタンがオン状態でない場合（ステップＳ１１０のＮｏ）、制御部２８の動作は、ステップＳ１００に移る。一方、レリーズボタンがオン状態の場合（ステップＳ１１０のＹｅｓ）、制御部２８の動作は、ステップＳ１２０に移る。

ステップＳ１２０では、制御部２８は、撮像素子２２を制御して、１枚目の画像の撮影を実施する。なお、１枚目の画像の撮影では、図３に示したように、画素アレイの全ての行の画素の露光は、互いに同じタイミングで開始される。ステップＳ１３０では、１枚目の画像のデータが一時的に保存される。例えば、図１に示したバッファ部３２は、１枚目の画像のデータを一時的に記憶する。

ステップＳ１４０では、制御部２８は、画素の信号を読み出す際の行の選択順序（読み出し方向）を反転させる。例えば、制御部２８は、読み出し方向の反転を指示する制御信号ＳＣＮＴを、撮像素子２２に出力する。これにより、撮像素子２２は、読み出し方向を反転する。

ステップＳ１５０では、制御部２８は、撮像素子２２を制御して、２枚目の画像の撮影を実施する。なお、２枚目の画像の撮影では、１枚目の画像の撮影と同様に、画素アレイの全ての行の画素の露光は、互いに同じタイミングで開始される。ステップＳ１６０では、２枚目の画像のデータが一時的に保存される。例えば、バッファ部３２は、２枚目の画像のデータを一時的に記憶する。

ステップＳ１７０では、制御部２８は、画像処理部３０を制御して、１枚目の画像と２枚目の画像の平均画像を生成する。例えば、画像処理部３０は、１枚目の画像のデータおよび２枚目の画像のデータをバッファ部３２から読み出し、読み出した２枚の画像のデータを平均する。なお、画像処理部３０は、２枚目の画像のデータをＡ／Ｄ変換部２６から受けてもよい。この場合、２枚目の画像のデータを一時的に保存する処理（ステップＳ１６０の処理）は、省かれてもよい。

ステップＳ１８０では、平均画像のデータが保存される。例えば、バッファ部３２は、平均画像のデータを一時的に記憶する。そして、制御部２８は、例えば、バッファ部３２に記憶されている平均画像のデータを記憶媒体に記憶する。なお、保存される平均画像のデータは、ＲＡＷデータでもよいし、画像処理後の画像データでもよい。あるいは、保存される平均画像のデータは、圧縮処理後の画像データでもよい。

ステップＳ１９０では、制御部２８は、読み出し方向を反転させる。例えば、撮像素子２２は、読み出し方向の反転を指示する制御信号ＳＣＮＴに応じて、読み出し方向を反転する。これにより、読み出し方向は、１枚目の画像の撮影のときと同じになる。

ステップＳ２００では、制御部２８は、レリーズボタンの状態を検出する。ステップＳ２１０では、制御部２８は、レリーズボタンがオン状態か否かを判定する。レリーズボタンがオン状態でない場合（ステップＳ２１０のＮｏ）、制御部２８の動作が終了し、撮影が終了する。一方、レリーズボタンがオン状態の場合（ステップＳ２１０のＹｅｓ）、制御部２８の動作は、ステップＳ１２０に移る。このように、撮像装置１０は、レリーズボタンがオン状態の間、ステップＳ１２０−ステップＳ２１０の処理を繰り返す。これにより、フラッシュ撮影時の連写撮影が実施される。

なお、フラッシュ撮影時の撮像装置１０の動作は、この例に限定されない。例えば、ステップＳ１９０の読み出し方向の反転処理は、ステップＳ２１０の処理（ステップＳ２１０のＹｅｓ）からステップＳ１２０の処理に移る途中に実施されてもよい。

図６は、フラッシュを使用しない撮影での撮像素子２２の動作の一例を示している。なお、図６は、連写撮影時の画素アレイＡＲＹの各行の露光期間および信号の読み出し期間を示している。画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、ＩＭＧ４は、連写撮影により生成される画像を示している。また、露光時間ＴＥＸは、露出演算等により算出された適正な露光時間である。図６の網掛けは、各行における画素ＰＸの読み出し動作の期間（読み出し期間）を示している。フラッシュを使用しない撮影では、例えば、撮像素子２２は、ローリングシャッタ方式で撮影する。ローリングシャッタ方式は、画素アレイＡＲＹの画素ＰＸの露光を行毎に順次実施する。

先ず、時刻ｔ０の垂直同期信号ＶＳＹを基準にして、１回目の撮影が実施される。垂直同期信号ＶＳＹの周期は、例えば、フレームレートに応じて決定される。時刻ｔ１では、撮像素子２２は、画素アレイＡＲＹの１行目の画素ＰＸの露光を開始する。露光は、例えば、１行目から順にｎ行目まで実施される（図６の方向Ｖ１）。例えば、１行目の画素ＰＸの露光開始から時間ＴＲ１経過後に、撮像素子２２は、２行目の画素ＰＸの露光を開始する。時間ＴＲ１は、１行の読み出し動作に必要な時間（図６の各行の網掛けに対応する期間）である。そして、時刻ｔ２では、撮像素子２２は、ｎ行目の画素ＰＸの露光を開始する。このように、各行の画素ＰＸの露光は、１行の読み出し動作に必要な時間ＴＲ１毎に、１行目から順に実施される。

時刻ｔ３の垂直同期信号ＶＳＹに同期して、１行目の読み出し動作が実施される。なお、時刻ｔ１は、露光開始から露光時間ＴＥＸ経過後に読み出し動作が実施されるように設定される。したがって、１行目の読み出し動作は、時刻ｔ１から露光時間ＴＥＸ経過後に実施される。なお、読み出し動作は、露光と同じ順序で行毎に実施される。例えば、１行目の読み出し動作が終了した後、２行目の読み出し動作が開始される。時刻ｔ５では、ｎ行目の読み出し動作が開始される。これにより、１回目の撮影の画像ＩＭＧ１（画像データＩＭＧ１）が読み出される。

ここで、画像ＩＭＧ１の全ての行の露光時間ＴＥＸは、各行の画素ＰＸの露光が順次実施されるため、互いに同じである。したがって、画像ＩＭＧ１では、露光時間の差による画像の輝度むらは発生しない。このため、画像ＩＭＧ１は、撮影画像として保存される。連写撮影でない場合は、図６に示した１回目の撮影の終了により、撮影が終了する。

なお、連写撮影における２回目の撮影は、時刻ｔ３の垂直同期信号ＶＳＹを基準にして、実施される。このため、時刻ｔ４では、撮像素子２２は、画素アレイＡＲＹの１行目の画素ＰＸの露光を開始する。時刻ｔ４は、露光開始から露光時間ＴＥＸ経過後に読み出し動作が実施されるように設定される。このため、時刻ｔ４は、時刻ｔ５（１回目の撮影のｎ行目の読み出し動作の開始時刻）より、後に設定されるときもある。２回目以降の撮影の動作は、１回目の撮影の動作と同じである。なお、各撮影における露光および読み出しの順序は、図３に示した方向Ｖ２でもよい。

ここで、例えば、逆光時にフラッシュを使用しないで人物等の被写体を撮影した場合、被写体は、暗く撮影される。すなわち、撮影画像の人物等の被写体は、暗くなる。なお、ローリングシャッタ方式の撮影でフラッシュを使用した場合、図７に示すように、フラッシュ発光期間ＴＦ後に露光される画素ＰＸが発生するおそれがある。

図７は、図３に示した動作の比較例を示している。なお、図７は、ローリングシャッタ方式の撮影でフラッシュを使用したときの画素アレイＡＲＹの各行の露光期間および信号の読み出し期間を示している。図７の画像ＣＩＭＧでは、画像の輝度を網掛けの濃淡で模式的に示している。また、図７では、各行における画素ＰＸの読み出し動作の期間（読み出し期間）を、図６と同様に網掛けで示している。図７の動作は、フラッシュが発光されることを除いて、図６に示した動作と同じである。

例えば、時刻ｔ０の垂直同期信号ＶＳＹを基準にして、撮影が実施される。時刻ｔ１では、撮像素子２２は、画素アレイＡＲＹの１行目の画素ＰＸの露光を開始する。そして、時刻ｔ５に、ｎ行目の読み出し動作が実施される。ｎ行目の読み出し動作の終了により、画像ＣＩＭＧ（画像データＣＩＭＧ）が読み出される。なお、フラッシュは、時刻ｔ１から所定時間経過後に発光される。ローリングシャッタ方式では、各行の画素ＰＸの露光が順次実施されため、一部の行の画素ＰＸは、フラッシュ発光期間ＴＦ後に、露光される。例えば、ｎ行目の画素ＰＸは、フラッシュ発光期間ＴＦ後に、露光される。

このように、ローリングシャッタ方式では、最後の方に露光される行（図７では、下の方の行）では、露光開始前に、フラッシュ発光期間ＴＦが終了する。この場合、最後の方に露光される行（人物等の被写体の一部）は、フラッシュの効果を得ることができない。したがって、画像ＣＩＭＧでは、人物等の被写体の一部（最後の方に露光される行の部分）は、暗くなる。

また、フラッシュ発光後に露光を開始した複数の行では、各行のフラッシュ発光期間（各行に対応する被写体に光が照射されている期間）は、互いに異なる。このため、例えば、画像ＣＩＭＧの人物の顔の領域には、フラッシュ発光期間の差による輝度むらが発生する。これに対し、図３に示した動作では、各行のフラッシュ発光期間は、全ての行（より詳細には、全ての画素）で同じである。このため、この実施形態では、フラッシュ発光期間の差による輝度むらを無くすことができる。

以上、この実施形態では、フラッシュ撮影時の画像は、画素信号の読み出し方向を互いに逆にした２回の撮影により生成される２つの画像を合成することにより、生成される。これにより、この実施形態では、露光時間の差による輝度むらを無くすことができる。さらに、フラッシュ撮影時の撮像素子２２の露光タイミングは、全ての行のフラッシュ発光期間が互いに同じになるように制御される。これにより、この実施形態では、フラッシュ発光期間の差による輝度むらを無くすことができる。この結果、この実施形態では、メカニカルシャッタを用いずに、フラッシュを使用した撮影の画像の輝度差を低減できる。すなわち、この実施形態では、メカニカルシャッタを用いずに、グローバルシャッタ方式での撮影と同様の効果を得ることができる。また、この実施形態では、メカニカルシャッタを用いない分、撮像装置１０を小型化できる。

図８は、別の実施形態における撮像装置１０の動作の一例を示している。なお、図８は、フラッシュ撮影時の撮像装置１０の動作の一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の撮像装置１０では、制御部２８による制御が図１−図６で説明した実施形態と相違する。図８の動作は、図５に示したステップＳ１９０が図５の動作から省かれ、ステップＳ２１０の判定結果（Ｙｅｓ）後に移るステップが図５の動作と相違する。撮像装置１０のその他の構成および動作は、図１−図６で説明した実施形態と同じである。例えば、ステップＳ１００−Ｓ２１０は、制御部２８の制御により、メモリ３４に記憶されたプログラムに従って実施される。

ステップＳ１００−ステップＳ１２０では、レリーズボタンのオン（ＯＮ）状態に応答して、最初の撮影が実施される。そして、ステップＳ１３０において、撮影された画像のデータが一時的に保存される。例えば、バッファ部３２は、ステップＳ１２０で撮影した画像のデータを一時的に記憶する。

ステップＳ１４０では、制御部２８は、撮像素子２２を制御して、読み出し方向を反転させる。ステップＳ１５０では、制御部２８は、撮像素子２２を制御して、撮影を実施する。ステップＳ１６０では、ステップＳ１５０で撮影した画像のデータが一時的に保存される。これにより、画素信号の読み出し方向を互いに逆にした２回の撮影により生成される２枚の画像のデータが、例えば、バッファ部３２に一時的に記憶される。

ステップＳ１７０では、制御部２８は、画像処理部３０を制御して、２枚の画像の平均画像を生成する。例えば、画像処理部３０は、２枚の画像のデータをバッファ部３２から読み出し、読み出した２枚の画像のデータを平均する。

ステップＳ１８０では、平均画像のデータが保存される。例えば、バッファ部３２は、平均画像のデータを一時的に記憶する。そして、制御部２８は、例えば、バッファ部３２に記憶されている平均画像のデータを記憶媒体に記憶する。

ステップＳ２００では、制御部２８は、レリーズボタンの状態を検出する。ステップＳ２１０では、制御部２８は、レリーズボタンがオン状態か否かを判定する。レリーズボタンがオン状態でない場合（ステップＳ２１０のＮｏ）、制御部２８の動作が終了し、撮影が終了する。一方、レリーズボタンがオン状態の場合（ステップＳ２１０のＹｅｓ）、制御部２８の動作は、ステップＳ１４０に移り、ステップＳ１４０以降の処理を繰り返す。

例えば、ステップＳ２１０の判定結果（Ｙｅｓ）後に実施されるステップＳ１４０では、読み出し方向は、再度反転される。これにより、ステップＳ１５０では、前回に実施した撮影の読み出し方向と逆の読み出し方向の撮影が実施される。すなわち、読み出し方向を互いに逆にした撮影（今回のステップＳ１５０の撮影と前回のステップＳ１５０の撮影）が連続して実施される。このように、フラッシュ撮影で連写撮影が実施されるとき、読み出し方向を互いに逆にした撮影が交互に実施される。

そして、ステップＳ１６０では、ステップＳ１５０で撮影した画像のデータが一時的に保存される。これにより、読み出し方向を互いに逆にした撮影（今回のステップＳ１５０の撮影と前回のステップＳ１５０の撮影）の２枚の画像のデータが、例えば、バッファ部３２に一時的に記憶される。したがって、ステップＳ１７０では、例えば、画像処理部３０は、２枚の画像のデータをバッファ部３２から読み出し、読み出した２枚の画像のデータを平均する。

このように、この実施形態では、フラッシュを使用した連写撮影の場合、２回目以降の撮影が実施される度に、２枚の画像を合成して撮影画像を生成する。例えば、画像処理部３０は、図３に示した読み出し方向Ｖ１の撮影および読み出し方向Ｖ２の撮影の順に連続して実施されたときの２つの画像を合成して撮影画像を生成し、読み出し方向Ｖ２の撮影および読み出し方向Ｖ１の撮影の順に連続して実施されたときの２つの画像を合成して撮影画像を生成する。すなわち、画像処理部３０は、例えば、１枚目の画像と２枚目の画像とを合成して撮影画像（連写撮影の１枚目の画像）を生成し、２枚目の画像と３枚目の画像とを合成して撮影画像（連写撮影の２枚目の画像）を生成する。

以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、フラッシュを使用した連写撮影の場合、２回目以降の撮影が実施される度に、２枚の画像を合成して撮影画像を生成する。これにより、この実施形態では、フラッシュを使用した連写撮影のフレームレートを高くできる。

なお、上述した実施形態では、撮像装置１０がデジタルカメラに搭載される例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、撮像装置１０は、カメラ付き携帯電話やデジタルビデオカメラ等の電子機器に搭載されてもよい。この場合にも、上述した実施形態と同様の効果を得ることができる。

上述した実施形態では、フラッシュ撮影でないときにローリングシャッタ方式が用いられる例について述べた。本発明は、かかる実施形態に限定されるものではない。例えば、撮像装置１０は、フラッシュ撮影のときに、全画素ＰＸの露光開始タイミングを合わせた撮影（図３に示した動作の撮影）を実施するかローリングシャッタ方式の撮影を実施するかを選択してもよい。この場合にも、上述した実施形態と同様の効果を得ることができる。

以上、本発明について詳細に説明してきたが、上記の実施形態およびその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。

撮像装置に利用できる。

１０‥撮像装置；２０‥撮影レンズ；２２‥撮像素子；２４‥アナログ処理部；２６‥Ａ／Ｄ変換部；２８‥制御部；３０‥画像処理部；３２‥バッファ部；３４‥メモリ；３６‥記憶媒体インターフェース；３８‥表示部；４０‥操作部；４２‥発光部；ＡＲＹ‥画素アレイ；ＢＵＳ‥バス；ＨＳＣ‥水平走査回路；ＬＳＥ‥行選択部；ＰＸ‥画素；ＶＬ‥垂直信号線

Claims (6)

1. 画素信号を生成する複数の画素が２次元状に配置された撮像素子と、
   発光部を発光させて撮影する第１撮影では前記撮像素子の一方に配置された画素の前記画素信号を読み出し、他方に配置される画素に向かって前記画素信号を読み出し、前記第１撮影の次に前記発光部を発光させて撮影する第２撮影では前記撮像素子の前記他方に配置された画素から前記一方に配置された画素に向かって前記画素信号を読み出す制御部と、
   前記第１撮影および前記第２撮影によりそれぞれ生成された画像データを合成する画像処理部とを備える撮像装置。
2. 前記制御部は、前記第２撮影の次に前記発光部を発光させて撮影する第３撮影では前記撮像素子の前記一方に配置された画素から前記他方に配置された画素に向かって前記画素信号を読み出す請求項１に記載の撮像装置。
3. 画素信号を生成する複数の画素が２次元状に配置された撮像素子と、
   発光部を発光させて撮影する第１撮影では前記撮像素子の一方に配置された画素の前記画素信号を読み出し、他方に配置される画素に向かって前記画素信号を読み出し、前記第１撮影の次に前記発光部を発光させて撮影する第２撮影では前記撮像素子の前記他方に配置された画素から前記一方に配置された画素に向かって前記画素信号を読み出し、前記第２撮影の次に前記発光部を発光させて撮影する第３撮影では前記撮像素子の前記一方に配置された画素から前記他方に配置された画素に向かって前記画素信号を読み出す制御部と、
   前記第１撮影および前記第２撮影によりそれぞれ生成された画像データを合成し、前記第２撮影および前記第３撮影によりそれぞれ生成された画像データを合成する画像処理部とを備える撮像装置。
4. 前記制御部は、前記発光部を発光させて撮影しないとき、前記画素の露光を行毎に順次実施するローリングシャッタ方式で撮影するように、前記撮像素子を制御する請求項１から請求項３に記載の撮像装置。
5. 前記制御部は、前記発光部を発光させて撮影するとき、前記第１撮影および前記第２撮影の各撮影における前記画素の露光の開始が互いに同じになるように、前記画素の露光タイミングを制御する請求項１から請求項４に記載の撮像装置。
6. 前記画像処理部は、前記発光部を発光させて撮影するとき、合成される前記画像データを平均することにより合成する請求項１から請求項５に記載の撮像装置。

Images