JPWO2015001646A1 - 電子機器、及び撮像素子 - Google Patents

Abstract

【課題】同一被写体に対して複数種類の画像を生成する。【解決手段】撮像素子１００を駆動制御する駆動制御部７２と、撮像素子１００の撮像領域１１３Ａを少なくとも第１領域と第２領域とに分割する分割部７１と、同一被写体に対して第１領域の撮像による第１画像と、第２領域の撮像による第２画像とのそれぞれを生成する画像生成部３１と、を備える。

Description

本発明は、電子機器、電子機器の制御方法、及び制御プログラムに関する。

裏面照射型撮像チップと信号処理チップとが積層された撮像素子（以下、この撮像素子を積層型撮像素子という。）を備えた電子機器が提案されている（例えば特許文献１参照）。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、複数画素をまとめたブロック単位ごとにマイクロバンプを介して接続されるように積層されている。

特開２００６−４９３６１号公報

しかし、従来の積層型撮像素子を備えた電子機器において、複数のブロック単位ごとに撮像して画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分ではなかった。

本発明の態様では、同一被写体に対して複数種類の画像を生成することを目的とする。

本発明の第１態様によれば、撮像素子を駆動制御する駆動制御部と、撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割する分割部と、同一被写体に対して第１領域の撮像による第１画像と、第２領域の撮像による第２画像とのそれぞれを生成する画像生成部と、を備える電子機器が提供される。

本発明の第２態様によれば、撮像部を有する電子機器の制御方法であって、撮像部の撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割することと、同一被写体に対して第１領域の撮像による第１画像と、第２領域の撮像による第２画像とのそれぞれを生成することと、を含む電子機器の制御方法が提供される。

本発明の第３態様によれば、撮像素子を有する電子機器の制御装置に、撮像部の撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割する分割処理と、同一被写体に対して第１領域の撮像による第１画像と、第２領域の撮像による第２画像とのそれぞれを生成する画像生成処理と、を実行させ制御プログラムが提供される。

本発明の態様によれば、同一被写体に対して複数種類の画像を生成することができる。

積層型撮像素子の断面図である。 撮像チップの画素配列と単位グループを説明する図である。 撮像チップの単位グループに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。 第１実施形態に係る電子機器の構成を示すブロック図である。 電子機器の一例であるデジタルカメラの外観を示す図である。 画像処理部及びシステム制御部の機能ブロック図である。 各ブロックにおける配列パターンを示す図である。 システム制御部が実行する撮影動作を説明するためのフローチャートである。 配列パターン設定処理を説明するためのフローチャートである。 第２静止画モードが実行されるときの第２配列パターンの設定例を示す図である。 第１静止画モードと第２静止画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。 第１表示部及び第２表示部に静止画を表示する場合の表示例を示す図である。 第２動画モードが実行されるときの第２配列パターンの設定例を示す図である。 第２動画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。 第１表示部に動画を表示し、第２表示部に静止画を表示する場合の表示例を示す図である。 各ブロックにおける第５配列パターンを示す図である。 各ブロックにおける第６配列パターンを示す図である。 第２実施形態における電荷蓄積のタイミングを示すタイミングチャートである。 第２実施形態における第１表示部及び第２表示部に静止画を表示する場合の表示例を示す図である。 第３実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現している。

＜第１実施形態＞
図１は、積層型撮像素子の断面図である。なお、この積層型撮像素子１００は、本願出願人が先に出願した特願２０１２−１３９０２６号に記載されているものである。撮像素子１００は、入射光に対応した画素信号を出力する撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸及びＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード（Photodiode；以下、ＰＤという。）１０４、及び、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。

ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４、及びトランジスタ１０５の組が一つの画素を形成する。

カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。

配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層１０８の表面には複数のバンプ１０９が配される。これら複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされる。そして、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ１１１及びメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされる。そして、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。

なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域（図２に示す画素領域１１３Ａ）以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ１１１は、表面及び裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（Through-Silicon Via；シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられる。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域や、メモリチップ１１２に設けられてもよい。

図２は、撮像チップの画素配列と単位グループを説明する図である。図２では、特に、撮像チップ１１３を裏面側から観察した様子を示す。撮像チップ１１３において画素が配列された領域を画素領域１１３Ａという。画素領域１１３Ａには２０００万個以上もの画素がマトリックス状に配列されている。図２に示す例では、隣接する４画素×４画素の１６画素が一つの単位グループ１３１を形成する。図２の格子線は、隣接する画素がグループ化されて単位グループ１３１を形成する概念を示す。単位グループ１３１を形成する画素の数はこれに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。

画素領域１１３Ａの部分拡大図に示すように、単位グループ１３１は、緑色画素Ｇｂ，Ｇｒ、青色画素Ｂ、及び赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

図３は、撮像チップの単位グループに対応する回路図である。図３において、代表的に点線で囲む矩形が、１画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。

上述したように、単位グループ１３１は、１６画素から形成される。それぞれの画素に対応する１６個のＰＤ１０４は、それぞれ転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、転送パルスが供給されるＴＸ配線３０７に接続される。本実施形態において、ＴＸ配線３０７は、１６個の転送トランジスタ３０２に対して共通接続される。

各転送トランジスタ３０２のドレインは、対応する各リセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインと各リセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤ（電荷検出部）が増幅トランジスタ３０４のゲートに接続される。各リセットトランジスタ３０３のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。各リセットトランジスタ３０３のゲートはリセットパルスが供給されるリセット配線３０６に接続される。本実施形態において、リセット配線３０６は、１６個のリセットトランジスタ３０３に対して共通接続される。

各々の増幅トランジスタ３０４のドレインは電源電圧が供給されるＶｄｄ配線３１０に接続される。また、各々の増幅トランジスタ３０４のソースは、対応する各々の選択トランジスタ３０５のドレインに接続される。各々の選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。本実施形態において、デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線３０６を通じてリセットパルスがリセットトランジスタ３０３に印加される。これと同時に、ＴＸ配線３０７を通じて転送パルスが転送トランジスタ３０２に印加される。これにより、ＰＤ１０４及びフローティングディフュージョンＦＤの電位はリセットされる。

ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、ＰＤ１０４において蓄積された電荷はフローティングディフュージョンＦＤへ転送される。これにより、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４及び選択トランジスタ３０５を介して出力配線３０９に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力される。

図３に示すように、本実施形態においては、単位グループ１３１を形成する１６画素に対して、リセット配線３０６とＴＸ配線３０７が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、１６画素すべてに対して同時に印加される。従って、単位グループ１３１を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９に出力される。また、リセット配線３０６、ＴＸ配線３０７、出力配線３０９は、単位グループ１３１毎に別個に設けられる。

このように単位グループ１３１を基準として回路を構成することにより、単位グループ１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ１３１間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ１３１に１回の電荷蓄積を行わせている間に、他方の単位グループ１３１に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ１３１間で異なるフレームレートで動画用の各フレームを出力することもできる。

図４は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位グループ１３１を形成する１６個のＰＤ１０４を順番に選択する。そして、マルチプレクサ４１１は、１６個のＰＤ１０４のそれぞれの画素信号を当該単位グループ１３１に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４とともに、撮像チップ１１３に形成される。

マルチプレクサ４１１を介して出力されたアナログ信号の画素信号は、信号処理チップ１１１に形成されたアンプ４１２により増幅される。そして、アンプ４１２で増幅された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）・アナログ／デジタル（Analog／Digital）変換を行う信号処理回路４１３により、相関二重サンプリングの信号処理が行われるとともに、Ａ／Ｄ変換（アナログ信号からデジタル信号への変換）が行われる。画素信号が信号処理回路４１３において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１４に引き渡され、それぞれの画素に対応する画素メモリ４１５に格納される。デマルチプレクサ４１４及び画素メモリ４１５は、メモリチップ１１２に形成される。

演算回路４１６は、画素メモリ４１５に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１６は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では１つの単位グループ１３１の分の接続を示すが、実際にはこれらが単位グループ１３１ごとに存在して、並列で動作する。ただし、演算回路４１６は単位グループ１３１ごとに存在しなくてもよい。例えば、一つの演算回路４１６がそれぞれの単位グループ１３１に対応する画素メモリ４１５の値を順に参照しながらシーケンシャルに処理してもよい。

上記した通り、単位グループ１３１のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は、撮像チップ１１３、信号処理チップ１１１、及びメモリチップ１１２を積層している。このため、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

次に、撮像素子１００の画素領域１１３Ａ（図２参照）に設定されるブロックについて説明する。本実施形態において、撮像素子１００の画素領域１１３Ａは、複数のブロックに分割される。複数のブロックは、１ブロックにつき単位グループ１３１を少なくとも１つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。

ここで、電荷の蓄積時間とは、ＰＤ１０４が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにＰＤ１０４が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。フレームレートが高くなる程、動画における被写体（すなわち撮像される対象物）の動きが滑らかになる。

また、ゲインとは、アンプ４１２の利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子１００の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子１００が光をとらえる能力を表す値となる。ゲインを上げるとＩＳＯ感度も向上する。例えば、ゲインを倍にすると電気信号（画素信号）も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。

また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が０である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が０．５である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ１３１がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の２画素ずつ（２行ずつ）交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子１００には２０００万以上の画素が配置されているため、例えば間引き率０．５で間引きを行ったとしても、１０００万以上の画素で画像を表示することができる。このため、使用者（撮影者）にとって解像度の低下は気にならないものと考えられる。

また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数（行数）をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数（列数）をいう。このような加算の処理は、例えば演算回路４１６において行われる。演算回路４１６が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路４１６が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。

また、デジタル化のビット数とは、信号処理回路４１３がＡ／Ｄ変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。

本実施形態において、蓄積条件とは、撮像素子１００における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。

また、撮像条件とは、被写体の撮像に関する条件をいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子１００を制御するための制御パラメータ（例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン）のほかに、撮像素子１００からの信号の読み出しを制御するための制御パラメータ（例えば、間引き率）、撮像素子１００からの信号を処理するための制御パラメータ（例えば、画素信号を加算する加算行数又は加算列数、デジタル化のビット数、後述する画像処理部３０が画像処理を実行するための制御パラメータ）も含まれる。

図５は、第１実施形態に係る電子機器の構成を示すブロック図である。図５に示す電子機器１は、例えば撮像機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成される。図５に示すように、電子機器１は、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、及びシステム制御部７０を備える。レンズ部１０は、複数のレンズ群から構成された撮像光学系である。このレンズ部１０は、被写体からの光束を撮像部２０へ導く。このレンズ部１０は、電子機器１と一体構成であってもよく、また電子機器１に対して着脱可能な交換式レンズであってもよい。また、このレンズ部１０は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。

撮像部２０は、撮像素子１００及び駆動部２１を有している。駆動部２１は、システム制御部７０からの指示に従って、撮像素子１００の駆動を制御する制御回路である。ここで、駆動部２１は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ３０３及び転送トランジスタ３０２に印加するタイミング（又はタイミングの周期）を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ３０３、転送トランジスタ３０２、及び選択トランジスタ３０５に印加するタイミング（又はタイミングの周期）を制御することにより、フレームレートを制御する。また、駆動部２１は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。

また、駆動部２１は、アンプ４１２のゲイン（利得率、増幅率ともいう。）を制御することにより、撮像素子１００のＩＳＯ感度を制御する。また、駆動部２１は、演算回路４１６に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部２１は、信号処理回路４１３に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部２１は、撮像素子１００の画素領域（撮像領域）１１３Ａにおけるブロックの設定を行う。このように、駆動部２１は、撮像素子１００に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部７０は、駆動部２１に対するブロックの位置、形状、範囲などの指示を行う。

撮像素子１００は、撮像素子１００からの画素信号を画像処理部３０へ引き渡す。画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、画像データを生成する。この画像処理部３０は第１画像処理部３０Ａと第２画像処理部３０Ｂとが設けられている。画像処理の負荷が高い場合は、第１画像処理部３０Ａ及び第２画像処理部３０Ｂに対して、それぞれ処理が割り当てられる。そして、第１画像処理部３０Ａ及び第２画像処理部３０Ｂは、それぞれ、割り当てられた処理を並列に実行する。

本実施形態においては、後述するように、システム制御部７０（具体的には、図７に示す分割部７１）は、撮像素子１００の画素領域（撮像領域）１１３Ａを少なくとも第１領域と第２領域とに分割する。また、システム制御部７０（具体的には、図７に示す駆動制御部７２）は、第１領域と第２領域とで異なる撮像条件によって撮像を行うように撮像素子１００を駆動制御する。この場合、例えば、第１画像処理部３０Ａは、第１領域からの信号の画像処理を実行する。また、第２画像処理部３０Ｂは、第２領域からの信号の画像処理を実行する。なお、撮像素子１００の画素領域（撮像領域）１１３Ａは、第１領域と第２領域との２つの領域に分割される場合に限らず、第１領域、第２領域、第３領域・・・というような複数の領域に分割され得る。そして、複数の領域についての画像処理は、適宜、第１画像処理部３０Ａと第２画像処理部３０Ｂとに割り当てられる。画像処理の割り当ては、分割される領域の数や範囲などによって予め決められていてもよく、また、システム制御部７０が分割される領域の数や範囲などに基づいて決定してもよい。

画像処理部３０は、種々の画像処理を実行する。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像信号を生成する。また、画像処理部３０は、ＲＧＢ画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。

本実施形態では、画像処理部３０は、上記した処理のほかに、画像データから主要被写体を検出する処理を行う。ここで、「主要被写体」とは、撮像される対象物である被写体のうち、使用者（撮影者）に注目される被写体又は使用者に注目されると推定される被写体のことをいう。主要被写体は、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある（例えば図１４参照）。

画像処理部３０が画像処理を行う際に参照されるパラメータも制御パラメータ（撮像条件）に含まれる。例えば、色信号処理（色調補正）、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子１００から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部３０は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。

画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。または、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを廃棄する。これにより、データ量を減らすことができるため、後段処理の負荷を軽減することができる。また、画像処理部３０は、撮像部２０から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する１又は複数のフレームを算出する。そして、画像処理部３０は、算出した１又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。また、駆動部２１が間引き率を制御するように構成しているが、このような構成に限られない。例えば、駆動部２１はすべての画素から画素信号を読み出すが、画像処理部３０又は演算回路４１６は読み出した画素信号のうち所定の画素信号を廃棄することにより、間引き率を制御するようにしてもよい。

ワークメモリ４０は、画像処理部３０による画像処理が行われる際に画像データなどを一時的に記憶する。表示部５０は、例えば液晶表示パネルによって構成されている。この表示部５０は、図５に示すように、第１表示部５１、第１タッチパネル５２、第２表示部５３、及び第２タッチパネル５４を有している。

第１表示部５１は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）や各種情報を表示する。第１タッチパネル５２は、第１表示部５１の表示画面上に形成されている。この第１タッチパネル５２は、使用者が画像（後述するサムネイル画像：図１３参照）の選択などを行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。第２表示部５３は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）や各種情報を表示する。第２タッチパネル５４は、第２表示部５３の表示画面上に形成されている。この第２タッチパネル５４は、使用者が画像の選択などを行う際に、使用者が触れた位置を示す信号をシステム制御部７０に出力する。

操作部５５は、使用者によって操作されるレリーズスイッチ、動画スイッチ、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの２つの記憶媒体（第１記録媒体６１及び第２記録媒体６２）を装着可能な２つのカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体（第１記録媒体６１及び第２記録媒体６２）に画像処理部３０において生成された画像データや各種データを記憶する。本実施形態においては、上述したように、第１画像処理部３０Ａと第２画像処理部３０Ｂとは、それぞれ、第１領域からの信号に基づく画像処理と第２領域からの信号に基づく画像処理とを並列に実行する。この場合、第１記録媒体６１は、レリーズスイッチや動画スイッチの操作に応じて、第１領域からの信号に基づく画像データを記憶する。また、第２記録媒体６２は、レリーズスイッチや動画スイッチの操作に応じて、第２領域からの信号に基づく画像データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。

システム制御部７０は、電子機器１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Central Processing Unit）７０Ａを有する。本実施形態において、システム制御部７０は、撮像素子１００（撮像チップ１１３）の撮像面（画素領域１１３Ａ）を複数のブロックに分け、ブロック間において異なる電荷蓄積時間（又は電荷蓄積回数）、フレームレート、ゲインで画像を取得させる。このため、システム制御部７０は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部２１に対して指示する。また、システム制御部７０は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部７０は、各ブロック用の撮像条件（間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数）を駆動部２１に対して指示する。また、画像処理部３０は、ブロック間で異なる撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行する。このため、システム制御部７０は、各ブロック用の撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）を画像処理部３０に指示する。

また、システム制御部７０は、画像処理部３０において生成された画像データを記録部６０に記録させる。また、システム制御部７０は、画像処理部３０において生成された画像データを表示部５０に出力させることにより、表示部５０（第１表示部５１及びタッチパネル５２のいずれか一方又は双方）に画像を表示させる。または、システム制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させることにより、表示部５０（第１表示部５１及びタッチパネル５２のいずれか一方又は双方）に画像を表示させる。表示部５０に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。ここで、ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部２０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。

図６は、電子機器の一例であるデジタルカメラの外観を示す図である。なお、図６において、電子機器（デジタルカメラ）１を背面から見た場合の外観を示している。図６に示すように、第１表示部５１は、方形状の表示画面を有する表示パネルである。この第１表示部５１は、電子機器１の背面に設けられている。第１タッチパネル５２は、第１表示部５１の表示画面上に形成されている。

また、第２表示部５３は、方形状の表示画面を有する表示パネルである。この第２表示部５３の端部が、電子機器１の背面かつ第１表示部５１の下方に設けられたヒンジ（図示せず）によって回転可能に連結されている。第２表示部５３がヒンジを支点として回転することにより、第１表示部５１が第２表示部５３によって開閉される。

電子機器１の上面には、レリーズスイッチ５５ａ、モードダイヤル５５ｂ、及び動画スイッチ５５ｃが設けられている。レリーズスイッチ５５ａは、静止画を撮像する際に使用者によって押されるスイッチである。なお、レリーズスイッチ５５ａの半押し操作が行われることによって、ＡＦ（Automatic Focusing）やＡＥ（Automatic Exposure）などの撮影準備が行われる。モードダイヤル５５ｂは、ポートレート、風景、夜景などの各種シーンモードを設定する際に使用者によって回転されるダイヤルである。動画スイッチ５５ｃは、動画を撮像する際に使用者によって押されるスイッチである。また、電子機器１の背面かつ第１表示部５１の側方には、マルチセレクタ５５ｄが設けられている。マルチセレクタ５５ｄは、第１表示部５１又は第２表示部５３に表示されるメニュー（撮影モードを設定するためのメニュー）を、使用者が上下左右の矢印キーとＯＫスイッチにより選択するためのキー及びスイッチである。なお、操作部５５は、レリーズスイッチ５５ａ、モードダイヤル５５ｂ、動画スイッチ５５ｃ、及びマルチセレクタ５５ｄを有している。なお、操作部５５は、これら以外のスイッチなどを有していてもよい。

図７は、図５に示す画像処理部及びシステム制御部の機能ブロック図である。図７に示すように、第１画像処理部３０Ａは画像生成部３１Ａ及び検出部３２Ａを含んでいる。画像生成部３１Ａは、撮像部２０から出力される第１領域の各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施すことにより画像データを生成する。また、検出部３２Ａは、画像生成部３１Ａで生成した画像データから主要被写体を検出する。本実施形態において、検出部３２Ａは、画像生成部３１Ａが生成するライブビュー画像から時系列的に得られる複数の画像データを比較して、移動する被写体（移動被写体）を主要被写体として検出する。また、検出部３２Ａは、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているような顔検出機能を用いて主要被写体の検出を行う。また、検出部３２Ａは、顔検出に加えて、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を主要被写体として検出する。

また、第２画像処理部３０Ｂは画像生成部３１Ｂを含んでいる。画像生成部３１Ｂは、撮像部２０から出力される第２領域の各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施すことにより画像データを生成する。なお、第２画像処理部３０Ｂは検出部を含んでいないが、検出部を含んでもよい。また、第１画像処理部３０Ａが検出部３２Ａを含まず、第２画像処理部３０Ｂが検出部を含む構成でもよい。本実施形態において、画像生成部３１Ａと画像生成部３１Ｂを総称して画像生成部３１と記すことがある。

また、システム制御部７０は、分割部７１、駆動制御部７２、及び表示制御部７３を含んでいる。分割部７１は、撮像素子１００の画素領域（撮像領域）１１３Ａをブロック単位で複数の領域に分割する。この分割部７１は、画素領域１１３Ａの各ブロックにおける所定の配列パターンに基づいて画素領域１１３Ａを複数の領域に分割する（図８（Ａ）〜（Ｄ）参照）。駆動制御部７２は、複数の領域についての撮像条件を設定する。また、駆動制御部７２は、使用者によるレリーズスイッチ５５ａや動画スイッチ５５ｃの操作に応じて撮像素子１００の駆動制御を実行する。また、駆動制御部は、ライブビュー画像の撮像時（すなわち、電源投入後の撮影動作の開始後）においても、撮像素子１００の駆動制御を実行する。表示制御部７３は、画像生成部３１によって生成された画像データを表示部５０に出力させ、第１表示部５１及び第２表示部５３のいずれか一方又は双方に画像（静止画、動画、ライブビュー画像）を表示させる制御を行う。

なお、システム制御部７０において、分割部７１、駆動制御部７２、及び表示制御部７３は、ＣＰＵ７０Ａが制御プログラムに基づいて処理を実行することにより実現される。

次に、分割部７１により設定される各ブロックにおける配列パターンについて説明する。図８は、各ブロックにおける配列パターンを示す図である。ここで、図８（Ａ）は、各ブロックにおける第１配列パターンを示す。また、図８（Ｂ）は、各ブロックにおける第２配列パターンを示す。また、図８（Ｃ）は、各ブロックにおける第３配列パターンを示す。また、図８（Ｄ）は、各ブロックにおける第４配列パターンを示す。

図８（Ａ）に示す第１配列パターンは、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第１配列パターンでは、画素領域１１３Ａにおいて、第１領域が奇数の列（２ｍ−１）のブロックで構成され、第２領域が偶数の列（２ｍ）のブロックで構成されている。すなわち、画素領域１１３Ａにおける各ブロックが奇数列と偶数列とに分割されている。ｍは正の整数（ｍ＝１，２，３，・・・）である。

図８（Ｂ）に示す第２配列パターンも、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第２配列パターンでは、画素領域１１３Ａにおいて、第１領域が奇数の行（２ｎ−１）のブロックで構成され、第２領域が偶数の行（２ｎ）のブロックで構成されている。すなわち、画素領域１１３Ａにおける各ブロックが奇数行と偶数行とに分割されている。ｎは正の整数（ｎ＝１，２，３，・・・）である。

図８（Ｃ）に示す第３配列パターンも、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第３配列パターンでは、画素領域１１３Ａにおいて、奇数の列（２ｍ−１）における奇数の行（２ｎ−１）のブロックと、偶数の列（２ｍ）における偶数の行（２ｎ）のブロックとで第１領域が構成されている。また、偶数の列（２ｍ）における奇数の行（２ｎ−１）のブロックと、奇数の列（２ｍ−１）における偶数の行（２ｎ）のブロックとで第２領域が構成されている。すなわち、画素領域１１３Ａにおける各ブロックが市松模様となるように分割されている。ｍ及びｎは正の整数（ｍ＝１，２，３，・・・、ｎ＝１，２，３，・・・）である。図８（Ａ）〜（Ｃ）に示してあるように、本実施形態において、第１領域および第２領域は、必ずしも連続的なブロックのみから構成されておらず、離散的なブロックから構成されている。

図８（Ｄ）に示す第４配列パターンは、画素領域１１３Ａが第１領域と第２領域と第３領域とに３分割される配列パターンである。この第４配列パターンでは、画素領域１１３Ａにおいて、第１領域が３の倍数の列から２列前の列（３ｍ−２）のブロックで構成され、第２領域が３の倍数の列から１列前の列（３ｍ−１）のブロックで構成され、第３領域が３の倍数の列（３ｍ）のブロックで構成されている。ｍは正の整数（ｍ＝１，２，３，・・・）である。

なお、図８において、領域ごとのブロックの配置を見えやすくするために、画素領域１１３Ａにおいて少ない数のブロックを設定しているが、図８に示すブロックの数よりも多い数のブロックを設定するようにしてもよい。

次に、第１実施形態に係る撮影動作について説明する。図９は、システム制御部が実行する撮影動作を説明するためのフローチャートである。また、図１０は、配列パターン設定処理を説明するためのフローチャートである。図９に示す処理において、電子機器１に電源が投入されると、システム制御部７０が撮影動作を開始する。また、図９において示していないが、撮影が開始されると、表示制御部７３は、撮像部２０で撮像されたライブビュー画像を第１表示部５１に表示するとともに、撮影モードを設定するためのメニューを第２表示部５３に表示する。このとき、ライブビュー画像は被写体の動きの滑らかな画像である必要がないため、駆動制御部７２は、低いフレームレートで撮像するように撮像素子１００を駆動制御する。なお、表示制御部７３は、ライブビュー画像を第２表示部５３に表示し、メニューを第１表示部５１に表示してもよい。また、表示制御部７３は、ライブビュー画像及びメニューを同一の表示部（第１表示部５１又は第２表示部５３）に表示してもよい。

使用者は、マルチセレクタ５５ｄを操作して、第２表示部５３に表示されているメニューを選択することにより撮影モードを選択する。分割部７１は、使用者によるマルチセレクタ５５ｄの操作によって選択された撮影モードを確認する（ステップＳ１）。

ここで、撮影モードとして、静止画を撮影する静止画モードと、動画を撮影する動画モードとが設けられている。また、静止画モードとして、第１静止画モードと、第２静止画モードとが設けられている。また、動画モードとして、第１動画モードと、第２動画モードとが設けられている。

第１静止画モードとは、分割部７１が撮像素子１００の画素領域（撮像領域）１１３Ａを分割せずに、撮像素子１００が画素領域１１３Ａを１つの領域として被写体の静止画を撮影する撮影モードをいう。この第１静止画モードは、一般的に行われている通常の静止画撮影モードである。第２静止画モードとは、分割部７１が画素領域１１３Ａを複数の領域に分割し、撮像素子１００が複数の領域のそれぞれにおいて同一被写体の静止画を撮影する撮影モードをいう。この第２静止画モードでは、複数の領域のそれぞれにおいて同一被写体の静止画を連続して撮像する処理を並列に実行することができる。従って、第１静止画モードにおいて連写を行う場合よりも、第２静止画モードにおいて静止画の連写を行う場合の方が、単位時間あたり数多くの静止画を撮影することができる。すなわち、第２静止画モードの方が第１静止画モードよりも高速連写を行うことができる。第２静止画モードのことを、高速連写モード又は静止画−静止画ミックスモードともいう。

第１動画モードとは、分割部７１が撮像素子１００の画素領域（撮像領域）１１３Ａを分割せずに、撮像素子１００が画素領域１１３Ａを１つの領域として被写体の動画を撮影する撮影モードをいう。この第１動画モードは、一般的に行われている通常の動画撮影モードである。第２動画モードとは、分割部７１が画素領域１１３Ａを複数の領域に分割し、撮像素子１００が複数の領域のうち一の領域において被写体の静止画を撮影し、複数の領域のうち他の領域において同一の被写体の動画を撮影する撮影モードをいう。第２動画モードのことを、静止画−動画同時撮影モード又は静止画−動画ミックスモードともいう。

なお、使用者が撮影モードを選択する場合に、マルチセレクタ５５ｄの操作に代えて、第２タッチパネル５４におけるメニューに対応する位置をタッチさせるようにしてもよい。

分割部７１は、使用者により選択された撮影モードが静止画モードであるか否かを判定する（ステップＳ２）。分割部７１は、撮影モードが静止画モードであると判定した場合は、静止画モードが第１静止画モードであるか否かを判定する（ステップＳ３）。分割部７１は、静止画モードが第１静止画モードであると判定した場合は、撮影モードを第１静止画モードに設定する処理を行う（ステップＳ４）。一方、分割部７１は、静止画モードが第１静止画モードでないと判定した場合、すなわち、第２静止画モードであると判定した場合は、撮影モードを第２静止画モードに設定する処理を行う（ステップＳ５）。

ステップＳ４又はステップＳ５の処理において、分割部７１は、図１０に示す配列パターン設定処理を実行する。図１０に示す処理において、分割部７１は、画像処理部３０（第１画像処理部３０Ａ）に対して主要被写体の検出を指示する（ステップＳ２１）。検出部３２Ａは、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体（移動していない被写体）とを検出する。そして、検出部３２Ａは、検出結果を画像データとともにシステム制御部７０に出力する。分割部７１は、検出部３２Ａの検出結果に基づいて主要被写体の有無を確認する。そして、分割部７１は、画素領域１１３Ａにおいて主要被写体及び撮影モードに応じた領域を設定する（ステップＳ２２）。

具体的には、分割部７１は、撮影モードが第１静止画モードであるときは、画素領域１１３Ａを複数の領域に分割しない。すなわち、分割部７１は、すべての画素領域１１３Ａを１つの領域として設定する。このとき、分割部７１は、駆動部２１に対してすべての画素領域１１３Ａを１つの領域として設定することを指示する指示信号を出力する。

一方、分割部７１は、撮影モードが第２静止画モードであるときは、図８（Ａ）〜（Ｄ）に示した配列パターンのいずれかを選択する。そして、分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体が移動被写体であるか否かを確認する。分割部７１は、主要被写体が移動被写体でなく非移動被写体である場合は、図８（Ｃ）に示した第３配列パターンに従って第１領域と第２領域とを設定する。分割部７１は、主要被写体が移動被写体である場合は、移動被写体の移動方向を確認する。移動被写体の移動方向が主に上下方向である場合、例えば、主要被写体が滑り台をすべる子供や滝などである場合は、分割部７１は、図８（Ａ）に示した第１配列パターンに従って第１領域と第２領域とを設定する。移動被写体の移動方向が主に左右方向である場合、例えば、主要被写体が走っている人物などである場合や流し撮りを行っている場合は、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。さらに、移動被写体の上下方向の移動速度が速い場合は、分割部７１は、図８（Ｄ）に示した第４配列パターンに従って第１領域と第２領域と第３領域とを設定する。なお、分割部７１は、ステップＳ２２において、駆動部２１に対して各領域（第１領域及び第２領域、第１領域〜第３領域）のブロックの位置などを指示する指示信号を出力する。

図１１は、第２静止画モードが実行されるときの第２配列パターンの設定例を示す図である。なお、図１１においては、ブロックの配置を見えやすくするために、各ブロックを大きくして表現している。しかし、実際には図１１に示すブロックの大きさよりも小さなブロックが画素領域１１３Ａに設定される。図１１に示す例では、検出部３２Ａは、主要被写体（移動被写体）として、サッカーをしている人物Ｏ１，Ｏ２と、サッカーボールＯ３とを検出する。分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体Ｏ１〜Ｏ３が移動被写体であり、移動被写体の移動方向が主に左右方向であると判定する。その結果、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。このとき、分割部は、第１領域と第２領域とが主要被写体Ｏ１〜Ｏ３を含むように画素領域１１３Ａの分割を行う。

図１０の説明に戻り、駆動制御部７２は、検出部３２Ａの検出結果に基づいて、ステップＳ２２で設定した領域（図１１に示す例では、第１領域及び第２領域）の撮像条件を設定する（ステップＳ２３）。具体的には、駆動制御部７２は、主要被写体に応じた撮像条件（電荷蓄積時間、ゲインなど）を指示する指示信号を駆動部２１に出力する。また、駆動制御部７２は、主要被写体に応じた撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータ）を指示する指示信号を画像処理部３０に出力する。例えば、駆動制御部７２は、検出部３２Ａにより移動被写体が検出された場合には、ゲイン（ＩＳＯ感度）を高くするとともに、電荷蓄積時間（すなわち、露光時間、シャッタースピード）を速くする。また、駆動制御部７２は、検出部３２Ａにより移動被写体が検出されなかった場合には、ゲインを低くするとともに、電荷蓄積時間を遅くする。

図９の説明に戻り、駆動制御部７２は、使用者によりレリーズスイッチ５５ａの操作（半押し操作に続く、全押し操作）が行われたか否かを判定する（ステップＳ６）。駆動制御部７２は、レリーズスイッチ５５ａの操作が行われたと判定した場合は、静止画モード（第１静止画モード又は第２静止画モード）による撮像を撮像部２０に実行させる（ステップＳ７）。

図１２は、第１静止画モードと第２静止画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。図１２（Ａ）に示す第１静止画モード（通常の連写モード）においては、上記したように、すべての画素領域１１３Ａが１つの領域として設定されている。第１静止画モードでは、駆動制御部７２は、レリーズスイッチ５５ａの操作（全押し操作）が行われている間、すべての画素領域１１３Ａに対して静止画の撮像を繰り返し実行するように、駆動部２１に対して指示信号を出力する。図１２（Ａ）において、駆動部２１は、時刻ｔ１で画素領域１１３Ａに対する電荷蓄積を開始させ、時刻ｔ３で画素領域１１３Ａに対する電荷蓄積を終了させる。駆動部２１は、画素領域１１３Ａの各画素から画素信号を読み出し、各画素に蓄積された電荷をリセットする。その後、駆動部２１は、時刻ｔ４で画素領域１１３Ａに対する電荷蓄積を開始させ、時刻ｔ７で画素領域１１３Ａに対する電荷蓄積を終了させる。駆動部２１は、レリーズスイッチ５５ａの操作が行われている間、このような撮像素子１００の駆動制御を繰り返し実行する。

図１２（Ａ）に示す例では、駆動部２１は時刻ｔ１からｔ１５までの間に４回の撮像を連続して実行している。時刻ｔ１からｔ３までの時間、時刻ｔ４からｔ７までの時間、時刻ｔ８からｔ１１までの時間、及び時刻ｔ１２からｔ１５までの時間が電荷蓄積時間（露光時間）である。この電荷蓄積時間（露光時間）は、ステップＳ２３の撮像条件の設定処理において設定される。また、撮像素子１００から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１（例えば画像生成部３１Ａ）は、分割部７１から出力された撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１は、各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより画像データを生成する。

図１２（Ｂ）に示す第２静止画モード（高速連写モード）においては、分割部２１が例えば第１領域と第２領域とを設定する。第２静止画モードでは、駆動制御部７２は、レリーズスイッチ５５ａの操作（全押し操作）が行われている間、第１領域に対して静止画の撮像を繰り返し実行するとともに、第２領域に対して静止画の撮像を繰り返し実行するように、駆動部２１に対して指示信号を出力する。図１２（Ｂ）において、駆動部２１は、時刻ｔ１で第１領域に対する電荷蓄積を開始させ、時刻ｔ３で第１領域に対する電荷蓄積を終了させる。駆動部２１は、第１領域の各画素から画素信号を読み出し、各画素に蓄積された電荷をリセットする。その後、駆動部２１は、時刻ｔ４で第１領域に対する電荷蓄積を開始させ、時刻ｔ７で第１領域に対する電荷蓄積を終了させる。駆動部２１は、レリーズスイッチ５５ａの操作が行われている間、このような撮像素子１００の駆動制御を繰り返し実行する。

また、図１２（Ｂ）において、駆動部２１は、時刻ｔ２で第２領域に対する電荷蓄積を開始させ、時刻ｔ５で第２領域に対する電荷蓄積を終了させる。駆動部２１は、第２領域の各画素から画素信号を読み出し、各画素に蓄積された電荷をリセットする。その後、駆動部２１は、時刻ｔ６で第２領域に対する電荷蓄積を開始させ、時刻ｔ９で第２領域に対する電荷蓄積を終了させる。駆動部２１は、レリーズスイッチ５５ａの操作が行われている間、このような撮像素子１００の駆動制御を繰り返し実行する。

図１２（Ｂ）に示す例では、駆動部２１は第１領域において時刻ｔ１からｔ１５までの間に４回の撮像を連続して実行している。また、第１領域における４回の撮像と並列に、駆動部２１は第２領域において時刻ｔ２からｔ１６までの間に４回の撮像を連続して実行している。従って、駆動部２１は第１領域及び第２領域において時刻ｔ１からｔ１６までの間に８回の撮像を連続して実行していることになる。

時刻ｔ１からｔ３までの時間、時刻ｔ４からｔ７までの時間、時刻ｔ８からｔ１１までの時間、及び時刻ｔ１２からｔ１５までの時間が第１領域における電荷蓄積時間（露光時間）である。この電荷蓄積時間（露光時間）は、ステップＳ２３の撮像条件の設定処理において設定される。また、時刻ｔ２からｔ５までの時間、時刻ｔ６からｔ９までの時間、時刻ｔ１０からｔ１３までの時間、及び時刻ｔ１４からｔ１６までの時間が第２領域における電荷蓄積時間（露光時間）である。この電荷蓄積時間（露光時間）も、ステップＳ２３の撮像条件の設定処理において設定される。

また、撮像素子１００の第１領域から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ａは、分割部７１から出力された第１領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ａは、第１領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第１領域の画像データを生成する。

また、撮像素子１００の第２領域から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ｂは、分割部７１から出力された第２領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ｂは、第２領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第２領域の画像データを生成する。さらに、画像生成部３１（画像合成部３１Ａ又は３１Ｂ）は、第１領域の画像データと第２領域の画像データとを合成する。

図１２（Ｂ）に示す第２静止画モードにおいて、駆動制御部７２は、第１領域の撮像開始のタイミングと第２領域の撮像開始のタイミングとを異ならせて（ずらして）駆動部２１に撮像素子１００を駆動制御させている。従って、図１２（Ａ）に示す第１静止画モードにおいて、例えば１秒間に３０コマの静止画の撮像が可能であるとすれば、図１２（Ｂ）に示す第２静止画モードにおいては、第１静止画モードのほぼ倍の１秒間に６０コマ近くの撮像が可能となる。この場合、画素領域１１３Ａが第１領域と第２領域とに分けられているので、静止画の画素数は半分となってしまう。しかし、２０００万画素の半分としても１０００万画素の静止画が撮像されることになる。従って、使用者にとって十分な画質が確保されていると考えられる。

なお、第２静止画モードにおいて、分割部７１が図８（Ｄ）に示す第４配列パターンに従って画素領域１１３Ａに第１領域〜第３領域を設定する場合は、画素領域１１３Ａに第１領域及び第２領域を設定する場合よりも、さらに高速連写を実現することができる。例えば、第１静止画モードにおいて、１秒間に３０コマの静止画の撮像が可能であるとすれば、第２静止画モードにおいて画素領域１１３Ａに３つの領域を設定する場合は、第１静止画モードのほぼ３倍の１秒間に９０コマ近くの撮像が可能となる。撮像素子１００は今後も高画素化になることが予想される。このため、画素領域１１３Ａを３分割し、１枚の静止画の画素数が１／３になったとしても、使用者にとって画質の低下よりも連写の高速性の方が重視される。

図９の説明に戻り、表示制御部７３は、画像処理部３０が生成した画像データを表示部５０に出力することにより、第１表示部５１又は第２表示部５３に静止画を表示させる（ステップＳ８）。駆動制御部７２が第１静止画モードで静止画を撮像した場合は、表示制御部７３は、第１表示部５１に静止画を表示させる。一方、駆動制御部７２が第２静止画モードで静止画を撮像した場合は、表示制御部７３は、第１表示部５１に高速に複数回連続して撮像した複数の静止画をサムネイル画像として表示する。また、表示制御部７３は、使用者によって選択されたサムネイル画像を第２表示部５３に拡大して表示する。

図１３は、第１表示部及び第２表示部に静止画を表示する場合の表示例を示す図である。図１３に示すように、表示制御部７３は、第１表示部５１に８つのサムネイル画像（静止画）５１１〜５１８を並べて表示している。例えば、サムネイル画像５１１は図１２（Ｂ）の１回目の撮像による静止画である。同様に、サムネイル画像５１２〜５１８は、それぞれ図１２（Ｂ）の２回目〜８回目の撮像による静止画である。

また、図１３に示すように、第１タッチパネル５２において、８つのタッチ領域５１１ａ〜５１８ａが８つのサムネイル画像５１１〜５１８のそれぞれに重なるように形成される。各タッチ領域５１１ａ〜５１８ａは、使用者により押された（タッチされた）ことを検出すると、押された位置（いずれのタッチ領域であるか）を示す検出信号をシステム制御部７０に出力する。

表示制御部７３は、使用者によって押されたタッチ領域に対応するサムネイル画像を第２表示部５３に拡大して表示させる。図１３に示す例では、使用者がタッチ領域５１３ａを押したことにより、タッチ領域５１３ａに対応するサムネイル画像５１３が第２表示部５３に拡大して表示されている。

図９の説明に戻り、分割部７１は、ステップＳ２において撮影モードが静止画モードでないと判定した場合、すなわち、撮影モードが動画モードであると判定した場合は、動画モードが第１動画モードであるか否かを判定する（ステップＳ１０）。分割部７１は、動画モードが第１動画モードであると判定した場合は、撮影モードを第１動画モードに設定する処理を行う（ステップＳ１１）。一方、分割部７１は、動画モードが第１動画モードでないと判定した場合、すなわち、第２動画モードであると判定した場合は、撮影モードを第２動画モードに設定する処理を行う（ステップＳ１２）。

ステップＳ１１又はステップＳ１２の処理において、分割部７１は、図１０に示す配列パターン設定処理を実行する。図１０に示す処理において、分割部７１は、画像処理部３０（第１画像処理部３０Ａ）に対して主要被写体の検出を指示する（ステップＳ２１）。検出部３２Ａは、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体とを検出する。また、本実施形態では、検出部３２Ａは、画像データの中から目、口、肌の色などで顔を認識し、顔を主要被写体として検出する。さらに、本実施形態では、検出部３２Ａは、顔検出に加えて、画像データに含まれる人体（人物）を主要被写体として検出する。そして、検出部３２Ａは、検出結果を画像データとともにシステム制御部７０に出力する。分割部７１は、検出部３２Ａの検出結果に基づいて主要被写体の有無を確認する。そして、分割部７１は、画素領域１１３Ａにおいて主要被写体及び撮影モードに応じた領域を設定する（ステップＳ２２）。

具体的には、分割部７１は、撮影モードが第１動画モードであるときは、画素領域１１３Ａを複数の領域に分割しない。すなわち、分割部７１は、すべての画素領域１１３Ａを１つの領域として設定する。このとき、分割部７１は、駆動部２１に対してすべての画素領域１１３Ａを１つの領域として設定することを指示する指示信号を出力する。

一方、分割部７１は、撮影モードが第２動画モードであるときは、図８（Ａ）〜（Ｄ）のいずれかに示した配列パターンを選択する。そして、分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体が移動被写体であるか否かを確認する。分割部７１は、主要被写体が移動被写体でなく非移動被写体である場合は、図８（Ｃ）に示した第３配列パターンに従って第１領域と第２領域とを設定する。分割部７１は、主要被写体が移動被写体である場合は、移動被写体の移動方向を確認する。移動被写体の移動方向が主に上下方向である場合は、分割部７１は、図８（Ａ）に示した第１配列パターンに従って第１領域と第２領域とを設定する。移動被写体の移動方向が主に左右方向である場合は、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。さらに、移動被写体の上下方向の移動速度が速い場合は、分割部７１は、図８（Ｄ）に示した第４配列パターンに従って第１領域と第２領域と第３領域とを設定する。なお、分割部７１は、ステップＳ２２において、駆動部２１に対して各領域（第１領域及び第２領域、第１領域〜第３領域）のブロックの位置などを指示する指示信号を出力する。

図１４は、第２動画モードが実行されるときの第２配列パターンの設定例を示す図である。なお、図１４においては、ブロックの配置を見えやすくするために、各ブロックを大きくして表現している。しかし、実際には図１４に示すブロックの大きさよりも小さなブロックが画素領域１１３Ａに設定される。図１４に示す例では、検出部３２Ａは、主要被写体（移動被写体）として、サッカーをしている人物Ｏ１，Ｏ２と、サッカーボールＯ３とを検出する。また、検出部３２Ａは、画像データに含まれる人物Ｏ１，Ｏ２を主要被写体として検出する。分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体Ｏ１〜Ｏ３が移動被写体であり、移動被写体の移動方向が主に左右方向であると判定する。その結果、分割部７１は、図８（Ｂ）に示した第２配列パターンに従って第１領域と第２領域とを設定する。また、分割部７１は、主要被写体Ｏ１，Ｏ２が人物であると判定する。その結果、分割部７１は、第２領域のうち、主要被写体Ｏ１，Ｏ２を囲む領域２００，２０１を第２領域Ａとし、主要被写体Ｏ１，Ｏ２を囲む領域２００，２０１以外の領域を第２領域Ｂとして設定する。

図１０の説明に戻り、駆動制御部７２は、検出部３２Ａの検出結果に基づいて、ステップＳ２２で設定した領域（図１４に示す例では、第１領域、第２領域Ａ、及び第２領域Ｂ）の撮像条件を設定する（ステップＳ２３）。具体的には、駆動制御部７２は、主要被写体に応じた撮像条件（フレームレート、ゲインなど）を指示する指示信号を駆動部２１に出力する。また、駆動制御部７２は、主要被写体に応じた撮像条件（色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータ）を指示する指示信号を画像処理部３０に出力する。

例えば、駆動制御部７２は、検出部３２Ａにより移動被写体が検出された場合には、第１領域のゲイン（ＩＳＯ感度）を高くするとともに、第１領域の電荷蓄積時間を速くする。また、駆動制御部７２は、検出部３２Ａにより移動被写体が検出されなかった場合には、第１領域のゲインを低くするとともに、第１領域の電荷蓄積時間を遅くする。また、駆動制御部７２は、検出部３２Ａにより移動被写体が検出された場合には、移動被写体の領域（主要被写体Ｏ１，Ｏ２を囲む領域２００，２０１、つまり第２領域Ａ）については、フレームレートを高くする。また、非移動被写体の領域（主要被写体Ｏ１，Ｏ２を囲む領域２００，２０１以外の領域、つまり第２領域Ｂ）については、フレームレートを第２領域Ａよりも低くする。

図９の説明に戻り、駆動制御部７２は、使用者により動画スイッチ５５ｃの操作が行われたか否かを判定する（ステップＳ１３）。駆動制御部７２は、動画スイッチ５５ｃの操作が行われたと判定した場合は、動画モード（第１動画モード又は第２動画モード）による撮像を撮像部２０に実行させる（ステップＳ１４）。なお、第１動画モードによる撮像については、通常の動画撮影と同様であるため、詳しい説明を省略する。

図１５は、第２動画モードにおける電荷蓄積のタイミングを示すタイミングチャートである。図１５に示す第２動画モード（静止画−動画ミックスモード）においては、例えば第１領域と第２領域Ａと第２領域Ｂとが設定される。第２動画モードでは、駆動制御部７２は、動画スイッチ５５ｃの操作が行われている間、第１領域に対して静止画の撮像を繰り返し実行するとともに、第２領域Ａ及び第２領域Ｂに対して動画の撮像を実行するように、駆動部２１に対して指示信号を出力する。図１５において、駆動部２１は、動画スイッチ５５ｃの操作が行われている間、第１領域における各画素について電荷蓄積時間Ｔ１で静止画を撮像させる。また、駆動部２１は、動画スイッチ５５ｃの操作が行われている間、第２領域Ａにおける各画素について電荷蓄積時間Ｔ２Ａで動画を撮像させる。また、駆動部２１は、動画スイッチ５５ｃの操作が行われている間、第２領域Ｂにおける各画素について電荷蓄積時間Ｔ２Ａよりも長い電荷蓄積時間Ｔ２Ｂで動画を撮像させる。フレームレートは電荷の蓄積時間に応じて変化する。このため、電荷蓄積時間Ｔ２Ａで撮像が実行される場合と電荷蓄積時間Ｔ２Ｂで撮像が実行される場合とで、それぞれ、動画のフレームレートが異なる。例えば、第２領域Ａの電荷蓄積時間Ｔ２Ａに対応するフレームレートは６０ｆｐｓであり、第２領域Ｂの電荷蓄積時間Ｔ２Ｂに対応するフレームレートは３０ｆｐｓである。電荷蓄積時間やフレームレートは、ステップＳ２３の撮像条件の設定処理において設定される。

また、撮像素子１００の第１領域から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ａは、分割部７１から出力された第１領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ａは、第１領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第１領域の画像データを生成する。

また、撮像素子１００の第２領域Ａから読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ｂは、分割部７１から出力された第２領域Ａの撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ｂは、第２領域Ａの各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第２領域Ａの画像データを生成する。

さらに、撮像素子１００の第２領域Ｂから読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ｂは、分割部７１から出力された第２領域Ｂの撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ｂは、第２領域Ｂの各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第２領域Ｂの画像データを生成する。また、画像生成部３１（画像生成部３１Ａ又は３１Ｂ）は、第２領域Ａの画像データと第２領域Ｂの画像データとを合成する。さらに、画像生成部３１（画像生成部３１Ａ又は３１Ｂ）は、第１領域の画像データと第２領域Ａの画像データと第２領域Ｂの画像データとを合成する。

このように、第２領域Ａのフレームレートが第２領域Ｂのフレームレートよりも高くしているので、動画における人物の主要被写体Ｏ１，Ｏ２の動きが滑らかになる。

図９の説明に戻り、表示制御部７３は、画像処理部３０が生成した動画の画像データを表示部５０に出力することにより、第１表示部５１に動画を表示させる（ステップＳ８）。また、表示制御部７３は、画像処理部３０が生成した静止画の画像データを表示部５０に出力することにより、第２表示部５３に静止画を表示させる（ステップＳ８）。

図１６は、第１表示部に動画を表示し、第２表示部に静止画を表示する場合の表示例を示す図である。図１６に示すように、表示制御部７３は、画像生成部３１が生成した第２領域Ａと第２領域Ｂとを合成した動画（２人の人物がサッカーをしている動画）を第１表示部５１に表示している。また、表示制御部７３は、画像生成部３１が生成した第１領域の静止画を表示している。

以上に説明したように、第１実施形態では、撮像素子１００を駆動制御する駆動制御部７２と、撮像素子１００の撮像領域１１３Ａを少なくとも第１領域と第２領域とに分割する分割部７１と、同一被写体に対して第１領域の撮像による第１画像と、第２領域の撮像による第２画像とのそれぞれを生成する画像生成部３１と、を備える構成とされている。このような構成によれば、同一被写体に対して複数種類の画像（複数の静止画、静止画と動画など）を生成することができる。従って、被写体や撮影状況に応じた複数種類の画像を生成することができ、撮像素子１００を備えた電子機器１の使い勝手が向上する。

また、駆動制御部７２は、第１領域の撮像開始のタイミングと、第２領域の撮像開始のタイミングを異ならせて撮像素子１００を駆動制御する。このような構成によれば、同一被写体に対して様々なタイミングにおいて複数種類の画像を生成することができる。また、単位時間あたりに数多くの画像を生成することができる。従って、使用者は好機な撮像タイミングを逃さずに撮像を行うことができる。

また、駆動制御部７２は、第１領域の撮像中に第２領域の撮像を行うので、第１領域の撮像と第２領域の撮像とを並列に実行することができ、同一被写体に対して露光時間の一部が重複する画像を撮像することができる。従って、今まで撮像できなかったタイミングで同一被写体の撮像を行うことができる。また、駆動制御部７２は、撮像素子１００の第１領域と第２領域との撮像条件として、フレームレート、ゲイン、露光時間のうち、少なくとも１つを異ならせる。このような構成によれば、使用者は異なる撮像条件で撮像された複数種類の画像を取得することができる。

また、画像生成部３１は、第１領域の撮像と、第２領域の撮像との少なくとも一方に基づいて、静止画を生成するので、同一被写体に対して複数種類の静止画を生成することができる。また、画像生成部３１は、第１領域の撮像と、第２領域の撮像とのいずれかに基づいて動画を生成するので、同一被写体に対して静止画と動画とを生成することができる。また、画像生成部３１は、第１画像と第２画像とに対してホワイトバランス、階調、色調補正のうち、少なくとも１つを異ならせた補正を行うので、使用者は異なるパラメータに基づいて画像処理された複数種類の画像を取得することができる。

また、分割部７１は、第１領域を複数の離散的な領域（複数の離散的なブロック）から形成するので、画像において部分的に解像度が低下してしまうことがなくなる。また、分割部７１は、第１領域と、第２領域とを可変に分割するので、撮影モードや被写体の種類などの様々な状況に応じた領域に分割することができる。

また、画像生成部３１で生成した画像から主要被写体を検出する検出部３２Ａを備え、分割部７１は、第１領域と第２領域とが主要被写体を含むように分割を行うので、主要被写体に対して第１領域の画像と第２領域の画像とを生成することができる。また、画像生成部３１によって生成された画像を表示部５０に表示させる表示制御部７３を有するので、使用者は表示部５０に表示された画像を確認することができる。また、撮像素子１００は、裏面照射型撮像チップと信号処理チップとが積層された構造であるので、撮像素子１００を収容するための容積を小さくすることができる。また、システム制御部７０からの指示に基づいて撮像素子１００の駆動制御を行うことができ、システム制御部７０の負担が軽減されるとともに、撮像素子１００の電子機器１への搭載が容易となる。

なお、図５に示す第１実施形態に係る電子機器１において、表示部５０は電子機器の外部に設けられる構成であってもよい。この場合、システム制御部７０及び表示部５０のそれぞれには、有線又は無線で信号（画像データや制御信号など）を送受信する通信部が設けられる。また、画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つ又は複数のＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。また、画像処理部３０は２つの画像処理部３０Ａ，３０Ｂを備えていたが、１つの画像処理部だけを備えている構成でもよい。

次に、第１実施形態の変形例について説明する。図８（Ａ）〜（Ｃ）では、第１領域の面積と第２領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第１領域の画素数と第２領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。また、図８（Ｄ）では、第１領域の面積と第２領域の面積と第３領域の面積とが同じ面積となるように各ブロックの配列パターンが設定されていた。すなわち、第１領域の画素数と第２領域の画素数と第３領域の画素数とが同じ画素数となるように各ブロックの配列パターンが設定されていた。しかし、各領域の面積（画素数）が異なるように各ブロックの配列パターンが設定されてもよい。

図１７は、各ブロックにおける第５配列パターンを示す図である。図１７に示す第５配列パターンは、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第５配列パターンでは、画素領域１１３Ａにおいて、第２領域が３の倍数の列（３ｍ）のブロックで構成され、第１領域が第２領域以外のブロック、すなわち、３の倍数の例以外の列（３ｍ−２，３ｍ−１）のブロックで構成されている。ｍは正の整数（ｍ＝１，２，３，・・・）である。このような配列パターンの場合、第１領域の面積と第２領域の面積との比が２：１となる。

図１８は、各ブロックにおける第６配列パターンを示す図である。図１８に示す第６配列パターンも、画素領域１１３Ａが第１領域と第２領域とに２分割される配列パターンである。この第６配列パターンでは、画素領域１１３Ａにおいて、奇数の列（２ｍ−１）における４の倍数の行から１行前の行（４ｎ−１）のブロックと、偶数の列（２ｍ）における４の倍数の行から３行前の行（４ｎ−３）のブロックとで第２領域が構成され、第１領域が第２領域以外のブロックで構成されている。ｍ及びｎは正の整数（ｍ＝１，２，３，・・・、ｎ＝１，２，３，・・・）である。このような配列パターンの場合、第１領域の面積と第２領域の面積との比が３：１となる。

図１０のステップＳ２２において、分割部７１は、使用者によって選択された撮影モードが第２動画モードであると判定した場合は、図１７に示す第５配列パターン又は図１８に示す第６配列パターンに従って、第１領域と第２領域とを設定する。また、分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体が非移動被写体であると判定した場合は、図１８に示す第６配列パターンに従って、第１領域と第２領域とを設定する。また、分割部７１は、検出部３２Ａの検出結果に基づいて、主要被写体が移動被写体であり、その移動被写体の移動方向が主に上下方向であると判定した場合は、図１７に示す第５配列パターンに従って、第１領域と第２領域とを設定する。

そして、ステップＳ１４において、駆動制御部７２は、駆動部２１に指示信号を出力することにより、駆動部２１に対して、第１領域において静止画を撮像させ、第２領域において動画を撮像させる。第１領域と第２領域とが第５配列パターンに従って設定された場合は、静止画の方が動画よりも画素数が２倍となる。すなわち、静止画の方が動画よりも解像度が２倍となる。また、第１領域と第２領域とが第６配列パターンに従って設定された場合は、静止画の方が動画よりも画素数が３倍となる。すなわち、静止画の方が動画よりも解像度が３倍となる。これは、静止画が動画に比べて、より精細な画質が要求される。また、動画の場合は、被写体が動いていることが多いので、画質の低下が静止画よりも目立たない。このような理由から、動画よりも静止画に対して多くの領域を割り当てるようにしている。なお、画素領域１１３Ａの画素数が２０００万画素であるとした場合、動画の画素数（第２領域の画素数）が１／３や１／４に低下したとしても、６６６万画素や５００万画素が確保される。このような画素数は市販のビデオカメラの画素数と比較しても遜色ない画素数である。

＜第２実施形態＞
上記した第１実施形態では、図１２（Ｂ）に示すように、第２静止画モードにおいて、第１領域の撮像開始のタイミングと第２領域の撮像開始のタイミングとを異ならせていた。これに対して、第２実施形態では、第２静止画モードにおいて、第１領域の撮像開始のタイミングと第２領域の撮像開始のタイミングとを同一とし、第１領域の露光時間（すなわち電荷蓄積時間）と第２領域の露光時間とを異ならせる。

図１９は、第２実施形態における電荷蓄積のタイミングを示すタイミングチャートである。図１９に示す第２静止画モードにおいては、第１領域と第２領域とが設定されている。図１９に示すように、駆動部２１は、レリーズスイッチ５５ａの操作が行われている間、第１領域における各画素について電荷蓄積時間（露光時間）Ｔ１１で静止画を繰り返し撮像させる。また、駆動部２１は、レリーズスイッチ５５ａの操作が行われている間、第２領域における各画素について電荷蓄積時間（露光時間）Ｔ１２で静止画を繰り返し撮像させる。ここで、第１領域の撮像開始のタイミングと第２領域の撮像開始のタイミングは同一となっている。一方、第１領域の電荷蓄積時間Ｔ１１と第２領域の電荷蓄積時間Ｔ１２とは異なっている。すなわち、電荷蓄積時間Ｔ１１よりも電荷蓄積時間Ｔ１２の方が長くなるように設定されている。電荷蓄積時間は、ステップＳ２３の撮像条件の設定処理において設定される。

撮像素子１００の第１領域から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ａは、分割部７１から出力された第１領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ａは、第１領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第１領域の画像データを生成する。

また、撮像素子１００の第２領域から読み出された各画素の画素信号は、アンプ４１２において分割部７１から指示されたゲインで増幅された後、画像処理部３０に出力される。画像生成部３１Ｂは、分割部７１から出力された第２領域の撮像条件を指示する指示信号に基づいて、色信号処理などの画像処理で用いるパラメータを確認する。そして、画像生成部３１Ｂは、第２領域の各画素の画素信号からなるＲＡＷデータに対して、パラメータに基づいて種々の画像処理を行うことにより第２領域の画像データを生成する。また、画像生成部３１（画像合成部３１Ａ又は３１Ｂ）は、第１領域の画像データと第２領域の画像データとを合成する。

図２０は、第２実施形態における第１表示部及び第２表示部に静止画を表示する場合の表示例を示す図である。図２０において、表示制御部７３は、第２表示部５３の表示画面の左側領域５３Ｌにおいて、第１領域の静止画（夜間に撮像した人物の画像）を表示する。また、表示制御部７３は、第２表示部５３の表示画面の右側領域５３Ｒにおいて、第２領域の静止画を表示する。また、表示制御部７３は、第１表示部５１の中央領域５１Ｇにおいて、第１領域の静止画と第２領域の静止画とを合成した静止画を表示する。

一般に、幅広いダイナミックレンジの画像を記録し表示するための画像合成技術として、ＨＤＲ(High Dynamic
Range)撮像が広く知られている。ＨＤＲ撮像では、撮像条件（例えば露出）を変化させつつ複数枚の画像を撮像し、それらを合成することにより白飛びや黒つぶれの少ない画像を生成する。しかし、従来のＨＤＲでは、例えば撮像条件の異なる２枚の画像を撮像する撮像時間が異なっているため、被写体が移動したり、使用者（撮影者）が電子機器１を動かしたりしてしまうことがある。この場合、複数枚の画像は同一の被写体の画像ではないため、画像合成が困難である。これに対して、第２実施形態では、撮像条件の異なる２枚の画像の撮像時間を同じ時刻（又は略同じ時刻）とすることができる。従って、第２実施形態の構成により従来のＨＤＲ撮像の問題点を解決することができる。なお、ＨＤＲモードは、使用者によるマルチセレクタ５５ｄの操作などに応じて選択可能に構成する。

＜第３実施形態＞
第３実施形態では、上記した第１実施形態における電子機器１を、撮像装置１Ａと電子機器１Ｂとに分離した構成としている。

図２１は、第３実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。図２１に示す構成において、撮像装置１Ａは、被写体の撮像を行う装置である。この撮像装置１Ａは、レンズ部１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、記録部６０、及び第１システム制御部７５を備える。なお、撮像装置１Ａのうち、１０、撮像部２０、画像処理部３０、ワークメモリ４０、操作部５５、及び記録部６０の構成は、図５に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

また、電子機器１Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器１Ｂは、表示部５０及び第２システム制御部（制御部）７０Ｂを備える。なお、電子機器１Ｂのうちの表示部５０の構成は、図５に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

第１システム制御部７５は、第１通信部７５Ａを有している。また、第２システム制御部７６は、第２通信部７６Ｂを有している。第１通信部７５Ａと第２通信部７６Ｂとは、互いに有線又は無線で信号を送受信する。また、第１システム制御部７５は、図７に示す構成のうち、例えば分割部７１及び駆動制御部７２に相当する構成を有している。また、第２システム制御部７６は、図７に示す構成のうち、例えば表示制御部７３に相当する構成のみ有している。

図７に示す構成（分割部７１、駆動制御部７２、及び表示制御部７３）は、第１システム制御部７５と第２システム制御部７６のいずれに設けられてもよい。図７に示すすべての構成は、第１システム制御部７５又は第２システム制御部７６に設けられてもよく、また図７に示す構成の一部が第１システム制御部７５に設けられ、図７に示す構成の一部以外の構成が第２システム制御部７６に設けられてもよい。

なお、撮像装置１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。

図２１に示す第１システム制御部７５は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。また、図２１に示す第２システム制御部７６は、ＣＰＵ（図示せず）が制御プログラムに基づいて処理を実行することにより実現される。

なお、図２１に示す構成において、画像処理部３０と第１システム制御部７５とは一体で構成されてもよい。この場合、１つ又は複数のＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部３０の機能と第１システム制御部７５の機能を担う。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。

例えば、上記した第１実施形態及び第２実施形態において、電子機器１は、撮像部２０と、画像生成部３１を含む画像処理部３０と、分割部７１及び駆動制御部７２を含むシステム制御部７０とを備えていれば、レンズ部１０や記録部６０などを備えていなくてもよい。すなわち、これらの構成は電子機器１と別構成とされていてもよい。また、上記した第３実施形態において、撮像装置１Ａについても、レンズ部１０や記録部６０などは別構成とされていてもよい。

また、上記した各実施形態において、カラーフィルタ１０２の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ１３１を形成する画素の数は、少なくとも１つの画素を含んでいればよい。また、ブロックも少なくとも１画素を含んでいればよい。従って、１画素ごとに異なる撮像条件で撮像を実行することも可能である。

また、上記した各実施形態において、駆動部２１は、一部又はすべての構成が撮像チップ１１３に搭載されてもよいし、一部又はすべての構成が信号処理チップ１１１に搭載されてもよい。また、画像処理部３０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。また、システム制御部７０の一部の構成が撮像チップ１１３又は信号処理チップ１１１に搭載されてもよい。

また、上記した各実施形態において、撮像条件として、ゲイン、電荷蓄積時間（露光時間、シャッタースピード）、フレームレートのすべてが変更可能に構成されているが、これらの少なくとも１つを変更可能であればよい。また、撮像条件が自動的に設定される場合についてのみ説明したが、使用者による操作部５５などの操作に応じて設定されるようにしてもよい。

また、上記した各実施形態において、ブロックの配列パターンとして、図８（Ａ）〜（Ｄ）、図１７、及び図１８に例示したが、これらの配列パターンに限られない。また、使用者が、操作部５５などを操作することによりブロックの配列パターンを選択するようにしてもよい。また、撮像部２０で撮像された静止画や動画を表示する箇所は、第１表示部５１であっても第２表示部５３であってもよい。また、上記した各実施形態では、ブロックの領域の大きさが予め設定されている場合について説明したが、使用者がブロックの領域の大きさを設定するように構成してもよい。

また、上記した第１実施形態において、分割部７１は、ライブビュー画像に基づいて被写体を認識し、領域の設定を行っていた。しかし、分割部７１は、レリーズスイッチ５５ａや動画スイッチ５５ｃの半押し操作が行われたときに、そのときの画像に基づいて被写体を認識し、領域の設定を行いようにしてもよい。

また、上記した第１実施形態において、流し撮りを行うための撮影モードを設けてもよい。流し撮りとは、移動被写体がブレず、背景（非移動被写体）がブレることにより移動被写体のスピード感を表現する撮影方法である。流し撮りの撮影モードでは、第１領域において電荷蓄積時間（露光時間）が長く背景が流れる流し撮り画像を撮像し、第２領域において電荷蓄積時間が第１領域の電荷蓄積時間よりも短い通常の流し撮り画像を撮像する。そして、画像生成部３１（又は使用者）は、第１領域の流し撮り画像と第２領域の流し撮り画像とを適宜合成する。

１，１Ｂ…電子機器、１Ａ…撮像装置、２０…撮像部、３０…画像処理部、３１，３１Ａ，３１Ｂ…画像生成部、３２Ａ…検出部、５０…表示部、５１…第１表示部、５２…第１タッチパネル、５３…第２表示部、５４…第２タッチパネル、７０…システム制御部、７０Ａ…第１システム制御部、７０Ｂ…第２システム制御部（制御部）、７１…分割部、７２…駆動制御部、７３…表示制御部、１００…撮像素子

本発明は、電子機器、及び撮像素子に関する。

本発明の態様によれば、光学系から射出された光を撮像して信号を出力する撮像素子であって、入射した光により表示部に表示する第１画像を生成するために用いる第１信号を生成する第１領域と、入射した光により表示部に表示する第２画像を生成するために用いる第２信号を生成する第２領域と、を有する撮像素子と、第１領域における撮像の条件と、第２領域における撮像の条件とが異なるように撮像素子を制御する制御部とを備える電子機器が提供される。また、本発明の態様によれば、光学系から射出された光を撮像して信号を出力する撮像素子であって、入射した光により表示部に表示する第１画像を生成するために用いる第１信号を生成する第１領域と、入射した光により表示部に表示する第２画像を生成するために用いる第２信号を生成する第２領域とを備え、第１領域における撮像の条件と、第２領域における撮像の条件とが異なる撮像素子が提供される。また、本発明の態様によれば、光学系から射出された光を撮像して信号を出力する撮像素子であって、入射した光により第１画像を生成するために用いる第１信号を生成する第１領域と、入射した光により第２画像を生成するために用いる第２信号を生成する第２領域と、を有する撮像素子と、第１領域における撮像の条件と、第２領域における撮像の条件とが異なるように撮像素子を制御する制御部と、第１画像と第２画像とを記憶媒体に記憶する記憶部と、を備える電子機器が提供される。また、本発明の第１態様によれば、撮像素子を駆動制御する駆動制御部と、撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割する分割部と、同一被写体に対して第１領域の撮像による第１画像と、第２領域の撮像による第２画像とのそれぞれを生成する画像生成部と、を備える電子機器が提供される。

Claims (16)

1. 撮像素子を駆動制御する駆動制御部と、
   前記撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割する分割部と、
   同一被写体に対して前記第１領域の撮像による第１画像と、前記第２領域の撮像による第２画像とのそれぞれを生成する画像生成部と、を備える電子機器。
2. 前記駆動制御部は、前記第１領域の撮像開始のタイミングと、前記第２領域の撮像開始のタイミングを異ならせて前記撮像素子を駆動制御する請求項１記載の電子機器。
3. 前記駆動制御部は、前記第１領域の撮像中に前記第２領域の撮像を行う請求項１または２記載の電子機器。
4. 前記駆動制御部は、前記撮像素子の前記第１領域と前記第２領域との撮像条件として、フレームレート、ゲイン、露光時間のうち、少なくとも１つを異ならせる請求項１から３のいずれか一項に記載の電子機器。
5. 前記画像生成部は、前記第１領域の撮像と、前記第２領域の撮像との少なくとも一方に基づいて、静止画を生成する請求項１から４のいずれか一項に記載の電子機器。
6. 前記画像生成部は、前記第１領域の撮像と、前記第２領域の撮像とのいずれかに基づいて動画を生成する請求項１から５のいずれか一項に記載の電子機器。
7. 前記画像生成部は、前記第１画像と前記第２画像とを合成する請求項１から６のいずれか一項に記載の電子機器。
8. 前記画像生成部は、前記第１画像と前記第２画像とに対してホワイトバランス、階調、色調補正のうち、少なくとも１つを異ならせた補正を行う請求項１から７のいずれか一項に記載の電子機器。
9. 前記分割部は、前記第１領域の画素数と、前記第２領域の画素数とを異ならせる請求項１から８のいずれか一項に記載の電子機器。
10. 前記分割部は、前記第１領域を複数の離散的な領域から形成する請求項１から９のいずれか一項に記載の電子機器。
11. 前記分割部は、前記第１領域と、前記第２領域とを可変に分割する請求項１から１０のいずれか一項に記載の電子機器。
12. 前記画像生成部で生成した画像から主要被写体を検出する検出部を備え、
    前記分割部は、前記第１領域と前記第２領域とが前記主要被写体を含むように前記分割を行う請求項１から１１のいずれか一項に記載の電子機器。
13. 前記画像生成部によって生成された画像を表示部に表示させる表示制御部と、を有する請求項１から１２のいずれか一項に記載の電子機器。
14. 前記撮像素子は、裏面照射型撮像チップと信号処理チップとが積層された構造である請求項１から１３のいずれか一項に記載の電子機器。
15. 撮像部を有する電子機器の制御方法であって、
    前記撮像部の撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割することと、
    同一被写体に対して前記第１領域の撮像による第１画像と、前記第２領域の撮像による第２画像とのそれぞれを生成することと、を含む電子機器の制御方法。
16. 撮像素子を有する電子機器の制御装置に、
    前記撮像部の撮像素子の撮像領域を少なくとも第１領域と第２領域とに分割する分割処理と、
    同一被写体に対して前記第１領域の撮像による第１画像と、前記第２領域の撮像による第２画像とのそれぞれを生成する画像生成処理と、を実行させ制御プログラム。