図1は、第1実施形態の撮像素子100の断面図である。撮像素子100は、本願出願人が先に出願した特願2012−139026号に記載されているものである。撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と撮像チップ113から出力された画素信号を処理する信号処理チップ111と信号処理チップ111で処理された画素信号を記憶するメモリチップ112とを備える。撮像チップ113、信号処理チップ111及びメモリチップ112は積層されており、撮像チップ113及び信号処理チップ111は、Cu等の導電性を有するバンプ109により互いに電気的に接続される。また、信号処理チップ111及びメモリチップ112は、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
図示した座標軸で示すように、入射光は主にZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸で示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸及びX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode;以下、PDという。)104、及び、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104、及びトランジスタ105の組が一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層108の表面には複数のバンプ109が配される。これら複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされる。そして、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111及びメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされる。そして、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域(図2に示す画素領域113A)以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via;シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられる。また、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
図2は、撮像チップ113の画素配列と単位グループを説明する図である。図2では、特に、撮像チップ113を裏面側から観察した様子を示す。撮像チップ113において画素が配列された領域を画素領域(撮像領域)113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。図2に示す例では、隣接する4画素×4画素の16画素が一つの単位グループ131を形成する。図2の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
画素領域113Aの部分拡大図に示すように、単位グループ131は、緑色画素Gb,Gr、青色画素B、及び赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
図3は、撮像チップ113の単位グループに対応する回路図である。図3において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
上述したように、単位グループ131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続される。各転送トランジスタ302のゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されるとともに、転送トランジスタ302のドレインと各リセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFD(電荷検出部)が増幅トランジスタ304のゲートに接続される。各リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続される。各リセットトランジスタ303のゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。各々の選択トランジスタ305のゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加される。これと同時に、TX配線307を通じて転送パルスが転送トランジスタ302に印加される。これにより、PD104及びフローティングディフュージョンFDの電位はリセットされる。
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、PD104において蓄積された電荷はフローティングディフュージョンFDへ転送される。これにより、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304及び選択トランジスタ305を介して出力配線309に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
図3に示すように、本実施形態においては、単位グループ131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素すべてに対して同時に印加される。従って、単位グループ131を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309に出力される。また、リセット配線306、TX配線307、出力配線309は、単位グループ131毎に別個に設けられる。
このように単位グループ131を基準として回路を構成することにより、単位グループ131ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ131間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ131に1回の電荷蓄積を行わせている間に、他方の単位グループ131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ131間で異なるフレームレートで動画用の各フレームを出力することもできる。
図4は、撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131を形成する16個のPD104を順番に選択する。そして、マルチプレクサ411は、16個のPD104のそれぞれの画素信号を当該単位グループ131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ113に形成される。
マルチプレクサ411を介して出力されたアナログ信号の画素信号は、信号処理チップ111に形成されたアンプ412により増幅される。そして、アンプ412で増幅された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS;Correlated Double Sampling)・アナログ/デジタル(Analog/Digital)変換を行う信号処理回路413により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。画素信号が信号処理回路413において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。A/D変換された画素信号は、デマルチプレクサ414に引き渡され、それぞれの画素に対応する画素メモリ415に格納される。デマルチプレクサ414及び画素メモリ415は、メモリチップ112に形成される。
演算回路416は、画素メモリ415に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路416は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131ごとに存在して、並列で動作する。ただし、演算回路416は単位グループ131ごとに存在しなくてもよい。例えば、一つの演算回路416がそれぞれの単位グループ131に対応する画素メモリ415の値を順に参照しながらシーケンシャルに処理してもよい。
上記した通り、単位グループ131のそれぞれに対応して出力配線309が設けられている。撮像素子100は、撮像チップ113、信号処理チップ111、及びメモリチップ112を積層している。このため、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
次に、撮像チップ113の画素領域113A(図2参照)に設定されるブロック及びブロック内に設定される領域について説明する。図5は、第1実施形態の複数のブロック200Aとブロック200A内における複数の領域201,202,203とを示す図である。図5に示すように、撮像チップ113の画素領域113Aは、複数のブロック200Aに分割される。複数のブロック200Aは、1ブロックにつき単位グループ131を少なくとも1つ含むように定義される。各ブロック200Aはそれぞれ異なる制御パラメータで各ブロック200Aに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率(画素間引き率)、画素信号を加算する加算行数又は加算列数(画素加算数)、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
本実施形態において、画素領域113Aの複数のブロックのうち、あるブロックを「第1領域」といい、別のブロックを「第2領域」ということがある。撮像素子100は、被写体からの光束を第1領域と第2領域とで受光し、第1領域と第2領域とを異なる制御パラメータで撮像可能な素子であると表現することができる。
図5の部分拡大図に示すように、ブロック200Aには、第1測光領域201、第2測光領域202、及び第3測光領域203が設けられている。第1測光領域201、第2測光領域202、及び第3測光領域203は、それぞれ異なる制御パラメータ(例えば電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)で制御されることにより、被写体からの光束を測光する。第1測光領域201は、適正露出となるような制御パラメータ(つまり、画像の明るさが適正となるような制御パラメータ)が設定される。第2測光領域202は、適正露出よりも露出が高いオーバー露出となるような制御パラメータが設定される。第3測光領域203は、適正露出よりも露出が低いアンダー露出となるような制御パラメータが設定される。このように、本実施形態の撮像素子100は、複数のブロック200Aごとに異なる制御パラメータで撮像して画素信号を出力することが可能であるとともに、各ブロック200Aにおける複数の測光領域ごとに異なる制御制御パラメータで撮像して画素信号を出力することも可能である。
図5の部分拡大図に示すように、ブロック200Aにおいて、複数の第2測光領域202が離散的かつ均等に形成されるとともに、複数の第3測光領域203が離散的かつ均等に形成されている。第2測光領域202及び第3測光領域203は、それぞれ、小さい方形状の領域として形成されている。図5に示す例では、第2測光領域202と第3測光領域203とは上下及び左右において交互に配置されている。ブロック200Aにおいて、第1測光領域201は第2測光領域202及び第3測光領域203以外の領域である。第1測光領域201、第2測光領域202、及び第3測光領域203は、それぞれ、単位グループ131を少なくとも1つ含むように定義される。
図5に示す例では、第2測光領域202の面積と第3測光領域203の面積は同じである。第1測光領域201の面積は、第2測光領域202の面積や第3測光領域203の面積よりも広くなっている。このように、ブロック200Aにおいては、第1測光領域201と、第2測光領域202及び第3測光領域203とで面積比率が異なる。なお、図5に示す例では、すべてのブロック200Aにおいて第1測光領域201、第2測光領域202、及び第3測光領域203が設定されることを想定している。しかし、画素領域113A内のブロックのうち、所定のブロックについてだけ第1測光領域201、第2測光領域202、及び第3測光領域203が設定される構成でもよい。この場合、画素領域113A全体で測光を行うことができるように、所定のブロックは画素領域113Aの全面的に複数配置される。所定のブロック以外のブロックには、第2測光領域202及び第3測光領域203が設けられず、すべて第1測光領域201となる。
なお、図5において、ブロック200Aの配置を見えやすくするために、画素領域113Aにおいて少ない数のブロック200Aが設定されているが、図5に示すブロック200Aの数よりも多い数のブロック200Aが画素領域113Aに設定されてもよい。
次に、制御パラメータについて説明する。電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。この電荷蓄積時間のことを露光時間又はシャッター速度(シャッタースピード)ともいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体(すなわち撮像される対象物)の動きが滑らかになる。
また、ゲインとは、アンプ412の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子100の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子100が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ131がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の2画素ずつ(2行ずつ)交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子100には2000万以上の画素が配置されているため、例えば間引き率0.5で間引きを行ったとしても、1000万以上の画素で画像を表示することができる。
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路416において行われる。演算回路416が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路416が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
また、デジタル化のビット数とは、信号処理回路413がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
本実施形態において、蓄積条件とは、撮像素子100における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。
また、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインに応じて適正露出の光量が変化することから、本実施形態において、蓄積条件のことを露出条件(露出に関する条件)と言い換えることがある。
また、本実施形態において、撮像条件とは、被写体の撮像に関する条件のことをいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子100を制御するための制御パラメータ(例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)のほかに、撮像素子100からの信号の読み出しを制御するための制御パラメータ(例えば、間引き率、画素信号を加算する加算行数又は加算列数)、撮像素子100からの信号を処理するための制御パラメータ(例えば、デジタル化のビット数、後述する画像処理部30が画像処理を実行するための制御パラメータ)も含まれる。
図6は、電子機器の一例であるデジタルカメラ1の概略構成を示す横断面図である。本実施形態のデジタルカメラ1は、レンズ部10及びカメラボディ2を備えている。レンズ部10は、交換式レンズである。カメラボディ2には、レンズ部10を装着するためのボディ側マウント部80Aが設けられている。また、レンズ部10には、ボディ側マウント部80Aと対応するレンズ側マウント部80Bが設けられている。使用者がボディ側マウント部80Aとレンズ側マウント部80Bとを接合することにより、レンズ部10がカメラボディ2に装着される。レンズ部10がカメラボディ2に装着されると、ボディ側マウント部80Aに設けられた電気接点81Aと、レンズ側マウント部80Bに設けられた電気接点81Bとが電気的に接続される。
レンズ部10は、撮影光学系11、絞り14、及びレンズ駆動制御装置15を備えている。撮像光学系11には、レンズ11a、ズーミング用レンズ11b及びフォーカシング用レンズ11cが含まれる。レンズ駆動制御装置15は、レンズ側CPU(Central Processing Unit)、メモリ及び駆動制御回路を有している。レンズ駆動制御装置15は、電気接点81A,81Bを介してカメラボディ2側のシステム制御部(制御部)70と電気的に接続されて、レンズ部10に備えられた撮影光学系11の光学特性に関するレンズ情報の送信と、ズーミング用レンズ11b、フォーカシング用レンズ11c及び絞り14を駆動するための制御情報の受信とを行う。
レンズ駆動制御装置15のレンズ側CPUは、撮影光学系11の焦点調節を行うために、システム制御部70から送信される制御情報に基づいて、駆動制御回路にフォーカシング用レンズ11cの駆動制御を実行させる。レンズ駆動制御装置15のレンズ側CPUは、ズーミング調節を行うために、システム制御部70から送信される制御情報に基づいて、駆動制御回路にズーミング用レンズ11bの駆動制御を実行させる。絞り14は、撮影光学系11の光軸に沿って配置されている。絞り14は、光量及びボケ量調整のために光軸中心に開口径が可変な開口を形成する。レンズ駆動制御装置15のレンズ側CPUは、絞り14の開口径調節を行うために、システム制御部70から送信される制御情報に基づいて絞り14の駆動制御を駆動制御回路に実行させる。
カメラボディ2は、撮像部20、画像処理部30、表示部50、記憶部60及びシステム制御部(制御部)70を備えている。撮像部20は、撮像素子100を有する。撮像素子100には、レンズ部10の撮影光学系11から射出された光束が入射する。撮像素子100は、入射した光束を光電変換して撮像素子の各画素の画素信号(画素信号は画像データに含まれる。)を生成する。各画素の画素信号からなるRAWデータ(RAWデータも画像データに含まれる。)が撮像部20から画像処理部30に送られる。画像処理部30は、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、所定のファイル形式(例えば、JPEG形式等)の画像データを生成する。表示部50は、画像処理部30が生成した画像データを表示する。記憶部60は、画像処理部30が生成した画像データを記憶する。
なお、「画像データ」のことを「画像信号」ということがある。また、画像には、静止画、動画、ライブビュー画像が含まれる。ライブビュー画像は、画像処理部30で生成された画像データを表示部50に順次出力して表示部50に表示される画像である。ライブビュー画像は、撮像部20により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
システム制御部70は、デジタルカメラ1の全体の処理及び動作を制御する。なお、システム制御部70の処理及び動作の詳細、及びカメラボディ2内の構成の詳細については、以下の図7において説明する。
図7は、第1実施形態に係るデジタルカメラ1の構成を示すブロック図である。図7に示すように、デジタルカメラ1は、カメラボディ2とレンズ部10とを備える。上述したように、レンズ部10は、カメラボディ2に対して着脱可能な交換式レンズである。従って、デジタルカメラ1は、レンズ部10を備えていなくてもよい。ただし、レンズ部10はデジタルカメラ1と一体構成であってもよい。レンズ部10は、カメラボディ2に接続された状態において、被写体からの光束を撮像部20へ導く。
レンズ部10は、上述したように、レンズ駆動制御装置15を有している(図6参照)。また、レンズ部10は、撮影光学系11としての複数のレンズ群、つまり、レンズ11a、ズーミング用レンズ11b、及びフォーカシング用レンズ11cを有している。レンズ駆動制御装置15は、レンズ部10がカメラボディ2に接続された場合に、メモリに記憶されているレンズ情報をカメラボディ2のシステム制御部70に送信する。また、レンズ駆動制御装置15は、レンズ部10がカメラボディ2に接続された場合に、システム制御部70から送信される制御情報(移動量、絞り値など)を受信する。レンズ駆動制御装置15は、制御情報に基づいて、ズーミング用レンズ11b、フォーカシング用レンズ11c、及び絞り14の駆動制御を行う。フォーカシング用レンズ11cの駆動制御は、フォーカシング用レンズ11cの焦点調節を行うための制御であり、AF処理(Automatic Focusing)という。また、絞り14の駆動制御は、絞り14の開口径調節を行うための制御であり、AE処理(Automatic Exposure)という。
図7に示すように、カメラボディ2は、撮像部20、画像処理部30、ワークメモリ40、表示部50、操作部55、記録部60、及びシステム制御部70を備える。
撮像部20は、撮像素子100及び駆動部21を有している。駆動部21は、システム制御部70からの指示に従って、撮像素子100の駆動を制御する制御回路である。ここで、駆動部21は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ303及び転送トランジスタ302に印加するタイミング(又はタイミングの周期)を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ303、転送トランジスタ302、及び選択トランジスタ305に印加するタイミング(又はタイミングの周期)を制御することにより、フレームレートを制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
また、駆動部21は、アンプ412のゲイン(利得率、増幅率ともいう。)を制御することにより、撮像素子100のISO感度を制御する。また、駆動部21は、演算回路416に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部21は、信号処理回路413に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部21は、撮像素子100の画素領域(撮像領域)113Aにおいてブロック200A単位で領域を設定するとともに、各ブロック200Aにおいて測光領域201,202,203を設定する。このように、駆動部21は、撮像素子100に対して複数のブロック200Aごとに異なる撮像条件で撮像させて画素信号を出力させ、また、各ブロック200A内の測光領域201,202,203ごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部70は、駆動部21に対してブロック200Aの位置、形状、範囲などの指示を行う。また、システム制御部70は、駆動部21に対して測光領域201,202,203の位置、形状、範囲などの指示も行う。
撮像素子100は、撮像素子100からの画素信号を画像処理部30へ引き渡す。画像処理部30は、ワークメモリ40をワークスペースとして、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、所定のファイル形式(例えば、JPEG形式等)の画像データを生成する。画像処理部30は、以下の画像処理を実行する。例えば、画像処理部30は、ベイヤー配列で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像信号を生成する。また、画像処理部30は、RGB画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部30は、生成した画像データを記録部60に出力する。また、画像処理部30は、生成した画像データを表示部50に出力する。
画像処理部30が画像処理を行う際に参照されるパラメータも制御パラメータ(撮像条件)に含まれる。例えば、色信号処理(色調補正)、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子100から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部30は、ブロック200Aごと及び測光領域201,202,203ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
本実施形態では、画像処理部30は、生成した画像データに基づいて公知の顔検出機能を用いて主要被写体の検出を行う。なお、画像処理部30は、時系列的に得られる複数の画像データを比較して、移動する被写体(移動被写体)を主要被写体として検出してもよい。また、画像処理部30は、顔検出に加えて、例えば特開2010−16621号公報(US2010/0002940号)に記載されているように、画像データに含まれる人体を主要被写体として検出してもよい。
ここで、「主要被写体」とは、撮像される対象物である被写体のうち、使用者(撮影者)に注目される被写体又は使用者に注目されると推定される被写体のことをいう。主要被写体は、画像データ中に1つだけ存在する場合に限らず、複数存在する場合もある。
ワークメモリ40は、画像処理部30による画像処理が行われる際に画像データなどを一時的に記憶する。表示部50は、撮像部20で撮像された画像(静止画、動画、ライブビュー画像)や各種情報を表示する。この表示部50は、例えば液晶表示パネルなどの表示パネル51を有している。表示部50の表示パネル51上にはタッチパネル52が形成されている。タッチパネル52は、使用者がメニューの選択などの操作を行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。
操作部55は、使用者によって操作されるレリーズスイッチ(静止画の撮影時に押されるスイッチ)、動画スイッチ(動作の撮影時に押されるスイッチ)、各種の操作スイッチなどである。この操作部55は、使用者による操作に応じた信号をシステム制御部70に出力する。記録部60は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部60は、カードスロットに装着された記録媒体に画像処理部30において生成された画像データや各種データを記憶する。また、記録部60は、内部メモリを有する。記録部60は、画像処理部30において生成された画像データや各種データを内部メモリに記録することも可能である。
システム制御部70は、デジタルカメラ1の全体の処理及び動作を制御する。このシステム制御部70はボディ側CPU(Central Processing Unit)を有する。本実施形態において、システム制御部70は、撮像素子100(撮像チップ113)の撮像面(画素領域113A)を複数のブロック200Aに分け、ブロック200A間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。また、システム制御部70は、各ブロック200Aを第1測光領域201、第2測光領域202、及び第3測光領域203に分け、測光領域201,202,203間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。このため、システム制御部70は、ブロック200Aの位置、形状、範囲、及び各ブロック200A用の撮像条件を駆動部21に対して指示する。また、システム制御部70は、ブロック200A内の測光領域201,202,203の位置、形状、範囲、及び測光領域201,202,203用の撮像条件を駆動部21に対して指示する。
また、システム制御部70は、ブロック200Aごと及び測光領域201,202,203ごとに異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部70は、各ブロック200A用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)及び測光領域201,202,203用の撮像条件を駆動部21に対して指示する。また、画像処理部30は、ブロックごと及び測光領域201,202,203ごとに異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)で画像処理を実行する。このため、システム制御部70は、各ブロック200A用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)及び測光領域201,202,203用の撮像条件を画像処理部30に指示する。
また、システム制御部70は、画像処理部30において生成された画像データを記録部60に記録させる。また、システム制御部70は、画像処理部30において生成された画像データを表示部50に出力させることにより、表示部50に画像を表示させる。また、システム制御部70は、記録部60に記録されている画像データを読み出して表示部50に出力させることにより、表示部50に画像を表示させる。表示部50に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。
本実施形態では、システム制御部70は、画素領域113Aの各領域に対して撮像条件を設定する。すなわち、システム制御部70は、画素領域113Aの各ブロック200Aに対して撮像条件を設定するとともに、各ブロック200Aの第1測光領域201、第2測光領域202、及び第3測光領域203に対して撮像条件を設定する。また、システム制御部70は、画素領域113Aの各領域において撮像が行われるように、撮像素子100の駆動制御を実行する。
また、システム制御部70は、レリーズスイッチの半押し操作が行われたことに基づいて、コントラストAFと呼ばれる被写体のコントラストが最大となるように焦点調節処理(AF処理)を実行する(図8のステップS8参照)。具体的には、システム制御部70は、電気接点81A,81Bを介して制御情報をレンズ駆動制御装置15に対して送信することにより、レンズ駆動制御装置15にフォーカシング用レンズ11cを移動させる。また、システム制御部70は、撮像部20が撮像した被写体の像のコントラスト(ここで、画像処理部30が主要被写体を検出した場合は、その主要被写体の像のコントラストの評価値)を表すコントラスト信号を画像処理部30から取得する。システム制御部70は、フォーカシング用レンズ11cを移動させながら、画像処理部30からのコントラスト信号に基づいて、被写体の像のコントラストが最も高くなるフォーカシング用レンズ11cの位置を焦点位置として検出する。システム制御部70は、検出した焦点位置にフォーカシング用レンズ11cを移動させるように、制御信号をレンズ駆動制御装置15に送信する。
システム制御部70は、ライブビュー画像の撮影中において露出調節処理(AE処理)を実行する(図8のステップS4,S5参照)。また、システム制御部70は、レリーズスイッチの半押し操作が行われた場合においても露出調節処理(AE処理)を実行する(図8のステップS9,S10参照)。具体的には、システム制御部70は、画像の輝度分布を示す輝度分布データを画像処理部30から取得する。このとき、システム制御部70は、第1測光領域201に対応した画像の輝度分布データ、第2測光領域202に対応した画像の輝度分布データ、及び第3測光領域203に対応した画像の輝度分布データを取得する。そして、システム制御部70は、これらの輝度分布データを用いて測光を行う。また、システム制御部70は、測光した結果に基づいて撮像条件(シャッター速度(露光時間、電荷蓄積時間)、フレームレート、及びゲイン(ISO感度)と絞り値とを決定する。このとき、システム制御部70は、撮像素子100の撮像領域113Aにおけるブロック200Aごとに適正露出となるような撮像条件を決定することが可能である。なお、絞り値については、ブロック200Aごとに設定することはできず撮像領域113A全面に対して設定する。
システム制御部70は、適正露出に応じた絞り値を示す制御情報をレンズ駆動制御装置15に送信することにより、絞り14の開口径調節のための駆動制御を実行させる。また、システム制御部70は、適正露出に応じたシャッター速度(電荷蓄積時間)、フレームレート、及びゲイン(ISO感度)を指示する指示信号を駆動部21に出力する。駆動部21は、指示信号により指示されたシャッター速度、フレームレート、及びゲインで撮像素子100を駆動制御する。
なお、システム制御部70は、ボディ側CPUが制御プログラムに基づいて処理を実行することにより実現される。
なお、上記した例では、システム制御部70は、レリーズスイッチの半押し操作が行われたことに基づいてAF処理を実行するように構成していたが、システム制御部70は、ライブビュー画像の撮影中、及び動画の撮影中においてもAF処理を実行するようにしてもよい。システム制御部70は、ライブビュー画像の撮影中、及びレリーズスイッチの半押し操作が行われたことに基づいてAE処理を実行するように構成していたが、システム制御部70は、動画の撮影中においてもAE処理を実行するようにしてもよい。
次に、デジタルカメラ1の撮影動作について説明する。図8は、第1実施形態のシステム制御部70が実行する撮影動作を説明するためのフローチャートである。図8に示す処理において、デジタルカメラ1に電源が投入された後、使用者が撮影を開始するために操作部55などの操作を行うと、システム制御部70は、撮像素子100の画素領域113Aにおいて領域毎の撮像条件を設定する(ステップS1)。ここでシステム制御部70により設定される撮像条件は、初期値の撮像条件(制御パラメータ)である。具体的には、システム制御部70は、各ブロック200Aの第1測光領域201に対してライブビュー画像において初期値の適正露出の撮像条件(予め適正露出となることを想定した標準の撮像条件)を設定する。また、システム制御部70は、各ブロック200Aの第2測光領域202に対して初期値のオーバー露出の撮像条件(予めオーバー露出となることを想定した標準の撮像条件)を設定する。また、システム制御部70は、各ブロック200Aの第3測光領域203に対して初期値のアンダー露出の撮像条件(予めアンダー露出となることを想定した標準の撮像条件)を設定する。
オーバー露出の撮像条件は、適正露出の撮像条件よりも、電荷蓄積時間が長く、ゲインが高い。また、アンダー露出の撮像条件は、適正露出の撮像条件よりも、電荷蓄積時間が短く、ゲインが低い。ステップS1においては、システム制御部70は、絞り値(初期値の絞り値)も設定する。システム制御部70は、駆動部21に対して各測光領域201,202,203の撮像条件を指示する指示信号を出力する。
次に、システム制御部70が撮影動作を開始する(ステップS2)。すなわち、システム制御部70は、駆動部21に対して指示信号を出力することにより、ステップS1において指示した撮像条件で撮像素子100の駆動制御を実行させる。
図9は、第1実施形態のブロック200A内における複数の領域201,202,203における電荷蓄積のタイミングを示すタイミングチャートである。図9に示すように、駆動部21は、第1測光領域201の各画素において電荷蓄積時間(露光時間)T1で電荷の蓄積を繰り返し実行させる。また、駆動部21は、第2測光領域202の各画素において電荷蓄積時間T1よりも長い電荷蓄積時間T2で電荷の蓄積を繰り返し実行させる。また、駆動部21は、第3測光領域203の各画素において電荷蓄積時間T1よりも短い電荷蓄積時間T3で電荷の蓄積を繰り返し実行させる。なお、フレームレートについては、第1測光領域201、第2測光領域202、及び第3測光領域203のいずれも同じである。これにより、撮像素子100の第1測光領域201の各画素から読み出された画素信号が画像処理部30に出力される。また、撮像素子100の第2測光領域202の各画素から読み出された画素信号が画像処理部30に出力される。また、撮像素子100の第3測光領域203の各画素から読み出された画素信号が画像処理部30に出力される。
撮影が開始されると、システム制御部70は、撮像素子100の第1測光領域201で撮像されたライブビュー画像を表示部50の表示パネル51に表示させる(ステップS3)。このように、表示部50の表示パネル51には、第1測光領域201で撮像されたライブビュー画像だけが表示され、第2測光領域202及び第3測光領域203で撮像されたライブビュー画像は表示されない。つまり、第2測光領域202及び第3測光領域203での撮像は測光のために用いられる。
図10は、第1実施形態における逆光シーン500の表示例を示す図である。図10に示す逆光シーン500は、表示部50の表示パネル51に表示されるシーンである。逆光シーン500には、人物O1と、山、海、雲などの背景O2と、太陽O3とが写っている。太陽O3が人物O1の後ろにあるため、逆光で人物O1が黒潰れしている。一方、太陽O3や、太陽O3を反射した海面や雲などは、順光で白飛びしている。
次に、システム制御部70は、ライブビュー画像の露出を設定する(ステップS4)。電源投入時は、システム制御部70は、ライブビュー画像の露出として、第1測光領域201、第2測光領域202、及び第3測光領域203に対して、初期値の電荷蓄積時間、ゲイン、及び絞り値を設定する。また、撮影が開始された後は、システム制御部70は、ライブビュー画像の露出として、第1測光領域201に対して、ステップS5のAE算出処理で算出された適正露出の電荷蓄積時間、ゲイン、及び絞り値を設定する。また、撮影が開始された後は、システム制御部70は、第2測光領域202に対して、ステップS5のAE算出処理で算出されたオーバー露出の電荷蓄積時間、ゲイン、及び絞り値を設定する。さらに、撮影が開始された後は、システム制御部70は、第3測光領域203に対して、ステップS5のAE算出処理で算出されたアンダー露出の電荷蓄積時間、ゲイン、及び絞り値を設定する。
次に、システム制御部70は、画像処理部30から出力されるライブビュー画像の輝度分布データに基づいて、ライブビュー画像の適正露出、オーバー露出、及びアンダー露出を算出するAE算出処理を実行する(ステップS5)。一例として、システム制御部70は、ブロック200Aの飽和レベル(白飛びした状態となる輝度レベル)に対して、オーバー露出を飽和レベルの1/2の輝度レベルとし、適正露出を飽和レベルの1/8の輝度レベルとし、アンダー露出を飽和レベルの1/32の輝度レベルとする。すなわち、システム制御部70は、オーバー露出を適正露出の4倍に設定するとともに、アンダー露出を適正露出の1/4倍に設定している。
また、システム制御部70は、ブロック200Aの第1測光領域201において、適正露出(1/8の輝度レベル)の撮像条件(電荷蓄積時間、ゲイン)及び絞り値で撮像されたライブビュー画像の輝度分布データに基づいて、ライブビュー画像の適正露出を補正する。具体的には、システム制御部70は、第1測光領域201の測光結果から被写界全体(表示パネル51に表示されるライブビュー画像全体)から適正露出を補正してもよく、各ブロック200A(ひいては各画素毎)に適正露出を補正してもよい。
また、システム制御部70は、ブロック200Aの第2測光領域202において、オーバー露出(1/2の輝度レベル)の撮像条件(電荷蓄積時間、ゲイン)及び絞り値で撮像された画像の輝度分布データに基づいて、この画像のオーバー露出を補正する。具体的には、システム制御部70は、オーバー露出(1/2の輝度レベル)の撮像条件及び絞り値で撮像された画像が黒潰れしている場合は、オーバー露出が低すぎることになる。この場合は、システム制御部70は、オーバー露出の輝度レベルを黒潰れがなくなるまで段階的に高くしていく。システム制御部70は、第2測光領域202で撮像した画像に基づき、画像処理部30が顔検出をした場合には、この顔検出をしたブロック200Aが適正露出となるように補正すればよい。この場合に、システム制御部は、被写界全体に対して同一の補正量を適用してもよく、ブロック200A毎に補正量を設定してもよく、顔検出したブロック200Aだけに補正量を設定するようにしてもよい。
また、システム制御部70は、ブロック200Aの第3測光領域203において、アンダー露出(1/32の輝度レベル)の撮像条件(電荷蓄積時間、ゲイン)及び絞り値で撮像された画像の輝度分布データに基づいて、この画像のアンダー露出を補正する。具体的には、システム制御部70は、アンダー露出(1/32の輝度レベル)の撮像条件及び絞り値で撮像された画像が白飛び(飽和)している場合は、アンダー露出が高すぎることになる。この場合は、システム制御部70は、アンダー露出の輝度レベルを白飛びがなくなるまで段階的に低くしていく。なお、適正露出の輝度レベルは、オーバー露出の輝度レベルとアンダー露出の輝度レベルの中間の輝度レベルとしてもよい。この場合に、システム制御部は、被写界全体に対して同一の補正量を適用してもよく、ブロック200A毎に補正量を設定してもよい。
このようにシステム制御部70が算出した適正露出、オーバー露出、及びアンダー露出の輝度レベルに基づいて、システム制御部70はステップS4でライブビュー画像の露出(撮像条件及び絞り値)を設定する。なお、画像処理部30は、システム制御部70がステップS4で設定したライブビュー画像の露出に応じて、ライブビュー画像のホワイトバランスを調整する処理を行う。
図11は、逆光シーン500における適正露出の画像(各ブロック200Aの第1測光領域201の画像)のヒストグラムを示す図である。図11に示すヒストグラムにおいて、横軸は画素の明るさ(輝度レベル、照度、階調)を示している。横軸の「0」は最も暗く(真っ黒)、右に行くほど明るくなる。横軸の「255」が最も明るい(真っ白)。縦軸はその明るさの画素がどれくらいあるかを示している(つまり、縦軸は同じ明るさの画素数を示している)。図11に示すヒストグラムにおいて、m1は人物O1の画像に対応した部分である。また、m2は太陽O3及びその周辺の画像に対応した部分である。このように、第1測光領域201において適正露出の撮像条件で撮像された場合は、低輝度被写体である人物O1は黒潰れしている。従って、システム制御部70は、人物O1の輝度分布データに基づいて輝度レベルを検出することができない。また、高輝度被写体である太陽O3などは白飛びしている。従って、システム制御部70は、太陽O3などの輝度分布データに基づいて輝度レベルを検出することができない。
図12は、逆光シーン500におけるオーバー露出の画像(各ブロック200Aの第2測光領域202の画像)のヒストグラムを示す図である。このため、図12に示すヒストグラムは、図11に示すヒストグラムを右側にシフトされたヒストグラムとなっている。図12に示すヒストグラムにおいて、m3は人物O1の画像に対応した部分である。また、m4は太陽O3及びその周辺の画像に対応した部分である。このように、第2測光領域202においてオーバー露出の撮像条件で撮像された場合は、低輝度被写体である人物O1は黒潰れしておらず、画像処理部30による顔検出が可能となる。従って、システム制御部70は、人物O1のような低輝度被写の体輝度分布データに基づいて輝度レベルを検出することができるようになる。
図13は、逆光シーン500におけるアンダー露出の画像(各ブロック200Aの第3測光領域203の画像)のヒストグラムを示す図である。このため、図13に示すヒストグラムは、図11に示すヒストグラムを左側にシフトされたヒストグラムとなっている。図13に示すヒストグラムにおいて、m5は人物O1の画像に対応した部分である。また、m6は太陽O3及びその周辺の画像に対応した部分である。このように、第3測光領域203においてアンダー露出の撮像条件で撮像された場合は、高輝度被写体である太陽O3などは白飛びしていない。従って、システム制御部70は、太陽O3などの高輝度被写体についても輝度分布データに基づいて輝度レベルを検出することができるようになる。なお、図11から13では被写界全体のヒストグラムを示したが、システム制御部70は、各ブロック200A毎(ひいては各画素毎)のヒストグラムに基づき、各ブロック200A(各画素毎)の輝度レベルを検出するようにしてもよい。
図8の説明に戻り、システム制御部70は、レリーズスイッチの半押し操作(SW1の操作)が行われたか否かを判定する(ステップS6)。システム制御部70は、レリーズスイッチの半押し操作が行われるまでステップS2からステップS5の処理を繰り返し実行する。システム制御部70は、レリーズスイッチの半押し操作が行われたと判定した場合は、AF処理で用いる蓄積条件を設定する(ステップS7)。そして、システム制御部70は、ステップS7で設定したAF用の蓄積条件で撮像された主要被写体像のコントラストの評価値に基づいて、コントラストAFによるAF処理を実行する(ステップS8)。
具体的には、システム制御部70は、撮像部20がステップS7で設定した撮像条件(適正露出の撮像条件、オーバー露出の撮像条件又はアンダー露出の撮像条件)及び絞り値で撮像した主要被写体像のコントラストの評価値を表すコントラスト信号を画像処理部30から取得する。システム制御部70は、フォーカシング用レンズ11cを移動させながら、画像処理部30からのコントラスト信号に基づいて、主要被写体像のコントラストが最も高くなるフォーカシング用レンズ11cの位置を焦点位置として検出する。システム制御部70は、検出した焦点位置にフォーカシング用レンズ11cを移動させるように、制御信号をレンズ駆動制御装置15に送信する。
次に、システム制御部70は、ライブビュー画像の露出を設定するとともに(ステップS9)、AE算出処理を実行する(ステップS10)。ステップS9及びS10の処理は、ステップS4及びS5の処理に相当する。すなわち、システム制御部70は、レリーズスイッチの半押し操作が行われている場合も、第1測光領域201、第2測光領域202、及び第3測光領域203からの画像データに基づいて、ライブビュー画像の輝度レベルの検出を行う。そして、システム制御部70は、ライブビュー画像の輝度レベルに基づいて、第1測光領域201、第2測光領域202、及び第3測光領域203の撮像条件を設定する。
その後、システム制御部70は、レリーズスイッチの全押し操作(SW2の操作)が行われたか否かを判定する(ステップS11)。システム制御部70がレリーズスイッチの全押し操作が行われていないと判定した場合は、上記したステップS6からステップS10までの処理を繰り返し実行する。システム制御部70がレリーズスイッチの全押し操作が行われたと判定した場合は、システム制御部70は、撮像素子100のすべての画素領域113Aに対して撮影用の撮像条件を設定する(ステップS12)。撮影用の撮像条件は、ステップS13の本撮像を行う際の撮像条件である。システム制御部70は、ステップS10のAE算出処理で算出した適正露出、オーバー露出、及びアンダー露出の輝度レベルに基づいて、被写体に適した各ブロック200Aの撮像条件を決定する。そして、システム制御部70は、各ブロック200Aの撮像条件を撮影用の撮像条件として設定する。システム制御部70は、撮影用の撮像条件を指示する指示信号を駆動部21に出力する。
その後、システム制御部70は、撮像処理を実行する(ステップS13)。すなわち、システム制御部70は、撮像を指示する指示信号を撮像部20に出力する。駆動部21は、撮影用の撮像条件で撮像素子100を駆動制御して撮像を実行する。このとき、ブロック200Aの各画素において、同じ撮像条件による撮像が行われる。すなわち、ブロック200Aには第1測光領域201、第2測光領域202、及び第3測光領域203が設定されておらず、1つのブロック200Aにおいて同じ撮像条件で撮像が行われる。
以上に説明したように、第1実施形態では、被写体からの光束を第1領域(あるブロック200)と第2領域(別のブロック)とで受光し、第1領域と第2領域とを異なる条件で撮像可能な撮像素子100と、少なくとも第1領域において、第1処理(例えばAE処理)に対して複数の撮像条件により撮像を制御する制御部70と、を備える。このような構成によれば、1つの領域(少なくとも第1領域)において複数の撮像条件により撮像を行うことで、精度の高い測光を行うことができる。その結果、制御部70はダイナミックレンジの広い画像を撮像することが可能となる。また、画像処理部30が複数の撮像条件により撮像された画像を用いて、蛍光灯やLEDなどの光源の判定を精度よく行うことができ、各種画像処理の精度が向上する。
また、第1実施形態では、制御部70は、第1処理(例えばAE処理)とは異なる第2処理(例えばAF処理)に対して複数の撮像条件により撮像を制御する。このような構成によれば、制御部70は、被写体像のコントラストの評価値が高くなるような撮像条件で撮像を行うことができる。従って、AF処理における焦点位置調節の精度が向上する。
また、第1実施形態では、制御部70は、複数の撮像条件に応じた撮像面積で撮像を制御する。このような構成によれば、例えば適正露出の撮像条件で撮像を行う領域201については大きな撮像面積とし、オーバー露出やアンダー露出の撮像条件で撮像を行う領域202,203については小さな撮像面積とすることができる。
また、第1実施形態では、制御部70は、第1領域の飽和レベルに応じて複数の撮像条件を設定する。このような構成によれば、被写体に適した複数の撮像条件、例えば適正露出の撮像条件、オーバー露出の撮像条件、及びアンダー露出の撮像条件を設定することができる。また、第1実施形態では、第1処理は露出に関する処理であり、制御部70は、複数の撮像条件による撮像に応じて露出を設定する。このような構成によれば、広い範囲の輝度の測光を行うことができる。
また、第1実施形態では、第1処理は露出に関する処理であり、制御部70は、少なくとも第1領域において3つの露出条件(適正露出の露出条件、オーバー露出の露出条件、アンダー露出の露出条件)により撮像を制御する。このような構成によれば、白飛びや黒潰れのない画像を用いて幅広い階調の画像を取得することができる。
<第2実施形態>
上記した第1実施形態では、ブロック200Aにおいて第2測光領域202及び第3測光領域203が離散的に形成されていた。これに対し、第2実施形態では、第1測光領域、第2測光領域及び第3測光領域がそれぞれ行方向のライン状に形成されている。
図14は、第2実施形態のブロック200B内における複数の領域211,212,213を示す図である。図14に示すブロック200Bは、図5の部分拡大図に示したブロック200Aに対応する。つまり、ブロック200Bは、画素領域113Aに設けられた、ある1つのブロックである。図14に示すように、第1測光領域211は3の倍数の行から2行前の行(3m−2)の領域である。第2測光領域212は3の倍数の行から1行前の行(3m−1)の領域である。第3測光領域213は3の倍数の行(3m)の領域である。mは正の整数(m=1,2,3,・・・)である。図14に示す例では、第1測光領域211、第2測光領域212及び第3測光領域213は、同じ面積となっている。しかし、第1測光領域211、第2測光領域212及び第3測光領域213は、異なる面積であってもよい。
第1測光領域211は、適正露出となるような撮像条件が設定される。第2測光領域212は、オーバー露出となるような撮像条件が設定される。第3測光領域213は、アンダー露出となるような撮像条件が設定される。このように、第2実施形態の撮像素子100においても、複数のブロック200Bごとに異なる撮像条件で撮像して画素信号を出力することが可能であるとともに、各ブロック200Bにおける複数の測光領域ごとに異なる撮像条件で撮像して画素信号を出力することも可能である。
図15は、第2実施形態における逆光シーン510の表示例及びコントラストAF領域511を示す図である。図15に示す逆光シーン510は、図10に示した逆光シーン500と同様に、表示部50の表示パネル51に表示されるシーンである。逆光シーン510にも、主要被写体である人物O1と、山、海、雲などの背景O2と、太陽O3とが写っている。太陽O3が人物O1の後ろにあるため、逆光で人物O1が黒潰れしている。一方、太陽O3や、太陽O3を反射した海面や雲などは、順光で白飛びしている。コントラストAF領域511は、コントラストAFによる焦点位置の検出が行われる画像(被写体)の領域である。図15に示す例では、コントラストAF領域511は人物O1の顔の部分の領域である。
画像処理部30が被写体像のコントラストの評価値を算出する場合、ハイパスフィルタが被写体像の高周波成分を抽出する。ハイパスフィルタの検波方向は、同一の撮像条件で被写体像が撮像されることが望ましい。例えばハイパスフィルタが水平方向に検波する場合、撮像素子100の行方向において同一の撮像条件が設定されることが望ましい。このことから、ハイパスフィルタが水平方向に検波することに対応して、図14に示すように、ブロック200Bにおいて第1測光領域211、第2測光領域212及び第3測光領域213がそれぞれ複数の行方向のライン状の領域として形成されている。
また、画像処理部30は、公知の顔検出機能を用いて、人物O1の顔を検出し、その顔の部分をコントラストAF領域511とする。ハイパスフィルタは、コントラストAF領域511において水平方向に検波する。
図16は、逆光シーン510における適正露出の画像の焦点評価値とレンズ位置との関係を示すグラフである。図8のステップS7において、システム制御部70がAF用の蓄積条件として適正露出を設定した場合、被写体像のコントラストの評価値(焦点評価値)と撮影光学系11のレンズ位置との関係は図16に示すような関係となる。図15に示したように、コントラストAF領域511に人物O1と背景O2が入る場合、逆光で暗くなっている人物O1の評価値はほとんど出現せず、背景O2の評価値だけが検出される。
図17は、逆光シーン510におけるオーバー露出の画像の焦点評価値とレンズ位置との関係を示すグラフである。図8のステップS7において、システム制御部70がAF用の蓄積条件としてオーバー露出を設定した場合、被写体像のコントラストの評価値(焦点評価値)と撮影光学系11のレンズ位置との関係は図17に示すような関係となる。第2測光領域202がオーバー露出で撮像した画像データに基づく評価値では、逆光で暗くなっている人物O1の評価値の山(ピーク)が至近側に出現する。従って、システム制御部70は、人物O1が逆光で暗くなっている場合でも、AF処理(ステップS8)において人物O1に対応したレンズ位置(焦点位置)を検出することができる。
このように、AF用の蓄積条件を変えることにより新たに評価値の山(ピーク)が出現した場合に、システム制御部70は、新たに出現した山(ピーク)を主要被写体とし、この主要被写体に対してフォーカシング用レンズ11Cが合焦するようにAF制御を行えばいい。また、システム制御部70は、この主要被写体を検出したAF用の撮像条件に基づいて本撮影用のAE算出を行うようにしてもよい。
なお、主要被写体像が白飛びして、主要被写体像のコントラストの評価値が出現しない場合は、システム制御部70は、AF用の露出としてオーバー露出を設定する。これにより、白飛びした主要被写体に対しても精度よく焦点位置検出を行うことができる。
このように、第2実施形態では、第2処理は焦点調節に関する処理であり、制御部70は、複数の撮像条件による撮像に応じて主要被写体を決定する。このような構成によれば、逆光で暗くなっている主要被写体や順光で白飛びしている主要被写体についても、精度よく焦点位置検出を行うことができる。
<第3実施形態>
上記した第2実施形態では、システム制御部70はコントラストAFを用いてAF処理を実行していたが、第3実施形態では、システム制御部70は位相差AFを用いてAF処理を実行する。
図18は、第3実施形態における逆光シーン520の表示例及び位相差AF領域521,522,523を示す図である。図18に示す逆光シーン520は、図10に示した逆光シーン500と同様に、表示部50の表示パネル51に表示されるシーンである。逆光シーン520にも、主要被写体である人物O1と、山、海、雲などの背景O2と、太陽O3とが写っている。太陽O3が人物O1の後ろにあるため、逆光で人物O1が黒潰れしている。一方、太陽O3や、太陽O3を反射した海面や雲などは、順光で白飛びしている。位相差AF領域521,522,523は、位相差AFによる焦点位置の検出が行われる領域である。図18に示す例では、3本のライン状の位相差AF領域521,522,523が逆光シーン520の水平方向に設けられている。撮像素子100の画素領域113Aには、逆光シーン520における位相差AF領域521,522,523に対応する位置に、それぞれ、第1測光領域、第2測光領域及び第3測光領域が形成されている。また、第1測光領域、第2測光領域及び第3測光領域には、位相差検出用画素が設けられている(図19参照)。
図19は、第3実施形態のブロック200C内における複数の領域221,222,223を示す図である。図19に示すブロック200Cは、逆光シーン520上の1本の位相差AF領域(例えば位相差AF領域521)に対応する画素領域113A上の位相差AF領域(図示せず)を構成する1つのブロックである。つまり、図19に示すブロック200Cが行方向に配置されることにより、画素領域113A上に1本の位相差AF領域が構成される。そして、画素領域113A上の1本の位相差AF領域に対応する逆光シーン520上の領域が1本の位相差AF領域(例えば位相差AF領域521)である。
図19に示すように、ブロック200Cは、複数の画素で構成されている。最上行の画素から構成される第1測光領域221には、位相差を検出する位相差検出用画素301,302が設けられている。また、最下行の画素から構成される第2測光領域222にも、位相差検出用画素301,302が設けられている。また、中間の行の画素から構成される第3測光領域223にも、位相差検出用画素301,302が設けられている。また、ブロック200Cにおいて第1測光領域221、第2測光領域222、及び第3測光領域223以外の領域224に設けられている画素は、通常の撮像を行う画素である。
第1測光領域221は、適正露出となるような撮像条件が設定される。第2測光領域222は、オーバー露出となるような撮像条件が設定される。第3測光領域223は、アンダー露出となるような撮像条件が設定される。このように、第2実施形態の撮像素子100においても、複数のブロック200Bごとに異なる撮像条件で撮像して画素信号を出力することが可能であるとともに、各ブロック200Bにおける複数の測光領域ごとに異なる撮像条件で撮像して画素信号を出力することも可能である。
位相差検出用画素301,302が位相差を検出する場合、焦点検出の精度を維持するためには、瞳分割方向の画素グループ(第1測光領域221、第2測光領域222、第3測光領域223)ごとに同一の撮像条件で被写体像が撮像されることが望ましい。例えば、水平方向に瞳分割した位相差検出用画素301,302である場合には、撮像素子100の行方向において同一の撮像条件が設定されることが望ましい。このため、図19に示すように、2000cにおいて第1測光領域221、第2測光領域222、及び第3測光領域223がそれぞれ行方向のライン状の領域として形成され、それらの第1測光領域221、第2測光領域222、及び第3測光領域223に位相差検出用画素301,302が設けられている。
位相差検出用画素301,302は、結像光学系の異なる射出瞳領域を通る光束による被写体像を得るため、感度が制限されている。このため、位相差検出用画素301,302は、通常の画素と比較して感度が低い。従って、システム制御部70は、第1測光領域221に対して設定する適正露出を、通常の画素の適正露出よりも高くなるように設定する。また、システム制御部70は、第2測光領域222に対して設定するオーバー露出を、通常の画素のオーバー露出よりも高くなるように設定する。また、システム制御部70は、第3測光領域223に対して設定するアンダー露出を、通常の画素のアンダー露出よりも高くなるように設定する。
このような構成によれば、逆光シーン520における黒潰れした人物O1の輝度レベルが、位相差検出用画素301,302の低い感度でさらに低下してしまうことがなくなる。また、システム制御部70は、第2測光領域222の位相差検出用画素301,302で撮像された画像データに基づく輝度分布データを取得し、第3測光領域223の位相差検出用画素301,302で撮像された画像データに基づく輝度分布データを取得する。このため、低輝度被写体(人物O1)の輝度分布データや高輝度被写体(太陽O3)の輝度分布データにおいて黒潰れや白飛びが生じるのを防止することができ、幅広い輝度範囲の被写体に対して測距することができる。
以上のように、第3実施形態では、制御部70は、第1の撮像条件による撮像と、第2の撮像条件による撮像との差分(位相差)に基づいて主要被写体(例えば人物O1)を決定する。このような構成によれば、幅広い輝度範囲の主要被写体を決定することができる。
<第4実施形態>
上記した第1実施形態では、被写体ごとに撮像条件を変更していなかったが、第4実施形態では、被写体ごとに撮像条件を変更する。
図20は、第4実施形態のブロック200D内における複数の領域251,252,253を示す図である。図20に示すブロック200Dは、図5の部分拡大図に示したブロック200Aに対応する。つまり、ブロック200Dは、画素領域113Aに設けられた、ある1つのブロックである。図20に示すように、ブロック200Dにおいて、第1測光領域251、第2測光領域252、及び第3測光領域253が市松模様となるように配置されている(つまり、第1測光領域251、第2測光領域252、及び第3測光領域253がブロック200Dにおいて離散的に均等に配置されている)。図20に示す例では、第1測光領域251、第2測光領域252及び第3測光領域253は、同じ面積となっている。しかし、第1測光領域251、第2測光領域252及び第3測光領域253は、異なる面積であってもよい。
第1測光領域251は、適正露出となるような撮像条件が設定される。第2測光領域252は、オーバー露出となるような撮像条件が設定される。第3測光領域253は、アンダー露出となるような撮像条件が設定される。このように、第4実施形態の撮像素子100においても、複数のブロック200Dごとに異なる撮像条件で撮像して画素信号を出力することが可能であるとともに、各ブロック200Dにおける複数の測光領域ごとに異なる撮像条件で撮像して画素信号を出力することも可能である。
図21は、第4実施形態のシステム制御部が実行する撮影動作を説明するためのフローチャートである。なお、図21において、ステップS1〜S4、S6〜S9、S11、及びS13の処理は、図8に示した処理と同様である。従って、重複する説明を省略する。図21に示す処理において、システム制御部70は、画像処理部30が検出した被写体ごとの位置を示す位置信号を取得する。そして、システム制御部70は、画像処理部30からの位置信号(例えばブロック単位で被写体の位置を特定する信号)に基づいて、被写体領域(被写体に対応するブロック)を認識し、被写体領域ごとにAE算出処理を実行する(ステップS5A)。システム制御部70は、ライブビュー画像の露出として、被写体領域ごとに異なり、かつ測光領域251,252,253ごとに異なる撮像条件を設定する(ステップS4)。
そして、システム制御部70は、被写体領域ごとの画像データを合成する(ステップS21)。図22は、第4実施形態における逆光シーン530の表示例を示す図である。図22に示す逆光シーン530には、逆光の人物O4と、背景O5と、街灯O6とが写っている。図22に示す逆光シーン530は、システム制御部70がステップS21で合成する前のライブビュー画像である。図23は、第4実施形態における逆光シーン540の合成画像の表示例を示す図である。図23に示す逆光シーン540には、逆光の人物O4と、背景O5と、街灯O6とが写っている。図23に示す逆光シーン540は、システム制御部70がステップS21で被写体領域ごとの画像を合成した合成画像である。この逆光シーン540は、図22の逆光シーン530と異なり、黒潰れが防止された画像となっている。
一般に、幅広いダイナミックレンジの画像を記録し表示するための画像合成技術として、HDR(High Dynamic Range)撮像が広く知られている。HDR撮像では、撮像条件(例えば露出)を変化させつつ複数枚の画像を撮像し、それらを合成することにより白飛びや黒つぶれの少ない画像を生成する。しかし、従来のHDRでは、例えば撮像条件の異なる2枚の画像を撮像する撮像時間が異なっているため、被写体が移動したり、使用者(撮影者)がデジタルカメラ1を動かしたりしてしまうことがある。この場合、複数枚の画像は同一の被写体の画像ではないため、画像合成が困難である。これに対して、第4実施形態では、撮像条件の異なる複数枚の画像の撮像時間を同じ時刻(又は略同じ時刻)とすることができる(図9参照)。従って、第4実施形態の構成により従来のHDR撮像の問題点を解決することができる。ステップS21において、システム制御部70が被写体領域毎の画像を合成することにより、ダイナミックレンジの広いライブビュー画像を表示することができる。
図21の説明に戻り、システム制御部70は、ステップS9の実行後に、画像処理部30からの位置信号に基づいて、被写体領域(被写体に対応するブロック)を認識し、被写体領域ごとにAE算出処理を実行する(ステップS10A)。システム制御部70は、ライブビュー画像の露出として、被写体領域ごとに異なり、かつ測光領域251,252,253ごとに異なる撮像条件を設定する(ステップS9)。なお、ステップS10Aの処理はステップS5Aの処理と同様であるため、説明を省略する。システム制御部70は、レリーズスイッチの全押し操作に応じて(ステップS11のYES)、被写体領域毎に異なる撮影用の撮像条件を設定する(ステップS12A)。そして、システム制御部70は、撮像処理を実行する(ステップS13)。撮像処理で撮像された画像(静止画)は、図23に示したように黒潰れが防止された画像となる。
以上のように、第4実施形態では、制御部70は、複数の撮像条件による撮像タイミング(電荷蓄積タイミング)の一部が重複するように撮像素子100を制御する。このような構成によれば、制御部70が容易に画像を合成することができ、ダイナミックレンジの広い画像を表示することができる。
<第5実施形態>
第5実施形態では、上記した第1実施形態におけるデジタルカメラ1のカメラボディ2を、撮像装置1Aと電子機器1Bとに分離した構成としている。
図24は、第5実施形態に係る撮像装置1A及び電子機器1Bの構成を示すブロック図である。図24に示す構成において、
撮像装置1Aは、被写体の撮像を行う装置である。この撮像装置1Aは、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部55、記録部60、及び第1システム制御部70Aを備える。なお、撮像装置1Aのうち、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部55、及び記録部60の構成は、図7に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
また、電子機器1Bは、画像(静止画、動画、ライブビュー画像)の表示を行う装置である。この電子機器1Bは、表示部50及び第2システム制御部(制御部)70Bを備える。なお、電子機器1Bのうちの表示部50の構成は、図7に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第1システム制御部70Aは、第1通信部75Aを有している。また、第2システム制御部70Bは、第2通信部75Bを有している。第1通信部75Aと第2通信部75Bとは、互いに有線又は無線で信号を送受信する。このような構成において、第1システム制御部70Aは、第1通信部75Aを介して画像データ(画像処理部30が画像処理した画像データ、記録部60に記録されている画像データ)を第2通信部75Bに送信する。第2システム制御部70Bは、第2通信部75Bにおいて受信した画像データを表示部50に表示させる。また、第2システム制御部70Bは、予め設定されているメニュー画像を第2表示部53に表示させる。
また、第2システム制御部70Bは、使用者によるタッチパネル52のタッチ操作に応じて、又は自動的に、撮像条件(蓄積条件を含む)を変更する制御を行う。また、第2システム制御部70Bは、使用者によるタッチパネル52のタッチ操作に応じて、又は自動的に、画像表示領域510内の各表示領域を選択する制御を行う。また、第1システム制御部70Aは、使用者による操作部(電子機器1B側に設けられた静止画や動画の撮像開始を指示する操作部)55の操作に応じて撮像の制御を実行する。
図7に示す構成(分割部71、駆動制御部72、制御部73、及び明滅検知部74)は、第1システム制御部70Aと第2システム制御部70Bのいずれに設けられてもよい。図7に示すすべての構成は、第1システム制御部70A又は第2システム制御部70Bに設けられてもよく、また図7に示す構成の一部が第1システム制御部70Aに設けられ、図7に示す構成の一部以外の構成が第2システム制御部70Bに設けられてもよい。
なお、撮像装置1Aは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器1Bは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
図24に示す第1システム制御部70Aは、ボディ側CPUが制御プログラムに基づいて処理を実行することにより実現される。また、図24に示す第2システム制御部70Bは、ボディ側CPUが制御プログラムに基づいて処理を実行することにより実現される。
以上に説明したように、第5実施形態では、第1実施形態で説明した効果に加え、スマートフォンなどの携帯端末を用いて撮像装置1Aで撮像されている複数のライブビュー画像を確認した上で撮像を行うことができる。
なお、図24に示す構成において、画像処理部30と第1システム制御部70Aとは一体で構成されてもよい。この場合、1つ又は複数のCPUを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部30の機能と第1システム制御部70の機能を担う。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
上記した各実施形態において、カラーフィルタ102の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ131を形成する画素の数は、少なくとも1つの画素を含んでいればよい。また、ブロックも少なくとも1画素を含んでいればよい。従って、1画素ごとに異なる撮像条件で撮像を実行することも可能である。
また、上記した各実施形態において、駆動部21は、一部又はすべての構成が撮像チップ113に搭載されてもよいし、一部又はすべての構成が信号処理チップ111に搭載されてもよい。また、画像処理部30の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。また、システム制御部70の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。
また、上記した各実施形態において、システム制御部70が設定可能な撮像条件として、ゲイン、電荷蓄積時間(露光時間、シャッタースピード)、フレームレートに限らず、その他の制御パラメータであってもよい。また、撮像条件が自動的に設定される場合についてのみ説明したが、使用者による操作部55などの操作に応じて設定されるようにしてもよい。
また、上記した各実施形態では、ブロックの領域の大きさが予め設定されている場合について説明したが、使用者がブロックの領域の大きさを設定するように構成してもよい。
上記した各実施形態におけるデジタルカメラ1は、例えば撮像機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成されもよい。