以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現している。
<第1実施形態>
図1は、積層型撮像素子の断面図である。なお、この積層型撮像素子100は、本願出願人が先に出願した特願2012−139026号に記載されているものである。撮像素子100は、入射光に対応した画素信号を出力する撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111、及びメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸及びX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード(Photodiode;以下、PDという。)104、及び、PD104に対応して設けられたトランジスタ105を有する。
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、可視光のうち特定の波長領域を通過させるフィルタである。このカラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104、及びトランジスタ105の組が一つの画素を形成する。
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子及び能動素子が設けられてもよい。配線層108の表面には複数のバンプ109が配される。これら複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされる。そして、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
同様に、信号処理チップ111及びメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされる。そして、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つの単位グループに対して一つ程度設ければよい。従って、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域(図2に示す画素領域113A)以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
信号処理チップ111は、表面及び裏面にそれぞれ設けられた回路を互いに接続するTSV(Through-Silicon Via;シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられる。また、TSV110は、撮像チップ113の周辺領域や、メモリチップ112に設けられてもよい。
図2は、撮像チップの画素配列と単位グループを説明する図である。図2では、特に、撮像チップ113を裏面側から観察した様子を示す。撮像チップ113において画素が配列された領域を画素領域113Aという。画素領域113Aには2000万個以上もの画素がマトリックス状に配列されている。図2に示す例では、隣接する4画素×4画素の16画素が一つの単位グループ131を形成する。図2の格子線は、隣接する画素がグループ化されて単位グループ131を形成する概念を示す。単位グループ131を形成する画素の数はこれに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下でもよい。
画素領域113Aの部分拡大図に示すように、単位グループ131は、緑色画素Gb,Gr、青色画素B、及び赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光する。赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
図3は、撮像チップの単位グループに対応する回路図である。図3において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
上述したように、単位グループ131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続される。各転送トランジスタ302のゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されるとともに、転送トランジスタ302のドレインと各リセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFD(電荷検出部)が増幅トランジスタ304のゲートに接続される。各リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続される。各リセットトランジスタ303のゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
各々の増幅トランジスタ304のドレインは電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。各々の選択トランジスタ305のゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加される。これと同時に、TX配線307を通じて転送パルスが転送トランジスタ302に印加される。これにより、PD104及びフローティングディフュージョンFDの電位はリセットされる。
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、PD104において蓄積された電荷はフローティングディフュージョンFDへ転送される。これにより、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304及び選択トランジスタ305を介して出力配線309に伝わる。このような回路の動作により、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
図3に示すように、本実施形態においては、単位グループ131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素すべてに対して同時に印加される。従って、単位グループ131を形成するすべての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309に出力される。また、リセット配線306、TX配線307、出力配線309は、単位グループ131毎に別個に設けられる。
このように単位グループ131を基準として回路を構成することにより、単位グループ131ごとに電荷蓄積時間を制御することができる。換言すると、単位グループ131間で、異なった電荷蓄積時間による画素信号をそれぞれ出力させることができる。更に言えば、一方の単位グループ131に1回の電荷蓄積を行わせている間に、他方の単位グループ131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位グループ131間で異なるフレームレートで動画用の各フレームを出力することもできる。
図4は、撮像素子の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位グループ131を形成する16個のPD104を順番に選択する。そして、マルチプレクサ411は、16個のPD104のそれぞれの画素信号を当該単位グループ131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104とともに、撮像チップ113に形成される。
マルチプレクサ411を介して出力されたアナログ信号の画素信号は、信号処理チップ111に形成されたアンプ412により増幅される。そして、アンプ412で増幅された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS;Correlated Double Sampling)・アナログ/デジタル(Analog/Digital)変換を行う信号処理回路413により、相関二重サンプリングの信号処理が行われるとともに、A/D変換(アナログ信号からデジタル信号への変換)が行われる。画素信号が信号処理回路413において相関二重サンプリングの信号処理が行われることにより、画素信号のノイズが低減される。A/D変換された画素信号は、デマルチプレクサ414に引き渡され、それぞれの画素に対応する画素メモリ415に格納される。デマルチプレクサ414及び画素メモリ415は、メモリチップ112に形成される。
演算回路416は、画素メモリ415に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路416は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では1つの単位グループ131の分の接続を示すが、実際にはこれらが単位グループ131ごとに存在して、並列で動作する。ただし、演算回路416は単位グループ131ごとに存在しなくてもよい。例えば、一つの演算回路416がそれぞれの単位グループ131に対応する画素メモリ415の値を順に参照しながらシーケンシャルに処理してもよい。
上記した通り、単位グループ131のそれぞれに対応して出力配線309が設けられている。撮像素子100は、撮像チップ113、信号処理チップ111、及びメモリチップ112を積層している。このため、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
次に、撮像素子100の画素領域113A(図2参照)に設定されるブロックについて説明する。本実施形態において、撮像素子100の画素領域113Aは、複数のブロックに分割される。複数のブロックは、1ブロックにつき単位グループ131を少なくとも1つ含むように定義される。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素が制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、制御パラメータが異なる画素信号が取得される。制御パラメータとしては、例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数などがあげられる。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
ここで、電荷の蓄積時間とは、PD104が電荷の蓄積を開始してから終了するまでの時間のことをいう。また、電荷の蓄積回数とは、単位時間あたりにPD104が電荷を蓄積する回数のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。フレームレートが高くなる程、動画における被写体の動きが滑らかになる。
また、ゲインとは、アンプ412の利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子100の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子100が光をとらえる能力を表す値となる。ゲインを上げるとISO感度も向上する。例えば、ゲインを倍にすると電気信号(画素信号)も倍になり、入射光の光量が半分でも適切な明るさとなる。しかし、ゲインを上げると、電気信号に含まれるノイズも増幅されるため、ノイズが多くなってしまう。
また、間引き率とは、所定領域においてすべての画素数に対する画素信号の読み出しを行わない画素数の割合をいう。例えば、所定領域の間引き率が0である場合は、その所定領域内のすべての画素から画素信号の読み出しが行われることを意味する。また、所定領域の間引き率が0.5である場合は、その所定領域内の半分の画素から画素信号を読み出しが行われることを意味する。具体的には、単位グループ131がベイヤー配列である場合、垂直方向についてベイヤー配列の単位の一つ置き、すなわち、画素単位の2画素ずつ(2行ずつ)交互に画素信号が読み出される画素と読み出されない画素とが設定される。なお、画素信号の読み出しの間引きが行われると画像の解像度が低下する。しかし、撮像素子100には2000万以上の画素が配置されているため、例えば間引き率0.5で間引きを行ったとしても、1000万以上の画素で画像を表示することができる。このため、使用者にとって解像度の低下は気にならないものと考えられる。
また、加算行数とは、垂直方向に隣接する画素の画素信号を加算する場合に、その加算する垂直方向の画素の数(行数)をいう。また、加算列数とは、水平方向に隣接する画素の画素信号を加算する場合に、その加算する水平方向の画素の数(列数)をいう。このような加算の処理は、例えば演算回路416において行われる。演算回路416が垂直方向又は水平方向に隣接する所定数の画素の画素信号を加算する処理を行うことにより、所定の間引き率で間引いて画素信号を読み出す処理と同じような効果を奏する。なお、上記した加算の処理において、演算回路416が加算した行数または列数で加算値を割ることにより平均値を算出するようにしてもよい。
また、デジタル化のビット数とは、信号処理回路413がA/D変換においてアナログ信号をデジタル信号に変換したときのビット数をいう。デジタル信号のビット数が多くなる程、輝度や色変化などがより詳細に表現される。
本実施形態において、蓄積条件とは、撮像素子100における電荷の蓄積に関する条件のことをいう。具体的には、蓄積条件は、上記した制御パラメータのうち、電荷の蓄積時間又は蓄積回数、フレームレート、及びゲインのことをいう。フレームレートは電荷の蓄積時間や蓄積回数に応じて変化し得るので、フレームレートが蓄積条件に含まれる。また、ゲインに応じて適正露出の光量は変化し、適正露出の光量に応じて電荷の蓄積時間又は蓄積回数も変化し得る。このため、ゲインは蓄積条件に含まれる。
また、撮像条件とは、被写体の撮像に関する条件をいう。具体的には、撮像条件は、上記した蓄積条件を含む制御パラメータのことをいう。撮像条件は、撮像素子100を制御するための制御パラメータ(例えば、電荷の蓄積時間又は蓄積回数、フレームレート、ゲイン)のほかに、撮像素子100からの信号の読み出しを制御するための制御パラメータ(例えば、間引き率)、撮像素子100からの信号を処理するための制御パラメータ(例えば、画素信号を加算する加算行数又は加算列数、デジタル化のビット数、後述する画像処理部30が画像処理を実行するための制御パラメータ)も含まれる。
図5は、第1実施形態に係る電子機器の構成を示すブロック図である。図5に示すように、電子機器1は、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、表示部50、操作部55、記録部60、及びシステム制御部70を備える。レンズ部10は、複数のレンズ群から構成された撮像光学系である。このレンズ部10は、被写体からの光束を撮像部20へ導く。このレンズ部10は、電子機器1と一体構成であってもよく、また電子機器1に対して着脱可能な交換式レンズであってもよい。また、このレンズ部10は、フォーカスレンズを内蔵していてもよく、またズームレンズを内蔵していてもよい。
撮像部20は、撮像素子100及び駆動部21を有している。駆動部21は、システム制御部70からの指示に従って、撮像素子100の駆動を制御する制御回路である。ここで、駆動部21は、リセットパルス及び転送パルスをそれぞれリセットトランジスタ303及び転送トランジスタ302に印加するタイミング(又はタイミングの周期)を制御することにより、制御パラメータである電荷の蓄積時間又は蓄積回数を制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスをそれぞれリセットトランジスタ303、転送トランジスタ302、及び選択トランジスタ305に印加するタイミング(又はタイミングの周期)を制御することにより、フレームレートを制御する。また、駆動部21は、リセットパルス、転送パルス、及び選択パルスを印加する画素を設定することにより、間引き率を制御する。
また、駆動部21は、アンプ412のゲイン(利得率、増幅率ともいう。)を制御することにより、撮像素子100のISO感度を制御する。また、駆動部21は、演算回路416に指示を送ることにより、画素信号を加算する加算行数又は加算列数を設定する。また、駆動部21は、信号処理回路413に指示を送ることにより、デジタル化のビット数を設定する。さらに、駆動部21は、撮像素子100の画素領域(撮像領域)113Aにおけるブロックの設定を行う。このように、駆動部21は、撮像素子100に対して複数のブロックごとに異なる撮像条件で撮像させて画素信号を出力させる撮像素子制御部の機能を担う。システム制御部70は、駆動部21に対するブロックの位置、形状、範囲などの指示を行う。
撮像素子100は、撮像素子100からの画素信号を画像処理部30へ引き渡す。画像処理部30は、ワークメモリ40をワークスペースとして、各画素の画素信号からなる生画像データに対して種々の画像処理を施し、画像データを生成する。この画像処理部30はCPUを有し、CPUが種々の画像処理を実行する。例えば、画像処理部30は、ベイヤー配列で得られた信号に対して色信号処理を行うことによりRGB画像信号を生成する。また、画像処理部30は、RGB画像信号に対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。画像処理部30において生成された画像データは、システム制御部70を介して記録部60に記録される。また、画像処理部30において生成された画像データは、システム制御部70を介して表示部50に出力され、表示部50において表示される。
本実施形態では、画像処理部30は、上記した処理のほかに、複数回連続して撮像された画像に基づく画像データを合成する処理を行う。このような処理により、ノイズの除去が行われる。
画像処理部30が画像処理を行う際に参照されるパラメータも制御パラメータ(撮像条件)に含まれる。例えば、色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータが制御パラメータに含まれる。電荷の蓄積時間などに応じて撮像素子100から読み出される信号が変化し、その信号の変化に応じて画像処理を行う際に参照されるパラメータも変化する。画像処理部30は、ブロック単位ごとに異なる制御パラメータを設定し、これらの制御パラメータに基づいて色信号処理などの画像処理を実行する。
画像処理部30は、撮像部20から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを抽出する。または、画像処理部30は、撮像部20から時系列的に得られる複数のフレームのうち所定タイミングごとのフレームを廃棄する。これにより、データ量を減らすことができるため、後段処理の負荷を軽減することができる。また、画像処理部30は、撮像部20から時系列的に得られる複数のフレームに基づいて、各フレーム間に補間する1又は複数のフレームを算出する。そして、画像処理部30は、算出した1又は複数のフレームを各フレーム間に追加する。これにより、動画再生時においてより滑らかな動きの動画を再生することができる。また、駆動部21が間引き率を制御するように構成しているが、このような構成に限られない。例えば、駆動部21はすべての画素から画素信号を読み出すが、画像処理部30又は演算回路416は読み出した画素信号のうち所定の画素信号を廃棄することにより、間引き率を制御するようにしてもよい。
ワークメモリ40は、画像処理部30による画像処理が行われる際に画像データなどを一時的に記憶する。表示部50は、例えば液晶表示パネルによって構成されている。この表示部50は、図5に示すように、表示部50は、第1表示部51、第1タッチパネル(選択部、第1操作部)52、第2表示部53、及び第2タッチパネル(第2操作部)54を有している。
第1表示部51は、撮像部20で撮像された画像(静止画、動画、ライブビュー画像)や各種情報を表示する。第1タッチパネル52は、第1表示部51の表示画面上に形成されている。この第1タッチパネル52は、使用者が領域の指定を行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。第2表示部53は、使用者が撮像条件(制御パラメータ)を設定するためのメニューを表示する。第2タッチパネル54は、第2表示部53の表示画面上に形成されている。この第2タッチパネル54は、使用者が撮像条件の設定を行う際に、使用者が触れた位置を示す信号をシステム制御部70に出力する。
操作部55は、使用者によって操作されるシャッターボタンや録画開始ボタン、各種の操作スイッチなどである。この操作部55は、使用者による操作に応じた信号をシステム制御部70に出力する。記録部60は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部60は、カードスロットに装着された記録媒体に画像処理部30において生成された画像データや各種データを記憶する。また、記録部60は、内部メモリを有する。記録部60は、画像処理部30において生成された画像データや各種データを内部メモリに記録するように構成されてもよい。
システム制御部70は、電子機器1の全体の処理及び動作を制御する。このシステム制御部70はCPU(Central Processing Unit)を有する。本実施形態において、システム制御部70は、撮像素子100(撮像チップ113)の撮像面(画素領域113A)を複数のブロックに分け、ブロック間において異なる電荷蓄積時間(又は電荷蓄積回数)、フレームレート、ゲインで画像を取得させる。このため、システム制御部70は、ブロックの位置、形状、範囲、及び各ブロック用の蓄積条件を駆動部21に対して指示する。また、システム制御部70は、ブロック間で異なる間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数で画像を取得させる。このため、システム制御部70は、各ブロック用の撮像条件(間引き率、画素信号を加算する加算行数又は加算列数、及びデジタル化のビット数)を駆動部21に対して指示する。また、画像処理部30は、ブロック間で異なる撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)で画像処理を実行する。このため、システム制御部70は、各ブロック用の撮像条件(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)を画像処理部30に指示する。
また、システム制御部70は、画像処理部30において生成された画像データを記録部60に記録させる。また、システム制御部70は、画像処理部30において生成された画像データを表示部50に出力することにより、表示部50の第1表示部51に画像を表示させる。または、システム制御部70は、記録部60に記録されている画像データを読み出して表示部50に出力することにより、表示部50の第1表示部51に画像を表示させる。第1表示部51に表示される画像としては、静止画、動画、ライブビュー画像が含まれる。ここで、ライブビュー画像は、画像処理部30で生成された画像データを表示部50に順次出力して第1表示部51に表示される画像である。ライブビュー画像は、撮像部20により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
なお、画像処理部30は、CPUが制御プログラムに基づいて処理を実行することにより実現される。また、システム制御部70は、CPUが制御プログラムに基づいて処理を実行することにより実現される。
図6は、表示部における表示画面の一例を示す図である。図6に示すように、表示部50の表示画面500は、画像表示領域510と操作ボタン表示領域520とが設けられている。画像表示領域510は、撮像部20で撮像された画像、すなわち、静止画、動画、及びライブビュー画像を表示する領域である。また、操作ボタン表示領域520は、使用者が撮像条件などを設定するためのメニューを表示する領域である。本実施形態では、画像表示領域510及び操作ボタン表示領域520は、1つの表示画面500内に設けられている。なお、画像表示領域510は第1表示部51に相当し、操作ボタン表示領域520は第2表示部53に相当する。
画像表示領域510内には、複数のブロックB(i,j)が設定されている。図6に示す例では、ブロックB(i,j)は、画像表示領域510において、水平方向(図6の横方向)に8個のブロック(i=1〜8)が設定され、垂直方向(図6の縦方向)に6個のブロック(j=1〜6)が設定されている。つまり、画像表示領域510が8×6個(=48個)のブロックに分割されている。また、第1タッチパネル52が画像表示領域510上に設けられている。第1タッチパネル52において、複数のタッチ領域P(i,j)が複数のブロックB(i,j)のそれぞれに重なるように形成されている。各タッチ領域P(i,j)は、使用者により押された(タッチされた)ことを検出すると、押された位置(いずれのタッチ領域であるか)を示す検出信号をシステム制御部70に出力する。
操作ボタン表示領域520は、画像表示領域510の近傍に設けられている。操作ボタン表示領域520内には、使用者が領域、撮像条件、及び撮影モードを設定するためのメニュー(メニュー画像)が表示される。使用者が領域を設定するためのメニューは、設定のボタン521である。使用者が撮像条件を設定するためのメニューは、ISO感度のボタン522(これはゲインに関するメニューともいう。)、シャッタースピードのボタン523(これは電荷の蓄積時間に関するメニューともいう。)、及びフレームレートのボタン524(これはフレームレートに関するメニューともいう。)である。使用者が撮影モードを設定するためのメニューは、撮影モードのボタン525である。以下、設定のボタン521、ISO感度のボタン522、シャッタースピードのボタン523、フレームレートのボタン524、及び撮影モードのボタン525のことを、それぞれ、単に、「設定521」、「ISO感度522」、「シャッター523」、「フレームレート524」、及び「撮影モード525」と記す。
設定521は、使用者が画像表示領域510内の領域をブロック単位で設定(選択)する場合に押すボタンである。ISO感度522は、使用者がISO感度(すなわちゲイン)を設定する場合に押すボタンである。シャッター523は、使用者がシャッタースピード(すなわち、露光時間)を設定する場合に押すボタンである。なお、シャッタースピードは電荷の蓄積時間に対応する。フレームレート524は、使用者が動画やライブビュー画像のフレームレートを設定する場合に押すボタンである。撮影モード525は、使用者が手動(マニュアル)で撮像条件を設定するか、自動で撮像条件を設定するかを選択する場合に押すボタンである。
また、第2タッチパネル54が操作ボタン表示領域520上に設けられている。第2タッチパネル54において、タッチ領域521aが設定521上に重なるように形成されている。また、タッチ領域522aがISO感度522上に重なるように形成されている。また、タッチ領域523aがシャッター523上に重なるように形成されている。また、タッチ領域524aがフレームレート524上に重なるように形成されている。また、タッチ領域525aが撮影モード525上に重なるように形成されている。各タッチ領域521a〜525aは、使用者により押された(タッチされた)ことを検出すると、押された位置(いずれのタッチ領域であるか)を示す検出信号をシステム制御部70に出力する。なお、本実施形態において、第1タッチパネル52及び第2タッチパネル54は、別々のタッチパネルで構成されてもよく、1つのタッチパネルで構成されてもよい。1つのタッチパネルで構成されている場合は、そのタッチパネルのタッチ領域P(i,j)が第1タッチパネル52に相当し、タッチ領域521a〜525aが第2タッチパネル54に相当する。
図7は、第1実施形態における画像処理部及びシステム制御部の機能ブロック図である。図7に示すように、画像処理部30は合成処理部31を含んでいる。この合成処理部31は、高速に複数回撮像された画像を合成する処理を行う。このような処理により、画像に含まれるノイズが低減される。すなわち、この処理はノイズリダクションの機能を果たす。
また、システム制御部70は、表示制御部(制御部)71、変更部72、選択部73、及び撮像制御部(画像合成部)74を含んでいる。表示制御部71は、画像データを表示部50に出力することにより、第1表示部51に画像(静止画、動画、ライブビュー画像)を表示させる制御を行う。また、表示制御部71は、予め設定されているメニュー画像を第2表示部53に表示させる制御を行う。変更部72は、使用者による第2タッチパネル54のタッチ操作に応じて、又は自動的に、撮像条件(蓄積条件を含む)を変更する制御を行う。また、選択部73は、使用者による第1タッチパネル52のタッチ操作に応じて、画像表示領域510内の領域をブロック単位で選択する制御を行う。また、撮像制御部(画像合成部)74は、使用者によるシャッターボタン(操作部55)の操作に応じて撮像の制御を実行する。
実施形態(第1実施形態、後述する第2及び第3実施形態)において、「第1領域」とは、表示画面500の画像表示領域510において使用者の操作に応じて又は自動的に選択部73により選択された領域に対応する撮像素子100の画素領域113A内の領域のことをいう。また、「第2領域」とは、表示画面500の画像表示領域510において使用者の操作に応じて又は自動的に選択部73により選択された領域に対応する撮像素子100の画素領域113A内の領域のことをいう。第1領域と第2領域は、2分割された領域の一方と他方であってもよく、また3分割以上された領域のうちのいずれか一方と他方であってもよい。
次に、第1実施形態に係る撮影動作について説明する。図8は、第1実施形態に係るシステム制御部が実行する撮影動作を説明するためのフローチャートである。また、図9〜図12は、画像表示領域に少ない数のブロックが設定される場合の表示画面の表示例を示す図である。
図8に示す処理において、電子機器1に電源が投入された後、使用者が撮影を開始するために操作部55などの操作を行うと、システム制御部70が撮影動作を開始する(ステップS1)。なお、使用者は、予め静止画を撮影するか動画を撮影するかを選択する操作を行う。
撮影が開始されると、表示制御部71は、撮像部20で撮像されたライブビュー画像を第1表示部51(画像表示領域510)に表示する(ステップS2)。図9に示す例では、画像表示領域510に滝のライブビュー画像が表示されている。使用者は、画像表示領域510内の領域を選択する場合、設定521(すなわちタッチ領域521a)を指でタッチする。これにより、画像表示領域510内の領域が選択可能な状態、すなわち、第1タッチパネル52がタッチ操作を検出可能な状態となる。その後、使用者は、画像表示領域510に設定されているブロックB(i,j)を指でタッチすること(又は指でなぞる)ことにより、画像表示領域510内の領域をブロック単位で選択する。第1タッチパネル52は、使用者によりタッチされたタッチ領域P(i,j)に対応する検出信号をシステム制御部70に出力する。
選択部73は、第1タッチパネル52からの検出信号に基づいて、使用者によって選択された領域を認識する。図10に示す例では、使用者によって領域511が選択されている。この領域511は、滝の後ろの背景の領域(図10中の白線が引かれている領域)である。具体的には、領域511は、ブロックB(3,1)〜B(8,1),B(4,2)〜B(8,2),B(5,3)〜B(8,3),B(6,4)〜B(8,4)からなる領域である。
選択部73は、使用者により領域が選択されたか否かを判定する(ステップS3)。使用者により領域が選択されたと判定した場合は、選択部73は、使用者により選択された領域511を設定する(ステップS4)。具体的には、選択部73は、駆動部21に対して使用者により選択されたブロックの位置などを指示する指示信号を出力する。
変更部72は、使用者により撮影モードとしてオートモード(自動モード)が選択されたか否かを判定する(ステップS5)。ここで、使用者は、撮影モードを設定する場合は、撮影モード525(すなわちタッチ領域525a)をタッチする。そして、使用者は、撮影モードのうちマニュアルモード(手動モード)かオートモード(自動モード)かを選択する。変更部72は、撮影モードとしてオートモードが選択されていないと判定した場合、すなわち、撮影モードとしてマニュアルモードが選択されたと判定した場合は、使用者の第2タッチパネル54の操作に応じて撮像条件(蓄積条件を含む)を設定する(ステップS6)。
例えば、使用者は、撮像条件としてISO感度を設定する場合は、ISO感度522(すなわちタッチ領域522a)をタッチする。第2タッチパネル54は、使用者によりタッチされたタッチ領域522aに対応する検出信号をシステム制御部70に出力する。表示制御部71は、図11に示すように、ISO感度522の横にISO感度の値を複数表示させる。図11に示す例では、ISO感度として、「100」「200」「400」「800」「1600」が表示される。変更部71は、第2タッチパネル54において、ISO感度のそれぞれの値の領域と重なるように新たにタッチ領域を設定する。使用者は、ISO感度の値のいずれかをタッチする。第2タッチパネル54は、使用者によりタッチされたタッチ領域に対応する検出信号をシステム制御部70に出力する。変更部72は、使用者にタッチされたISO感度の値を設定する。具体的には、変更部72は、使用者により選択されたISO感度に応じたゲインを指示する指示信号を駆動部21に出力する。
使用者は、シャッタースピード(電荷蓄積時間)やフレームレートを設定する場合も、ISO感度の設定と同じような操作を行う。すなわち、使用者は、撮像条件としてシャッタースピード又はフレームレートを設定する場合は、シャッター523(すなわちタッチ領域523a)又はフレームレート524(すなわちタッチ領域524a)をタッチする。第2タッチパネル54は、使用者によりタッチされたタッチ領域523a又は524aに対応する検出信号をシステム制御部70に出力する。表示制御部71は、シャッター523又はフレームレート524の横にシャッタースピード又はフレームレートの値を複数表示させる。使用者は、シャッタースピード又はフレームレートの値のいずれかをタッチする。変更部72は、使用者によりタッチされたシャッタースピード又はフレームレートの値を設定する。具体的には、変更部72は、使用者により選択されたシャッタースピード又はフレームレートを指示する指示信号を駆動部21に出力する。
駆動部21は、使用者により選択された領域511に対応する画素領域113Aの領域をブロック単位で指示する指示信号を受け取る。また、駆動部21は、使用者により選択された撮像条件を指示する指示信号を受け取る。これに応じて、駆動部21は、領域511に対応する画素領域113Aの領域において、指示された撮像条件(シャッタースピード、ISO感度、フレームレート)で撮像するように撮像部20を駆動する。なお、一般的には、静止画を撮像する場合はシャッタースピードが設定され、動画を撮像する場合はフレームレートが設定される。
このように駆動部21が領域511に対応する画素領域113Aの領域の撮像条件が変更されると、画像表示領域510内の領域511に表示される画像(領域511におけるライブビュー画像)が変化する。例えば、ISO感度を高くすると、被写体が少ない光量でも明るく撮像される。また、ライブビュー画像の暗い部分が明るくなる。また、シャッタースピードを高くすると、動いている被写体のブレが少なくなる。また、フレームレートを高くすると、動画における被写体の動きが滑らかになる。
このように、使用者は、領域を選択し、選択した領域における撮像条件を設定することにより、ライブビュー画像において、撮像条件に変更に応じて変化する選択した領域の画像を確認することができる。この場合、使用者が選択した撮像条件が適正露出に合った条件でないこともある。しかし、使用者は、撮像条件の変更によって露出オーバーや露出アンダーになることを認識することもできる。また、使用者は、どのような撮像条件を変更するとどのように画像が変化するかを認識することができる。従って、使用者は、撮影を行う前に撮像条件を変更することによって画像を作成した上で撮影を行うことができる。
以上のようなステップS1〜S6の処理は、使用者による操作部55のシャッター(動画を撮影する場合は録画開始ボタン)の半押し操作(ステップS8)が行われるまで繰り返し実行される。図12に示す例では、画像表示領域510のうち領域511以外の領域512が選択されている。そして、使用者によるISO感度522、シャッター523、フレームレート524の値の選択に応じて、画像表示領域510内の領域512に表示されるライブビュー画像が変化する。
図12に示す領域512は、滝の領域(図12中の白線が引かれている領域)である。具体的には、領域512は、ブロックB(1,1)〜B(2,1),B(1,2)〜B(3,2),B(1,3)〜B(4,3),B(1,4)〜B(5,4),B(1,5)〜B(8,5),B(1,6)〜B(8,6)からなる領域である。
変更部72は、撮影モードとしてオートモードが選択されたと判定した場合は(ステップS5のYES)、使用者により選択された領域511の撮像条件を自動的に設定する(ステップS7)。このとき、変更部72は、ライブビュー画像における領域511内の画像のコントラストと色変化のうちの少なくとも一方に基づいて撮像条件を変更する。例えば、変更部72は、領域511内の画像の明部と暗部のコントラストが最大となるように撮像条件(ISO感度、シャッタースピード、フレームレート)を変更する。また、変更部72は、領域511の画像の色変化が最も鮮やかとなるように撮像条件(ISO感度、シャッタースピード、フレームレート)を変更する。また、変更部72は、領域511内の画像のコントラストが最大となり、領域511内の画像の色変化が最も鮮やかになるように撮像条件を変更する。
撮影モードとしてオートモードが選択された場合の処理(ステップS1〜S5,S7)は、使用者による操作部55のシャッターの半押し操作(ステップS8)が行われるまで繰り返し実行される。例えば、領域512においても、変更部72は、領域512内の画像のコントラストと色変化のうちの少なくとも一方に基づいて撮像条件を自動的に設定する(ステップS7)。変更部72が変更したISO感度、シャッタースピード、又はフレームレートの値に応じて、画像表示領域510内の領域511,512に表示されるライブビュー画像が変化する。
なお、図9〜図12において図示していないが、使用者が設定可能な領域ごとの撮像条件として、ISO感度、シャッタースピード、及びフレームレートに限られない。例えば、上述した間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数なども領域ごとの撮像条件として設定可能に構成してもよい。また、色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータも領域ごとの撮像条件として設定可能に構成してもよい。
システム制御部70は、シャッター又は録画開始ボタンの半押し操作(SW1の操作)が行われたか否かを判定する(ステップS8)。半押し操作は、撮影準備を開始させる指示として用いられる。なお、図8において図示していないが、システム制御部70は、自動的に焦点調節を行うオートフォーカス(AF)の制御などを実行する。
次に、システム制御部70は、シャッター又は録画開始ボタンの全押し操作(SW2の操作)が行われたか否かを判定する(ステップS9)。全押し操作が行われたと判定した場合は、撮像制御部74は、撮像素子100に撮像を実行させる撮像処理を行う(ステップS10)。図13は、第1実施形態に係る撮像処理の一例を示すフローチャートである。撮像制御部74は、まず、使用者により又は自動的にISO感度が所定値以上に設定されているか否かを判定する(ステップS11)。撮像制御部74は、ISO感度が所定値以上に設定されていないと判定した場合は、撮像部20に対して通常の撮像を実行させる(ステップS12)。すなわち、通常通り1回の撮像で静止画を取得する。このとき、上記のように選択された領域ごとの撮像条件により撮像が行われる。
一方、撮像制御部74は、ISO感度が所定値以上に設定されていると判定した場合は、撮像部20に対して複数回の連続撮像を実行させる(ステップS13)。例えば、撮像制御部74は、駆動部21に指示信号を出力することにより、撮像部20に対して高速に5回撮像を実行させる。この場合も、上記のように選択された領域ごとの撮像条件により撮像が行われる。例えば、既に設定されているシャッタースピードの時間中に複数回の撮像を実行する。
また、撮像制御部74は、画像処理部30に対して複数回の連続撮像された複数枚の画像を合成するように指示する(ステップS14)。画像処理部30において、合成処理部31は、撮像制御部74からの指示に基づいて、複数枚の画像を合成して静止画を生成する。ISO感度を高くするとノイズが生じやすくなるが、上記したように、高速に撮像された複数枚の画像を合成することにより、ノイズが低減される。
なお、ステップS10の撮像処理において、動画を撮像する場合は、撮像制御部74は、図13のステップS11に示す処理を行わずに、通常の撮像を実行する(ステップS12)。すなわち、動画の撮像の場合は、ステップS13に示す複数回の連続撮像や複数枚の画像の合成は行わない。
図9〜図12に示した表示画面500の表示例では、画像表示領域510に設定された各ブロックは大きな領域のブロックであった。しかし、図9〜図12に示したブロックより小さい領域のブロックが画像表示領域510に設定されてもよい。図14〜図16は、画像表示領域に多い数のブロックが設定される場合の表示画面の表示例を示す図である。図14〜図16に示す例では、ブロックは単位グループと同じ領域又は数個の単位グループを含む領域とされている。
使用者は、領域を選択する場合、設定521をタッチした後、図14に示すように、選択する領域の境界に沿って指をなぞっていく。このような選択方法により、よりきめ細かく領域を選択することができる。撮像条件を変更する操作は、図10〜図12で説明した場合と同様である。すなわち、図14に示すように、使用者は、領域513を選択する。この領域513は、滝の後ろの背景の領域(図14中の白線が引かれている領域)である。そして、使用者は、ISO感度522をタッチすると、図15に示すように、ISO感度522の横にISO感度の値が複数現れる。使用者は、ISO感度の値のいずれかをタッチしてISO感度を設定する。また、使用者は、シャッター523やフレームレート524をタッチすることにより、シャッタースピードやフレームレートを設定する。
また、使用者は、設定521をタッチした後、図16に示すように、選択する領域の境界に沿って指をなぞっていくことにより、領域514を選択する。そして、上記したのと同様に、使用者は、ISO感度522、シャッター523、及びフレームレート524をタッチ操作して、領域514におけるISO感度、シャッタースピード、及びフレームレートを設定する。また、図9〜図12で説明した場合と同様に、撮影モード525をタッチして撮影モードを変更することにより、領域ごとの撮像条件の変更を自動で行うように設定することも可能である。
以上に説明したように、第1実施形態では、撮像素子100を有し、第1領域と第2領域とを撮像可能な撮像部20と、撮像部20により撮像された第1領域と第2領域とに対応するライブビュー画像を表示部50に表示させる制御部71と、ライブビュー画像の第1領域の蓄積条件と、第2領域の蓄積条件とを異ならせる変更部72と、を含む。このような構成によれば、領域ごとの蓄積条件の変更に対応する画像の変化をライブビュー画像において確認することができる。従って、使用者は、静止画又は動画の撮像を開始する前に、領域ごとの撮像条件を変更して画像を作成することができる。このような処理は画像の撮像前編集が行われるものといえる。
また、変更部72は、第1領域の蓄積時間と、第2領域の蓄積時間とを異ならせるように構成されている。従って、使用者は、領域ごとに蓄積時間(シャッタースピード)を異ならせて画像を編集し、編集した画像を確認した上で撮像を行うことができる。また、変更部72は、第1領域のフレームレートと、第2領域のフレームレートとを異ならせるように構成されている。従って、使用者は、領域ごとにフレームレートを異ならせて画像を編集し、編集した画像を確認した上で撮像を行うことができる。また、変更部72は、第1領域のゲインと、第2領域のゲインとを異ならせるように構成されている。従って、使用者は、領域ごとにゲイン(ISO感度)を異ならせて編集し、編集した画像を確認した上で撮像を行うことができる。
また、変更部72は、ライブビュー画像のコントラストと色変化との少なくとも一方に基づいて第1領域の蓄積条件と、第2領域の蓄積条件とを異ならせるように構成されている。従って、コントラストと色変化との少なくとも一方に基づいて、領域ごとに最適な蓄積条件を自動的に設定することができる。
また、ライブビュー画像の第1領域と第2領域とを選択可能な選択部73を備えている。従って、使用者が任意の領域を選択することができる。または、選択部73がライブビュー画像の被写体に応じた領域を自動的に選択し、選択した領域を使用者に提供することができる。また、選択部73によって選択された領域の少なくとも一部を複数回撮像させて、合成する画像合成部74を備えているので、ノイズを低減することができる。この構成は、特に、ゲインを高くした場合に有効に作用する。
また、選択部73は、ライブビュー画像の一部を選択する第1タッチパネル52を有するので、使用者はライブビュー画像を視認しながら領域を選択することができる。また、第1タッチパネル52は、表示部50に形成されたタッチパネルを有するので、使用者はタッチパネルのタッチ操作で領域を選択することができる。このため、簡単な操作で容易に領域を選択することができる。
また、メニュー(操作ボタン表示領域520における設定521、ISO感度522、シャッター523、フレームレート524、撮影モード525)を選択する第2操作部54を備えるので、使用者はタッチパネルのタッチ操作で撮像条件などを選択することができる。このため、簡単な操作で容易に撮像条件などを選択することができる。また、制御部71は、ゲインに関するメニュー(ISO感度522)、蓄積時間に関するメニュー(シャッター523)、及びフレームレートに関するメニュー(フレームレート524)のうち、少なくとも1つを表示するので、ゲイン、蓄積時間、及びフレームレートの少なくとも1つをタッチパネルのタッチ操作で選択することができる。また、制御部71は、メニューをライブビュー画像の近傍に表示するので、撮像条件の変更に対応するライブビュー画像の変化を確認しながら撮像条件を変更することができる。従って、使用者による操作性が向上する。
なお、図5に示す第1実施形態に係る電子機器1は、例えば撮像機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどの機器で構成される。また、図5に示す第1実施形態に係る電子機器1において、表示部50は電子機器の外部に設けられる構成であってもよい。この場合、システム制御部70及び表示部50のそれぞれには、有線又は無線で信号(画像データや制御信号など)を送受信する通信部が設けられる。また、画像処理部30とシステム制御部70は一体で構成されてもよい。この場合、1つのCPUを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部30の機能とシステム制御部70の機能を担う。
<第2実施形態>
上記した第1実施形態では、画像表示領域510内における領域の選択はマニュアルで行うように構成していたが、第2実施形態では、領域の選択も自動(オート)で行うことができる。また、この第2実施形態では、移動する被写体の動きに応じて領域及び撮像条件(蓄積条件を含む)を設定する。また、この第2実施形態では、使用者によって選択された領域又は自動的に選択された領域のみ撮像する機能も備える。
図17は、第2実施形態における画像処理部及びシステム制御部の機能ブロック図である。図17に示すように、画像処理部30Aは合成処理部31及び検出部32を含んでいる。この合成処理部31は、図7で説明した構成と同様であるため説明を省略する。検出部32は、移動する被写体(例えば、図9などに示す滝)を検出する処理を行う。また、システム制御部70の構成についても、図7で説明した構成と同様であるため説明を省略する。なお、画像処理部30及びシステム制御部70以外の構成(レンズ部10、撮像部20、ワークメモリ40、表示部50、記録部60)は、図5に示した構成と同様である。
次に、第2実施形態に係る撮影動作について説明する。図18は、第2実施形態に係るシステム制御部が実行する撮影動作を説明するためのフローチャートである。図18に示す処理において、電子機器1に電源が投入された後、使用者が撮影を開始するために操作部55などの操作を行うと、システム制御部70が撮影動作を開始する(ステップS1)。
撮影が開始されると、表示制御部71は、撮像部20で撮像されたライブビュー画像を第1表示部51(画像表示領域510)に表示する(ステップS2)。使用者は、撮影モードを設定する。この場合は、撮影モード525(すなわちタッチ領域525a)をタッチする。そして、撮影モードのうちマニュアルモード(手動モード)かオートモード(自動モード)かを選択する。
システム制御部70は、撮影モード525としてオートが選択されたか否かを判定する(ステップS21)。撮影モードとしてオートモードが選択されていないと判定した場合、すなわち、撮影モードとしてマニュアルモードが選択されたと判定した場合は、選択部73は、図8に示すステップS3及びS4と同様の処理を行う。続いて、変更部72は、図8に示すステップS6と同様の処理を行う。
一方、撮影モードとしてオートモードが選択されたと判定した場合、選択部73は、画像表示領域510に表示しているライブビュー画像に基づいて、領域及び撮像条件を自動的に設定する(ステップS22)。
図19は、領域及び撮像条件の自動設定処理(ステップS22)の一例を示すフローチャートである。図19に示すように、システム制御部70は、画像処理部30に対して移動被写体の検出を指示する(ステップS22a)。検出部32は、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体(移動していない被写体)とを検出する。そして、検出部32は、検出結果を画像データとともにシステム制御部70に出力する。選択部73は、検出部32の検出結果に基づいて、移動被写体の領域と非移動被写体の領域とを設定する(ステップS22b)。
また、変更部72は、検出部32の検出結果に基づいて、移動被写体の領域と非移動被写体の領域の撮像条件を設定する(ステップS22c)。例えば、移動被写体の領域については、ISO感度を高くするとともに、シャッタースピードを速くする。また、動画を撮像している場合は、移動被写体の領域については、フレームレートを非移動被写体の領域のフレームレートよりも高くする。また、非移動被写体の領域については、ISO感度を移動被写体の領域のISO感度よりも低くするとともに、シャッタースピードを移動被写体の領域のシャッタースピードよりも遅くする。また、動画を撮像している場合は、非移動被写体の領域については、フレームレートを移動被写体の領域のフレームレートよりも低くする。
なお、図19に示す領域及び撮像条件の自動設定処理は一例であって、他の方法により領域及び撮像条件を設定するようにしてもよい。例えば、検出部32により移動被写体が検出されなかった場合は、選択部73は、ライブビュー画像における明部と暗部のコントラストや色変化に基づいて領域の境界を特定して領域を設定するようにしてもよい。また、第1実施形態で説明したように、変更部72は、ライブビュー画像における領域511内の画像のコントラストと色変化のうちの少なくとも一方に基づいて撮像条件を変更するようにしてもよい。このような領域及び撮像条件を設定する処理と、図19に示す処理とを組み合わせて適用してもよい。
システム制御部70は、第1実施形態と同様に、シャッター又は録画開始ボタンの半押し操作(SW1の操作)が行われたか否かを判定する(ステップS8)。半押し操作が行われた場合は、システム制御部70は、シャッター又は録画開始ボタンの全押し操作(SW2の操作)が行われたか否かを判定する(ステップS9)。全押し操作が行われたと判定した場合は、撮像制御部74は、撮像素子100に撮像を実行させる撮像処理を行う(ステップS23)。
図20は、第2実施形態に係る撮像処理の一例を示すフローチャートである。撮像制御部74は、使用者により領域撮像モードが設定されているか否かを判定する(ステップS31)。ここで、領域撮像モードは、使用者により選択された領域又は自動的に設定された領域についてのみ撮像を行うモードである。使用者は、撮像処理を実行する前に、操作部55や第2タッチパネル54(例えば、撮影モード525のタッチ操作)などを操作することにより領域撮像モードを設定する。
撮像制御部74は、領域撮像モードが設定されていないと判定した場合は、画像表示領域510のすべての領域について撮像を実行させる(ステップS32)。この場合は、例えば、図13のステップS11〜S14と同様の処理が行われる。一方、撮像制御部74は、領域撮像モードが設定されていると判定した場合は、画像表示領域510において選択された領域についてのみ撮像を実行させる(ステップS33)。このとき、選択された領域に設定された撮像条件で撮像が行われる。
図21は、選択された領域のみ撮像される場合の表示画面の表示例を示す図である。図21に示すように、滝の領域513が選択された場合は、その領域513のみ撮像が行われ、その他の領域については撮像が行われない。
以上に説明したように、第2実施形態では、移動被写体を検出する検出部32を備え、変更部72は、検出部32の検出結果に応じて、第1領域の蓄積条件と、第2領域の蓄積条件とを異ならせるように構成されている。従って、移動被写体の動きに適した撮像条件を設定することができる。また、選択部73は、検出部32の検出結果に応じて、第1領域と第2領域とを設定するように構成されている。従って、移動被写体の領域を確実に抽出することができる。また、第2実施形態においても、第1実施形態で説明した効果と同様の効果を奏する。
また、この第2実施形態では、使用者によって選択された領域又は自動的に選択された領域のみ撮像する機能を備える。従って、使用者が撮像したい領域についてだけ撮像を行うことができる。このような構成によれば、使用者は例えば利用価値の高い様々な素材画像を取得することができる。
なお、第2実施形態においても、使用者が設定可能な領域ごとの撮像条件として、ISO感度、シャッタースピード、及びフレームレートに限られない。例えば、上述した間引き率、画素信号を加算する加算行数又は加算列数、デジタル化のビット数なども領域ごとの撮像条件として設定可能に構成してもよい。また、色信号処理、ホワイトバランス調整、階調調整、圧縮率などのパラメータも領域ごとの撮像条件として設定可能に構成してもよい。
また、第2実施形態において、画像処理部30Aは、CPUが制御プログラムに基づいて処理を実行することにより実現される。
<第3実施形態>
第3実施形態では、上記した第1実施形態における電子機器1を、撮像装置1Aと電子機器1Bとに分離した構成としている。
図22は、第3実施形態に係る撮像装置及び電子機器の構成を示すブロック図である。図22に示す構成において、撮像装置1Aは、被写体の撮像を行う装置である。この撮像装置1Aは、レンズ部10、撮像部20、画像処理部30、ワークメモリ40、操作部55、記録部60、及び第1システム制御部70Aを備える。なお、撮像装置1Aのうち、10、撮像部20、画像処理部30、ワークメモリ40、操作部55、及び記録部60の構成は、図5に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
また、電子機器1Bは、画像(静止画、動画、ライブビュー画像)の表示を行う装置である。この電子機器1Bは、表示部50及び第2システム制御部(制御部)70Bを備える。なお、電子機器1Bのうちの表示部50の構成は、図5に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第1システム制御部70Aは、第1通信部75Aを有している。また、第2システム制御部70Bは、第2通信部75Bを有している。第1通信部75Aと第2通信部75Bとは、互いに有線又は無線で信号を送受信する。また、第1システム制御部70Aは、図7に示す構成のうち、例えば撮像制御部74に相当する構成のみ有している。また、第2システム制御部70Bは、図7に示す構成のうち、例えば表示制御部71、変更部72、及び選択部73に相当する構成を有している。
このような構成において、第1システム制御部70Aは、第1通信部75Aを介して画像データ(画像処理部30が画像処理した画像データ、記録部60に記録されている画像データ)を第2通信部75Bに送信する。第2システム制御部70Bは、第2通信部75Bにおいて受信した画像データを表示部50に表示させる。また、第2システム制御部70Bは、予め設定されているメニュー画像を第2表示部53に表示させる。
また、第2システム制御部70Bは、使用者による第2タッチパネル54のタッチ操作に応じて、又は自動的に、撮像条件(蓄積条件を含む)を変更する制御を行う。また、第2システム制御部70Bは、使用者による第1タッチパネル52のタッチ操作に応じて、又は自動的に、画像表示領域510内の領域をブロック単位で選択する制御を行う。また、第1システム制御部70Aは、使用者によるシャッターボタン(電子機器1B側に設けられた静止画や動画の撮像開始を指示する操作部)の操作に応じて撮像の制御を実行する。
図7に示す構成(表示制御部71、変更部72、選択部73、及び撮像制御部74)は、第1システム制御部70Aと第2システム制御部70Bのいずれに設けられてもよい。図7に示すすべての構成は、第1システム制御部70A又は第2システム制御部70Bに設けられてもよく、また図7に示す構成の一部が第1システム制御部70Aに設けられ、図7に示す構成の一部以外の構成が第2システム制御部70Bに設けられてもよい。
なお、撮像装置1Aは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器1Bは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
図22に示す画像処理部30は、CPUが制御プログラムに基づいて処理を実行することにより実現される。また、図22に示す第1システム制御部70Aは、CPUが制御プログラムに基づいて処理を実行することにより実現される。また、図22に示す第2システム制御部70Bは、CPUが制御プログラムに基づいて処理を実行することにより実現される。
以上に説明したように、第3実施形態では、撮像素子100を有し、第1領域と第2領域とを撮像する撮像部20が撮像したライブビュー画像を表示可能な表示部50と、撮像部20により撮像された第1領域と第2領域とに対応するライブビュー画像が表示部50に表示されている際に、ライブビュー画像の撮像条件を設定するメニューを表示部50に表示させる制御部75Bと、を含む。このような構成によれば、第1実施形態で説明した効果に加え、スマートフォンなどの携帯端末を用いて撮像装置1Aで撮像されているライブビュー画像を編集し、編集したライブビュー画像を確認した上で撮像を行うことができる。
なお、図22に示す構成において、画像処理部30と第1システム制御部70Aとは一体で構成されてもよい。この場合、1つのCPUを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部30の機能と第1システム制御部70Aの機能を担う。
<第4実施形態>
図6、図9〜図12、図14〜図16、及び図21示す操作ボタン表示領域520において、各ボタン521〜525は、それぞれ予め決められた順序で配置されていた。すなわち、設定521は一番上に配置され、ISO感度522は上から2番目(すなわち設定521の下)に配置され、シャッター523は上から3番目(すなわちISO感度522の下)に配置され、フレームレート524は上から4番目(すなわちシャッター523の下)に配置され、撮影モード525は一番下に配置されていた。一方、第4実施形態では、表示制御部71が領域内の被写体に応じて各ボタン521〜525の配置を変更して表示する。また、第4実施形態では、表示制御部71が優先度の高いボタンを他のボタンの表示態様と異なる表示態様で表示する。
図23は、第4実施形態における表示画面の表示例を示す図である。図23に示す例では、設定521は一番上に配置され、シャッター523は上から2番目(すなわち設定521の下)に配置され、フレームレート524は上から3番目(すなわちシャッター523の下)に配置され、ISO感度522は上から4番目(すなわちフレームレート524の下)に配置され、撮影モード525は一番下に配置されている。また、図23に示すように、シャッター523は、他のボタン(設定521、ISO感度522、フレームレート524、撮影モード525)よりも大きな領域のボタンとなっている。
また、第2タッチパネル54において、タッチ領域521aが設定521上に重なるように形成されている。また、タッチ領域523aがシャッター523上に重なるように形成されている。また、タッチ領域524aがフレームレート524上に重なるように形成されている。また、タッチ領域522aがISO感度522上に重なるように形成されている。また、タッチ領域525aが撮影モード525上に重なるように形成されている。なお、タッチ領域523aは、シャッター523の領域の大きさに合わせて、他のボタンの領域よりも大きな領域となっている。
次に、画像処理部30及びシステム制御部70による各ボタン512〜525の配置の変更処理について説明する。図8及び図18のステップS6を実行するときに、システム制御部70は、画像処理部30に対して移動被写体の検出を指示する。検出部32は、ライブビュー画像から時系列的に得られる複数の画像データを比較して、移動被写体と非移動被写体とを検出する。そして、検出部32は、検出結果を画像データとともにシステム制御部70に出力する。
表示制御部71は、検出部32の検出結果に基づいて、選択部73により選択された領域内に移動被写体が含まれているか否かを判定する。表示制御部71は、選択部73により選択された領域内に移動被写体が含まれていると判定した場合は、図23に示すように、シャッタースピードを設定するためのボタンであるシャッター523を上から2番目の位置に表示させる。また、表示制御部71は、シャッター523を他のボタンよりも大きく表示させる。
シャッタースピードの変更により、移動被写体の写り方が変化する。例えば、移動被写体が滝である場合、シャッタースピードを高く(速く)することにより、滝の水の流れが瞬間的に止まったような画像となる。一方、シャッタースピードを低く(遅く)することにより、滝の水の流れが糸に見えるような画像となる。このように、移動被写体については、シャッタースピードが他の撮像条件よりも被写体の写り方に大きく影響する。従って、表示制御部71は、領域内に移動被写体が含まれている場合、シャッタースピードの優先度が他の撮像条件よりも高いと判断する。そして、表示制御部71は、シャッター523の位置を上に移動させるとともに、シャッター523を大きな領域のボタンとして表示させる。これにより、優先度の高いボタンが使用者にとって操作しやすい位置に配置され、使用者の操作性が向上する。また、優先度の高いボタン(つまり撮像条件)が他のボタン(つまり撮像条件)よりも目立つようになり、使用者に優先度の高いボタンの操作を促すことができる。
なお、動画の場合は、フレームレートが移動被写体の動きの滑らかさに大きく影響する。従って、表示制御部71は、移動被写体の動画を撮像する場合は、フレームレートの優先度が他の撮像条件よりも高いと判断する。そして、表示制御部71は、フレームレート524の位置を上に移動させるとともに、フレームレート524を大きな領域のボタンとして表示させる。
上述した例では、表示制御部71は、領域内の被写体が移動被写体であるか否かによってボタンの配置や表示態様(大きさ)を変更するようにしていたが、このような構成に限らない。例えば、図8及び図18のステップS6を実行するときに、システム制御部70は、画像処理部30に対して画像の明度の検出を指示する。画像処理部30は、ライブビュー画像に基づいて領域内の画像の明度を検出する。そして、画像処理部30は、検出結果を画像データとともにシステム制御部70に出力する。
表示制御部71は、画像処理部30による明度の検出結果に基づいて、選択部73により選択された領域内の画像の明度が所定範囲内の値であるか否かを判定する。表示制御部71は、領域内の画像の明度が所定範囲内の値でないと判定した場合は、ISO感度を設定するためのボタンであるISO感度522を上から2番目の位置に表示させる。また、表示制御部71は、ISO感度522を他のボタンよりも大きく表示させる。
ISO感度の変更により、ライブビュー画像の暗い部分が明るくなり、明るい部分が暗くなる。領域内の明度が所定範囲内の値でない場合、すなわち、領域内の画像が明るすぎる場合や暗すぎる場合は、ISO感度を変更することにより最適露出に近づけることができる。従って、表示制御部71は、領域内の画像が所定範囲内の値でない場合、ISO感度の優先度が他の撮像条件よりも高いと判断する。そして、表示制御部71は、ISO感度522の位置を上に移動させるとともに、ISO感度522を大きな領域のボタンとして表示させる。これにより、優先度の高いボタンが使用者にとって操作しやすい位置に配置され、使用者の操作性が向上する。また、優先度の高いボタン(つまり撮像条件)が他のボタン(つまり撮像条件)よりも目立つようになり、使用者に優先度の高いボタンの操作を促すことができる。
なお、優先度の高いボタンを目立たせるような表示態様として、ボタンを大きくするほかに、ボタンの色を変更したり、ボタンを点滅表示させたりするような表示態様などでもよい。また、優先度の高いボタンが使用者により押される前に、そのボタンの横に撮像条件の値を複数表示させることにより、優先度の高いボタンを目立たせるようにしてもよい。また、ボタンの配置だけを変更する構成でもよく、また、ボタンの表示態様だけを変更する構成でもよい。
また、使用者がボタンを操作する順序に応じて、ボタンの配置を変更し、ボタンの表示態様を変更するようにしてもよい。例えば、使用者は、設定521を押した後に領域を選択する。次に、使用者は、撮影モード525を押して撮影モードとしてマニュアルモードを選択する。その後に、使用者は、領域ごとに撮像条件を変更する。このような場合、表示制御部71は、設定521を一番上に配置するとともに設定521を大きくする。次に、表示制御部71は、撮影モード525を一番上に配置するとともに撮影モード525を大きくする。その後、表示制御部71は、領域ごとの被写体(画像)に応じて、ISO感度522、シャッター523、及びフレームレート524のいずれかを一番上に配置し、さらに、その一番上のボタンを大きくする。このように、使用者の操作手順に沿った順序でボタンの配置や表示態様を変更することにより、使用者による操作の利便性が向上する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
例えば、上記した第1実施形態及び第2実施形態において、電子機器1は、撮像部20と、制御部71及び変更部72を含むシステム制御部70とを備えていれば、レンズ部10や記録部60などを備えていなくてもよい。すなわち、これらの構成は電子機器1と別構成とされていてもよい。また、上記した第3実施形態において、撮像装置1Aについても、レンズ部10や記録部60などは別構成とされていてもよい。
また、上記した各実施形態において、カラーフィルタ102の配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。また、単位グループ131を形成する画素の数は、少なくとも1つの画素を含んでいればよい。また、ブロックも少なくとも1画素を含んでいればよい。従って、1画素ごとに異なる撮像条件で撮像を実行することも可能である。
また、上記した各実施形態において、駆動部21は、一部又はすべての構成が撮像チップ113に搭載されてもよいし、一部又はすべての構成が信号処理チップ111に搭載されてもよい。また、画像処理部30の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。また、システム制御部70の一部の構成が撮像チップ113又は信号処理チップ111に搭載されてもよい。
また、上記した各実施形態において、撮像条件として、ISO感度、シャッタースピード、フレームレートのすべてが変更可能に構成されているが、これらの少なくとも1つを変更可能であればよい。また、撮像条件が自動的に設定される場合、最適露出となるようなベストモードの撮像条件を使用者に提示するようにしてもよく、また撮像条件が段階的に変更されたライブビュー画像を使用者に提示するようにしてもよい。
また、上記した各実施形態において、操作ボタン表示領域520は、画像表示領域510の近傍に設けられていたが、画像表示領域510の近傍でない位置に設けられてもよい。また、操作ボタン表示領域520は、画像表示領域510と重畳した位置に配置されてもよい。また、使用者が第2タッチパネル54をタッチ操作することに代えて、操作部55を操作するようにしてもよい。
また、上記した各実施形態において、使用者が第1タッチパネル52を操作して領域を選択し、第2タッチパネル54を操作して撮像条件などを設定するように構成されていた。しかし、このような構成に限られず、使用者は操作部55を操作して領域を選択し、撮像条件などを設定するように構成されてもよい。
また、上記した第1実施形態では、使用者は、領域についてはマニュアルで設定し、撮像条件はマニュアルで設定するか自動的に設定するかを撮影モードを設定することにより選択する。また、上記した第2実施形態では、使用者は、領域及び撮像条件についてマニュアルで設定するか自動的に設定するかを撮影モードを設定することにより選択する。しかし、使用者が領域及び撮像条件のすべてをマニュアルだけで設定するようにしてもよい。また、領域については自動的に設定し、撮像条件についてはマニュアルで設定するか自動的に設定するかを撮影モードを設定することにより選択するようにしてもよい。
また、上記した各実施形態では、ブロックの領域の大きさが予め設定されている場合について説明したが、使用者がブロックの領域の大きさを設定するように構成してもよい。また、上記した第1実施形態では、画像表示領域510内に設定されるブロックの数が少ない場合(図9〜図12)と、画像表示領域510内に設定されるブロックの数が多い場合(図14〜図16)とを例示した。しかし、システム制御部70(選択部73)が大きな領域のブロックと小さな領域のブロックとを自動的に設定するようにしてもよい。例えば、システム制御部70(選択部73)が領域の境界を自動的に認識する。次に、システム制御部70(選択部73)は、領域の境界が大きな領域のブロックを横断する場合は、大きな領域のブロック内に小さな領域のブロックを設定する。そして、システム制御部70は、小さな領域のブロック単位で、領域の境界に沿って領域を設定する。
また、上記した各実施形態において、第1表示部51に表示しているライブビュー画像の撮像条件と、シャッター操作に応じて撮像するときの撮像条件とは同じ条件であることを想定している。ライブビュー画像において実際に撮像される画像を確認することができるようにするためである。しかし、ライブビュー画像の撮像条件と実際に撮像される画像の撮像条件とを異ならせてもよい。この場合、使用者がライブビュー画像に基づいて実際に撮像される画像を認識できる程度の撮像条件の変更とされる。