JP6977759B2 - 電子機器 - Google Patents

Description

本発明は、電子機器に関する。

撮像チップと信号処理チップとにより構成された撮像素子が提案されている（特許文献１参照）。

日本国特開２００６−４９３６１号公報

従来技術では、領域ごとの撮像条件を設定しにくいという問題があった。

本発明の第１の態様によると、電子機器は、撮像素子の第１領域に対して被写体を撮像するための第１撮像条件を設定する設定部と、前記設定部により前記第１領域に対して前記第１撮像条件が設定されると、前記撮像素子の、前記第１領域から行方向側の位置に配置される第２領域に対して被写体を撮像するための第２撮像条件を設定するように前記設定部を制御する制御部と、を備え、前記制御部は、前記設定部により前記第１領域に対して前記第１撮像条件が設定される前後において、前記第１領域で撮像される被写体の輝度値と前記第２領域で撮像される被写体の輝度値との差が保たれるように前記第２撮像条件の設定を制御する。
本発明の第２の態様によると、電子機器は、撮像素子の第１領域に対して被写体を撮像するための第１撮像条件を設定する設定部と、前記設定部により前記第１領域に対して前記第１撮像条件が設定されると、前記撮像素子の、前記第１領域から行方向側の位置に配置される第２領域に対して被写体を撮像するための第２撮像条件を設定するように前記設定部を制御する制御部と、を備え、前記制御部は、前記設定部により前記第１領域に対して前記第１撮像条件が設定される前後において、前記第１領域で撮像される被写体の輝度値と前記第２領域で撮像される被写体の輝度値との差が大きくなるように前記第２撮像条件の設定を制御する。
本発明の第３の態様によると、電子機器は、行方向において並んで配置される複数の画素を有する撮像素子と、前記複数の画素のうち第１画素が第１撮像条件で駆動するように設定する設定部と、前記設定部により前記第１画素が前記第１撮像条件で駆動するように設定されると、前記複数の画素のうち第２画素を第２撮像条件で駆動させるように前記設定部を制御する制御部と、を備え、前記制御部は、前記設定部により前記第１画素に対して前記第１撮像条件が設定される前後において、前記第１画素を用いて撮像される被写体の輝度値と前記第２画素を用いて撮像される被写体の輝度値との差が保たれるように前記第２撮像条件の設定を制御する。
本発明の第４の態様によると、電子機器は、行方向において並んで配置される複数の画素を有する撮像素子と、前記複数の画素のうち第１画素が第１撮像条件で駆動するように設定する設定部と、前記設定部により前記第１画素が前記第１撮像条件で駆動するように設定されると、前記複数の画素のうち第２画素を第２撮像条件で駆動させるように前記設定部を制御する制御部と、を備え、前記制御部は、前記設定部により前記第１画素に対して前記第１撮像条件が設定される前後において、前記第１画素を用いて撮像される被写体の輝度値と前記第２画素を用いて撮像される被写体の輝度値との差が大きくなるように、または前記第１領域で撮像される被写体の輝度値と前記第２領域で撮像される被写体の輝度値との差が大きくなるように、前記第２撮像条件の設定を制御する。

第１の実施の形態に係る電子機器の構成を示すブロック図である。 （ａ）は、撮像素子の撮像面を模式的に示す平面図であり、（ｂ）は撮像面の一部領域を拡大した平面図である。 （ａ）は情報端末装置の姿勢が縦位置であると判断された情報端末装置において、被写体画像が液晶モニタに表示された状態を示す模式的な図である。（ｂ）は被写体画像の被写体画像に主要被写体領域を重畳して明示的に表示させるとともに、部分画像を表示させた表示形態の例を示す図である。（ｃ）は（ａ）における部分画像に係る主要被写体の拡大画像を表示させた表示形態の例を示す図である。（ｄ）は（ａ）における部分画像に係る主要被写体の拡大画像を表示させた表示形態の例を示す図である。 （ａ）は姿勢検出部により情報端末装置の姿勢が縦位置であると判断された情報端末装置において、人物が液晶モニタに大きく映し出されている表示形態の例を示す図である。（ｂ）は被写体画像上で主要被写体領域の輪郭を表示させた表示形態の例を示す図である。 （ａ）は姿勢検出部により情報端末装置の姿勢が縦位置であると判断された情報端末装置において、液晶モニタ表示されている人物が小さい場合の表示形態の例を示す図である。（ｂ）は被写体画像中の主要被写体の拡大画像を表示させた表示形態の例を示す図である。 （ａ）は姿勢検出部により情報端末装置の姿勢が横位置であると判断された情報端末装置において、被写体画像が液晶モニタに表示された状態を示す模式的な図である。（ｂ）は被写体画像に主要被写体領域を重畳して明示的に表示させるとともに、部分画像を表示させた表示形態の例を示す図である。（ｃ）は（ｂ）における部分画像に係る主要被写体の拡大画像を表示させた表示形態の例を示す図である。（ｄ）は（ｂ）における部分画像に係る主要被写体の拡大画像を表示させた表示形態の例を示す図である。 主要被写体ごとに撮像条件を設定して被写体像を撮像する処理についてのフローチャートである。 第２の実施の形態の情報端末装置の構成を示すブロック図である。 （ａ）は液晶モニタに表示された被写体画像における人物をユーザーが指でタッチした状態を模式的に示す図である。（ｂ）は被写体画像に主要被写体領域を重畳して明示的に表示させるとともに、拡大画像を表示させた表示形態の例を示す図である。 （ａ）は液晶モニタに表示された被写体画像における人物をユーザーが２本の指でタッチした状態を模式的に示す図である。（ｂ）は液晶モニタに表示された枠の操作について説明する図である。（ｃ）は液晶モニタに表示された枠の操作について説明する図である。（ｄ）は液晶モニタに表示された枠の操作について説明する図である。（ｅ）は液晶モニタに表示された枠の操作について説明する図である。 （ａ）は指でなぞられた軌跡に沿った線を液晶モニタに表示させる場合について説明する図である。（ｂ）は指でなぞられた軌跡に沿った線を液晶モニタに表示させる場合について説明する図である。 変形例を示す図である。 変形例を示す図である。 変形例を示す図である。 変形例を示す図である。 変形例を示す図である。 変形例を示す図である。 変形例を示す図である。 変形例を示す図である。 本発明の第４の実施の形態に係る撮像装置の構成を示すブロック図である。 被写体と被写体の輝度分布とを模式的に示す図である。 （ａ）は黒つぶれも白飛びも存在しない場合の単位グループごとの輝度のヒストグラムである。（ｂ）は黒つぶれが存在し白飛びが存在しない場合の単位グループごとの輝度のヒストグラムである。（ｃ）は白飛びが存在し黒つぶれが存在しない場合の単位グループごとの輝度のヒストグラムである。（ｄ）は黒つぶれも白飛びも存在する場合の単位グループごとの輝度のヒストグラムである。 変形例７の説明図である。 変形例８の説明図である。 積層型撮像素子の断面図である。 撮像チップの画素配列とブロックを説明する図である。 撮像チップのユニットに対応する回路図である。 撮像素子の機能的構成を示すブロック図である。

−−−第１の実施の形態−−−
始めに、本発明の一実施の形態による電子機器（例えば撮像装置１０）に搭載する撮像素子２２について説明する。撮像素子２２は、本願出願人が先に出願した日本国特願２０１２−１３９０２６号に記載されているものである。図２５は、撮像素子２２の断面図である。撮像素子２２は、入射光に対応した画素信号を出力する撮像チップ２１１３と、画素信号を処理する信号処理チップ２１１１と、画素信号を記憶するメモリチップ２１１２とを備える。撮像チップ２１１３、信号処理チップ２１１１およびメモリチップ２１１２は積層されており、Ｃｕ等の導電性を有するバンプ２１０９により互いに電気的に接続される。

なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ２１１３において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２５の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ２１１３の一例は、ＣＭＯＳイメージセンサである。具体的には、裏面照射型のＣＭＯＳイメージセンサである。ＰＤ層２１０６は、配線層２１０８の裏面側に配されている。ＰＤ層２１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード２１０４、および、フォトダイオード２１０４に対応して設けられたトランジスタ２１０５を有する。すなわち、ＰＤ層２１０６は、光を電荷に変換する光電変換機能を有する複数のフォトダイオード２１０４と、フォトダイオード２１０４に蓄積された電荷により生成される信号を配線層２１０８へ読み出すための複数のトランジスタ２１０５を有する。

ＰＤ層２１０６における入射光の入射側にはパッシベーション膜２１０３を介してカラーフィルタ２１０２が設けられる。カラーフィルタ２１０２は、互いに異なる波長領域を透過する複数の種類を有しており、フォトダイオード２１０４のそれぞれに対応して特定の配列を有している。すなわち、カラーフィルタ２１０２は、分光特性の異なる複数種類のフィルタを有し、フォトダイオード２１０４は、フィルタを透過した光を受光する。カラーフィルタ２１０２の配列については後述する。カラーフィルタ２１０２、フォトダイオード２１０４およびトランジスタ２１０５の組が、一つの画素を形成する。

カラーフィルタ２１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ２１０１が設けられる。マイクロレンズ２１０１は、対応するフォトダイオード２１０４へ向けて入射光を集光する。

配線層２１０８は、ＰＤ層２１０６からの画素信号を信号処理チップ２１１１に伝送する配線２１０７を有する。配線２１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。

配線層２１０８の表面には複数のバンプ２１０９が配される。当該複数のバンプ２１０９が信号処理チップ２１１１の対向する面に設けられた複数のバンプ２１０９と位置合わせされて、撮像チップ２１１３と信号処理チップ２１１１とが加圧等されることにより、位置合わせされたバンプ２１０９同士が接合されて、電気的に接続される。

同様に、信号処理チップ２１１１およびメモリチップ２１１２の互いに対向する面には、複数のバンプ２１０９が配される。これらのバンプ２１０９が互いに位置合わせされて、信号処理チップ２１１１とメモリチップ２１１２とが加圧等されることにより、位置合わせされたバンプ２１０９同士が接合されて、電気的に接続される。

なお、バンプ２１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ２１０９は、たとえば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ２１０９の大きさは、フォトダイオード２１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ２１０９よりも大きなバンプを併せて設けてもよい。

信号処理チップ２１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）２１１０を有する。ＴＳＶ２１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ２１１０は、撮像チップ２１１３の周辺領域、メモリチップ２１１２にも設けられてよい。

図２６は、撮像チップ１１３の画素配列を説明する図である。特に、撮像チップ２１１３を裏面側から観察した様子を示す。画素領域には、たとえば８００万個以上の画素がマトリックス状に配列されている。本実施形態においては、たとえば隣接する２画素×２画素の４画素で１つのブロック２１３１を形成する。そして、隣接する２ブロック×２ブロックの４ブロックで１つの単位グループ３２を形成する。図の格子線は、隣接する画素をまとめてブロック２１３１および単位グループ３２を形成する概念を示す。ブロック２１３１を形成する画素の数や、単位グループ３２を形成するブロック２１３１の数は、上記例に限らず、それ以上でもそれ以下でもよい。

画素領域の部分拡大図に示すように、ブロック２１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素は、カラーフィルタ２１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ２１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ２１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態において、１ブロック２１３１につきＧｂ、Ｇｒ、ＢおよびＲの４画素を少なくとも１つ含むように複数のブロック２１３１が定義される。各ブロック２１３１はそれぞれ、ブロック２１３１内の４画素をブロック２１３１ごとに定めた制御パラメータで制御できる。つまり、あるブロック２１３１に含まれる画素群と、別のブロック２１３１に含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。すなわち、あるブロック２１３１に含まれる画素群の撮像条件を、別のブロック２１３１に含まれる画素群とは異なる撮像条件で撮像動作を行うことができる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。すなわち、あるブロック２１３１に含まれる画素群のフレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間、電荷の蓄積回数およびデジタル化のビット数を、別のブロック２１３１に含まれる画素群とは異なるフレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間、電荷の蓄積回数およびデジタル化のビット数で撮像動作を行うことができる。

図２７は、撮像チップ２１１３における１つの単位グループ３２に対応する回路図である。図２７において、代表的に点線で囲む矩形が、１つの画素に対応する回路を表す。また、一点鎖線で囲む矩形が１つのブロック２１３１に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図２５のトランジスタ２１０５に対応する。

上述したように、単位グループ３２は４つのブロック２１３１から形成される。単位グループ３２に含まれる画素のリセットトランジスタ２３０３は、ブロック２１３１単位でオン／オフされる。また、単位グループ３２に含まれる画素の転送トランジスタ２３０２も、ブロック２１３１単位でオン／オフされる。図２７に示す例において、左上ブロック２１３１−１に対応する４つのリセットトランジスタ２３０３をオン／オフするためのリセット配線２３００−１が設けられており、同ブロック２１３１−１に対応する４つの転送トランジスタ２３０２に転送パルスを供給するためのＴＸ配線２３０７−１も設けられる。

同様に、左下ブロック２１３１−３に対応する４つのリセットトランジスタ２３０３をオン／オフするためのリセット配線２３００−３が、上記リセット配線２３００−１とは別個に設けられる。また、同ブロック２１３１−３に対応する４つの転送トランジスタ２３０２に転送パルスを供給するためのＴＸ配線２３０７−３が、上記ＴＸ配線２３０７−１と別個に設けられる。

右上ブロック２１３１−２や右下ブロック２１３１−４についても同様に、それぞれリセット配線２３００−２とＴＸ配線２３０７−２、およびリセット配線２３００−４とＴＸ配線２３０７−４が、それぞれのブロック２１３１に設けられている。

各画素に対応する１６個のフォトダイオード２１０４は、それぞれ対応する転送トランジスタ２３０２に接続される。各転送トランジスタ２３０２のゲートには、上記ブロック２１３１ごとのＴＸ配線を介して転送パルスが供給される。各転送トランジスタ２３０２のドレインは、対応するリセットトランジスタ２３０３のソースに接続されるとともに、転送トランジスタ２３０２のドレインとリセットトランジスタ２３０３のソース間のいわゆるフローティングディフュージョンＦＤが、対応する増幅トランジスタ２３０４のゲートに接続される。

各リセットトランジスタ２３０３のドレインは、電源電圧が供給されるＶｄｄ配線２３１０に共通に接続される。各リセットトランジスタ２３０３のゲートには、上記ブロック２１３１ごとのリセット配線を介してリセットパルスが供給される。

各増幅トランジスタ２３０４のドレインは、電源電圧が供給されるＶｄｄ配線２３１０に共通に接続される。また、各増幅トランジスタ２３０４のソースは、対応する選択トランジスタ２３０５のドレインに接続される。各選択トランジスタ２３０５のゲートには、選択パルスが供給されるデコーダ配線２３０８に接続される。本実施形態において、デコーダ配線２３０８は、１６個の選択トランジスタ２３０５に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ２３０５のソースは、共通の出力配線２３０９に接続される。負荷電流源２３１１は、出力配線２３０９に電流を供給する。すなわち、選択トランジスタ２３０５に対する出力配線２３０９は、ソースフォロアにより形成される。なお、負荷電流源２３１１は、撮像チップ２１１３側に設けてもよいし、信号処理チップ２１１１側に設けてもよい。また、単位グループ３２に含まれる画素が１つである場合、選択トランジスタ２３０５を省略してもよい。

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック２１３１ごとのリセット配線を通じてリセットパルスがリセットトランジスタ２３０３に印加され、同時に上記ブロック２１３１ごとのＴＸ配線を通じて転送パルスが転送トランジスタ２３０２に印加されると、上記ブロック２１３１ごとに、フォトダイオード２１０４およびフローティングディフュージョンＦＤの電位がリセットされる。

各フォトダイオード２１０４は、転送パルスの印加が解除されると、受光する光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、フォトダイオード２１０４に蓄積された電荷はフローティングディフュージョンＦＤへ転送される。フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。すなわち、フローティングディフュージョンＦＤの電位は、フォトダイオード２１０４に蓄積された電荷に応じた電位になる。そして、デコーダ配線２３０８を通じて選択パルスが選択トランジスタ２３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ２３０４および選択トランジスタ２３０５を介して出力配線２３０９に伝わる。すなわち、デコーダ配線２３０８を通じて選択パルスが選択トランジスタ２３０５に印加されると、フローティングディフュージョンＦＤの電位により生成された信号が出力配線２３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線２３０９に出力される。

上述したように、本実施形態においては、ブロック２１３１を形成する４画素に対して、リセット配線とＴＸ配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック２１３１内の４画素に対して同時に印加される。したがって、あるブロック２１３１を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ２３０５に選択パルスが順次印加されることにより、選択的に出力配線２３０９から出力される。

このように、本実施形態ではブロック２１３１ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック２１３１間では、異なったタイミングで撮像することができる。

図２８は、撮像素子２２の機能的構成を示すブロック図である。アナログのマルチプレクサ２４１１は、単位グループ３２を形成する１６個のフォトダイオード２１０４を順番に選択して、それぞれの画素信号を当該単位グループ３２に対応して設けられた出力配線２３０９へ出力させる。マルチプレクサ２４１１は、フォトダイオード２１０４と共に、撮像チップ２１１３に形成される。

マルチプレクサ２４１１を介して出力された画素信号は、信号処理チップ２１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路２４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ２４１３に引き渡され、それぞれの画素に対応する画素メモリ２４１４に格納される。デマルチプレクサ２４１３および画素メモリ２４１４は、メモリチップ２１１２に形成される。

演算回路２４１５は、画素メモリ２４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路２４１５は、信号処理チップ２１１１に設けられてもよいし、メモリチップ２１１２に設けられてもよい。なお、図２８では１つの単位グループ３２の分の接続を示すが、実際にはこれらが単位グループ３２ごとに存在して、並列で動作する。ただし、演算回路２４１５は単位グループ３２ごとに存在しなくてもよく、たとえば、一つの演算回路２４１５がそれぞれの単位グループ３２に対応する画素メモリ２４１４の値を順に参照しながらシーケンシャルに処理してもよい。

上記のとおり、単位グループ３２のそれぞれに対応して出力配線２３０９が設けられている。撮像素子２２は撮像チップ２１１３、信号処理チップ２１１１およびメモリチップ２１１２を積層しているので、これら出力配線２３０９にバンプ２１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

図１は、本発明の第１の実施の形態に係る電子機器の構成を示すブロック図である。本実施の形態では、電子機器の一例として、撮像機能を有する情報端末装置１０を例に挙げて説明する。情報端末装置１０は、たとえば、タブレット型の情報端末装置のように、厚さが薄く、前面に大型の液晶モニタが設けられ、背面側に撮像光学系を備えた装置である。情報端末装置１０は、撮像光学系２１と、撮像素子２２と、制御部２３と、液晶モニタ２４と、メモリカード２５と、操作部２６と、ＤＲＡＭ２７と、フラッシュメモリ２８と、姿勢検出部２９とを備える。なお、以下の説明では、情報端末装置１０の種々の機能および構成のうち、撮像に係る機能および構成について説明し、他の機能および構成についての説明を省略する。

撮像光学系２１は、複数のレンズから構成され、撮像素子２２の撮像面に被写体像を結像させる。なお図１では、撮像光学系２１を１枚のレンズとして図示している。

撮像部、すなわち撮像素子２２は、撮像光学系２１により結像された被写体像を撮像して撮像信号を出力する。撮像素子２２は、複数の撮像画素が配列された撮像面３０を有する。制御部２３は、情報端末装置１０の各部を制御する電子回路であり、ＣＰＵとその周辺回路とから構成される。不揮発性の記録媒体であるフラッシュメモリ２８には、予め所定の制御プログラムが書き込まれている。制御部２３は、フラッシュメモリ２８から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記録媒体であるＤＲＡＭ２７を作業用領域として使用する。

表示部としての液晶モニタ２４は、液晶パネルを利用した表示装置である。制御部２３は、所定周期（例えば６０分の１秒）ごとに撮像素子２２に繰り返し被写体像を撮像させる。そして、撮像素子２２から出力された撮像信号に種々の画像処理を施して被写体画像を作成し、液晶モニタ２４に表示する。液晶モニタ２４には、上記の被写体画像以外に、たとえば後述する撮像画像データや撮像条件を設定する設定画面等が表示される。また、表示装置は、液晶モニタ２４以外に例えば、有機ＥＬパネルを利用した表示装置であってもよい。

姿勢検出部２９は、たとえば加速度センサであり、情報端末装置１０の姿勢を検出する。制御部２３は、姿勢検出部２９から出力される信号に基づいて、情報端末装置１０の姿勢が縦長の画像を撮像する縦位置であるか、横長の画像を撮像する横位置であるかを判断する。

制御部２３は、撮像素子２２から出力された撮像信号に種々の画像処理を施して撮像画像データを生成し、可搬性の記録媒体であるメモリカード２５に画像データを記録させる。操作部２６は、プッシュボタン等の種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部２３に操作信号を出力する。なお、液晶モニタ２４はタッチパネル式の表示装置であり、操作部２６の一部を構成する。制御部２３は、撮像素子２２によって撮像された被写体画像を液晶モニタ２４に表示させる表示制御を行う。

制御部２３はソフトウェア形態により物体認識部２３ａと、重み付け設定部２３ｂと、領域分割部、すなわち領域区分部２３ｃと、撮像条件設定部２３ｄと、画像処理部２３ｅと、撮像制御部２３ｆとを備える。これらの各部は、制御部２３がフラッシュメモリ２８に格納されている所定の制御プログラムを実行することにより、ソフトウェア的に実現される。なお、これらの各部を電子回路として構成することも可能である。

物体認識部２３ａは、たとえば公知のいわゆるテンプレートマッチング処理などの方法によって、撮像素子２２により撮像された被写体画像から、人物や、その顔部分や、犬、猫などの動物や、自転車、自動車、電車などの乗物や、皿に盛られた食べ物や、玩具や、その他の予め定められた特定の被写体物体、すなわち、被写体要素を認識または検出する。

重み付け設定部２３ｂは、物体認識部２３ａで認識した被写体物体について重み付けを行う。具体的には、重み付け設定部２３ｂは、物体認識部２３ａで認識した被写体物体ごとに人物や、その顔や、動物や、乗物や、食べ物や、玩具等ごとに、所定の重み付けを行う。たとえば、重み付け設定部２３ｂは、人物とその顔とに最も大きな重み付けをし、次いで、動物にその次に大きな重み付けをし、乗物にさらにその次に大きな重み付けをし、食べ物や玩具などには小さな重み付けを行う。このように、重み付け設定部２３ｂは、物体認識部２３ａが認識した被写体物体に対して予め定めた所定の重み付けを行うことによって、被写体物体についてランク付けを行う。

領域分割部２３ｃは、物体認識部２３ａによって認識され、重み付け設定部２３ｂによって所定の重み付けされた被写体物体の個数が予め定められた所定数を越えるか否かを判定し、被写体物体の個数が所定数の以内である場合には、物体認識部２３ａによって認識された被写体物体の全てを主要被写体と決定し、被写体物体の個数が所定数を越える場合には、被写体物体を相対的にランクの高いものから所定数まで選択して、所定数の被写体物体を主要被写体と決定する。なお、この所定数は、操作部２６によってユーザーが予め設定することができる。

領域分割部２３ｃは、さらに、上述のように決定された主要被写体が被写体画像内のどの位置、すなわちどの領域に存在するかを特定し、被写体画像内における主要被写体の領域を部分領域として分割（区分）する。後述するように、被写体画像が液晶モニタ２４に表示されている場合には、領域分割部２３ｃによって区分された主要被写体の領域、具体的には主要被写体の外形線または輪郭線を表す枠が被写体画像に重畳されて、表示される。なお、領域分割部２３ｃが被写体画像上で主要被写体の領域を区画することは、撮像素子２２の撮像面において、主要被写体を撮像した撮像領域を特定する、すなわち区画することに他ならない。

撮像条件設定部２３ｄは、撮像素子２２の撮像条件を設定すると共に、後に詳述するように主要被写体に対する画像処理条件を設定する。画像処理部２３ｅは、被写体画像について複数の画像処理を施す。撮像制御部２３ｆは、撮像素子２２の少なくとも１個の撮像画素をそれぞれ含む複数の撮像領域の各々を互いに独立に制御する。すなわち、撮像制御部２３ｆは、上述したように、撮像素子２２の単位グループ３２ごとに露光時間、増幅率、フレームレート等の撮像条件を制御する。なお、撮像制御部２３ｆの機能を撮像素子２２に設けるようにしてもよい。

図２（ａ）は、撮像素子２２の撮像面３０を模式的に示す平面図であり、図２（ｂ）は撮像面３０の一部領域３０ａを拡大した平面図である。図２（ｂ）に示すように、撮像面３０には、撮像画素３１が二次元状に多数配列されている。撮像画素３１は、それぞれ不図示の色フィルタを有している。色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、図２（ｂ）における「Ｒ」、「Ｇ」、および「Ｂ」という表記は、撮像画素３１が有する色フィルタの種類を表している。図２（ｂ）に示すように、撮像素子２２の撮像面３０には、このような各色フィルタを備えた撮像画素３１が、いわゆるベイヤー配列に従って配列されている。

赤フィルタを有する撮像画素３１は、入射光のうち、赤色の波長帯の光を光電変換して受光信号（光電変換信号）を出力する。同様に、緑フィルタを有する撮像画素３１は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する撮像画素３１は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。

本実施の形態の撮像素子２２は、隣接する２画素×２画素の計４つの撮像画素３１から成る撮像領域、すなわち単位グループ３２ごとに、個別に制御可能に構成されている。たとえば、互いに異なる２つの単位グループ３２について、同時に電荷蓄積を開始したときに、一方の単位グループ３２では電荷蓄積開始から１／３０秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方の単位グループ３２では電荷蓄積開始から１／１５秒後に電荷の読み出しを行うことができる。また、一方の単位グループ３２を、他方の単位グループ３２の電荷蓄積の開始タイミングとは異なる電荷蓄積の開始タイミングとしてもよい。換言すると、撮像素子２２は、１回の撮像において、単位グループ３２ごとに異なる露光時間（いわゆるシャッタースピード）を設定することができる。

撮像素子２２は、上述した露光時間以外にも、受光信号の増幅率（いわゆるＩＳＯ感度）を単位グループ３２ごとに異ならせることが可能である。撮像素子２２は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングを単位グループ３２ごとに変化させることができる。撮像素子２２は、動画撮像時のフレームレートを単位グループ３２ごとに変化させることができる。図１に示した制御部２３の撮像制御部２３ｆは、単位グループ３２ごとに露光時間、増幅率、フレームレート等の撮像条件を制御する。

以上をまとめると、撮像素子２２は、単位グループ３２ごとに、露光時間、増幅率、フレームレート等の撮像条件を異ならせることが可能に構成されている。

このように構成される情報端末装置１０では、物体認識部２３ａによって検出された重要な被写体物体、すなわち主要被写体についての撮像条件をそれ以外の被写体部分、たとえば被写体背景などの撮像条件とは別に手動設定することができるように構成されている。以下、詳細に説明する。

図３（ａ）は、姿勢検出部２９により情報端末装置の姿勢が縦位置と判断された情報端末装置１０において、被写体画像１１０が液晶モニタ２４に表示された状態を示す模式的な図である。以下の説明では、被写体の一例として、情報端末装置１０の撮像範囲に、２人の人物１０１，１０２と、小動物１０３と、テーブル１０５と、食べ物として皿の上に置かれたケーキ１０４とが存在していることとする。そして、情報端末装置１０側から見て、２人の人物１０１，１０２がテーブル１０５の向こう側におり、テーブル１０５の下に小動物１０３がおり、テーブル１０５の上に皿に載ったケーキ１０４が置かれているものとする。なお、説明の便宜上、被写体画像１１０の背景部分１０６には、他の被写体要素として抽出されうる被写体が存在していないこととする。なお、この被写体画像１１０は、被写体輝度の測光値による露出条件またはユーザーによる手動設定された露出条件に基づき、全ての単位グループ３２について、すなわち撮像面３０全体について同一の撮像条件（露光時間、増幅率、フレームレート）で撮像されたものである。

物体認識部２３ａは、液晶モニタ２４に表示されている被写体画像１１０から、特定の被写体物体、すなわち２人の人物１０１，１０２と、小動物１０３と、皿に載ったケーキ１０４と、テーブル１０５とを認識する。物体認識部２３ａは、撮像素子２２から出力された、被写体画像１１０を示す画像データにより被写体検出を行う。物体認識部２３ａは、被写体検出の結果、特定の被写体物体、すなわち２人の人物１０１，１０２と、小動物１０３と、皿に載ったケーキ１０４と、テーブル１０５とを認識する。

物体認識部２３ａで複数の被写体物体が検出されると、重み付け設定部２３ｂは、物体認識部２３ａで検出した複数の被写体物体の各々に対して重み付けを行う。ここでは、重み付け設定部２３ｂは、２人の人物１０１，１０２に最も大きい重みを付与し、小動物１０３に２番目の大きさの重みを付与し、皿に載ったケーキ１０４に３番目の大きさの重みを付与し、テーブル１０５に４番目の大きさの重みを付与する。

領域分割部２３ｃは、物体認識部２３ａで検出した５個の被写体物体のうち、重み付け設定部２３ｂで重み付けされたランクがたとえば上位のもの４個を主要被写体として決定し、被写体画像内の４個の主要被写体の位置、すなわち４個の主要被写体の領域を、主要被写体領域として、特定または区画する。以下の説明では、主要被写体領域の特定または区画のことを領域分割とも呼ぶ。

制御部２３は、領域分割部２３ｃによる主要被写体領域の特定または区画が行われると、図３（ｂ）に示されたように表示エリア１１１に表示される被写体画像１１０Ａに４個の主要被写体領域を重畳して明示的に表示させる。たとえば、制御部２３は、被写体画像１１０Ａ上に点線で示したように４個の主要被写体領域の輪郭１０１ａ、１０２ａ、１０３ａ、１０４ａを表示する。この輪郭表示１０１ａ、１０２ａ、１０３ａ、１０４ａは、図示のように、輪郭を点線で表示する代わりに、各主要被写体領域全体を他の領域に比べて明るくハイライト表示したり、着色してハイライト表示することもできる。

制御部２３は、被写体画像１１０Ａより主要被写体１０１〜１０４の部分画像１８１を生成する。制御部２３は、被写体画像１１０Ａ上での主要被写体領域の輪郭１０１ａ、１０２ａ、１０３ａ、１０４ａの表示に加えて、図３（ｂ）に示すように、被写体画像１１０Ａの下方位置に、具体的には液晶モニタ２４の下部に部分画像表示エリア１９０を設け、各主要被写体１０１〜１０４の部分画像１８１を表示させる。すなわち制御部２３は、領域分割部２３ｃで特定された部分領域を主要被写体領域の輪郭１０１ａ、１０２ａ、１０３ａ、１０４ａとして表示させるとともに、被写体画像内における主要被写体の領域に対応する部分画像１８１を表示させる。また、制御部２３は、液晶モニタ２４の表示画面の右上の表示エリア１１４に主要被写体の撮像条件の設定画面１３０を表示させる。このように、部分画像１８１をユーザーの指に部分画像等の選択操作等をしやすい表示画面下側に表示させる。設定画面１３０は、ユーザーが撮像条件の設定等を行いやすいように、ユーザーの利き手側に表示させる。図３（ｂ）で示した実施の形態では、ユーザーの利き手が右手の場合を想定しており、ユーザーの利き手が左手の場合は、表示画面左側に表示される。また、制御部２３は、設定画面１３０と部分画像表示エリア１９０とを被写体画像１１０Ａ内に設けたとしても、被写体画像１１０Ａのアスペクト比（被写体画像１１０Ａの縦の長さと横の長さとの比）が変更されないように表示を制御する。また制御部２３は、部分画像１８１を表示画面下側に表示させることで、被写体画像１１０Ａがユーザーの指で隠れにくくなり、被写体画像１１０Ａの視認性が向上する。

主要被写体の撮像条件の設定画面１３０は、撮像条件、すなわち撮像条件の設定項目１３１の一例として、たとえば、上から順に、「シャッタースピード」、「ＩＳＯ感度」、「画像処理効果」が挙げられている。なお、画像処理効果とは、たとえば、美白を加味した美肌補正や、モノクローム調の画像やセピア調の画像などを得るための画像処理を行う際に設定する設定項目である。このように設定画面１３０の設定項目１３１には、撮像条件としての「シャッタースピード」および「ＩＳＯ感度」と、画像処理条件としての「画像処理効果」とが存在するが、以下の説明では、単に、「撮像条件」とも表現する。なお、動画撮像を行う場合には、撮像条件の設定項目１３１としてさらに「フレームレート」が設定画面１３０に追加表示される。これにより、主要被写体についてのフレームレートの設定変更が可能となる。

各設定項目１３１として、項目表示１３１ａと、設定状態表示１３１ｂと、アップボタン表示１３１ｃと、ダウンボタン表示１３１ｄとがそれぞれ表示される。たとえば「シャッタースピード」を例に挙げて説明すると、項目表示１３１ａには、設定項目であるシャッタースピードを示す「シャッタースピード」の文字が表示され、設定状態表示１３１ｂには、現在のシャッタースピードの設定状態を示す「１／１２５秒」の文字が表示される。アップボタン表示１３１ｃおよびダウンボタン表示１３１ｄは、現在の設定状態を変更するための表示ボタンである。アップボタン表示１３１ｃまたはダウンボタン表示１３１ｄがタッチされると、設定状態が順次変更される。また、設定された撮像条件を確定するための決定ボタン１３２が表示エリア１１４の右下に表示される。「ＩＳＯ感度」についても同様である。なお、後述するユーザーにより主要被写体領域が選択されて、主要被写体領域の撮像条件が変更されるまでは、設定状態を全ての単位グループ３２、すなわち撮像面３０全体について同一に設定された「シャッタースピード」、「ＩＳＯ感度」である。

制御部２３は、ユーザーによっていずれかの部分画像１８１が選択されると、図３（ｃ）に示すように、選択された部分画像１８１に係る主要被写体の拡大画像が液晶モニタ２４の下側に表示させる。すなわち制御部２３は、被写体画像内における主要被写体の領域に対応する部分画像を拡大画像として表示させる。制御部２３は、部分画像表示エリア１９０の画像を、表示エリア１１１に表示された被写体画像１１０Ａの主要被写体を示す画像よりも拡大して表示させる。図３（ｃ）は、図３（ｂ）において人物１０１の部分画像１８１が選択されて、人物１０１の拡大画像１２１が部分画像表示エリア１９０に表示された状態を示している。図３（ｄ）は、図３（ｂ）においてケーキ１０４についての部分画像１８１が選択されて、ケーキ１０４の拡大画像１２４が部分画像表示エリア１９０に表示された状態を示している。すなわち、部分画像表示エリア１９０に表示されたケーキ１０４についての画像を、表示エリア１１１に表示された被写体画像１１０Ａの主要被写体を示す画像よりも拡大して表示させることで、ケーキ１０４が選択されたことを示している。このように主要被写体の拡大画像を液晶モニタ２４に表示させることで、被写体画像１１０Ａにおける主要被写体の表示がたとえ小さくとも、主要被写体の拡大画像の視認性が良好であるので、ユーザーの所望の設定がし易くなる。

制御部２３は、部分画像表示エリア１９０に拡大画像を表示させるとともに、液晶モニタ２４の右下に戻るボタン１８２を表示させる。ユーザーにより戻るボタン１８２が操作されると、制御部２３は、部分画像表示エリア１９０の表示形態を図３（ｂ）に示す表示形態に戻す。

図３（ｃ）に示すように部分画像表示エリア１９０に主要被写体１０１の拡大画像を表示させている状態で、ユーザーは、主要被写体設定１３０の種々の設定項目１３１ａについて、アップボタン表示１３１ｃおよびダウンボタン表示１３１ｄをタッチして撮像条件、たとえばシャッタースピードなどを設定する。

たとえば、図３（ｃ）では、人物１０１が撮像時に動く可能性があるのでシャッタースピードの設定値を１／１２５秒から１／２５０秒へと変更し、色白に写るように画像処理効果を美白モードへと設定した例を示している。

表示エリア１１４の右下の決定ボタン１３２が操作されると、撮像条件設定部２３ｄは、表示エリア１１４に表示された撮像条件を人物１０１についての撮像条件として設定する。具体的には、撮像条件設定部２３ｄは、領域分割部２３ｃで領域分割を行った主要被写体としての人物１０１に対応する撮像素子２２の複数の単位グループ３２の露光時間（電荷蓄積時間）および増幅率を設定されたシャッタースピードおよびＩＳＯ感度に応じて撮像制御部２３ｆに設定する。さらに詳述すると、撮像条件設定部２３ｄは、撮像素子２２の撮像面３０の中で、主要被写体としての人物１０１に関する画像信号を出力する複数の単位グループ３２に対する露光時間および増幅率を撮像制御部２３ｆに設定する。同時に、撮像条件設定部２３ｄは、主要被写体に対して画像処理部２３ｅに美白モードを設定する。

撮像素子２２は、主要被写体について、撮像条件設定部２３ｄによって設定された撮像条件で撮像した被写体画像を作成する。画像処理部２３ｅは、主要被写体に対して、撮像条件設定部２３ｄによって設定された美白処理を施す。制御部２３は、主要被写体に対して美白処理された被写体画像を液晶モニタ２４に表示される。ユーザーは、被写体画像によって自身が設定した撮像条件および画像処理条件の効果を確認することができる。

その後に、不図示のレリーズボタン、または撮像を指示するボタンが操作されると、制御部２３は、主要被写体の各々に対して撮像条件設定部２３ｄによってそれぞれ設定された撮像条件および画像処理条件で撮像および画像処理された被写体画像データを生成し、メモリカード２５に記録させる。

主要被写体設定１３０において、ユーザーが主要被写体の撮像条件を設定する際に、複数の部分画像１８１から一つの部分画像を選択して、制御部２３は、その選択された部分画像を拡大表示してからその主要被写体の撮像条件を設定したが、その代わりに、一つの部分画像をユーザーにより選択されたときに、拡大画像を表示することなく、その主要被写体の撮像条件を設定することもできるし、さらには、複数の部分画像を表示することなく、図３（ｂ）のスルー画の点線でハイライト表示された主要被写体を指で選択したものについて撮像条件を設定してもよい。

上述の説明では、主要被写体が多数の場合について説明したが、主要被写体が１つまたは２つなどの少数の場合、制御部２３は、主要被写体についての撮像条件の設定に関して、次のように各部を制御する。図４（ａ），図５（ａ）は、姿勢検出部２９により情報端末装置の姿勢が縦位置と判断された情報端末装置１０において、１人の人物１０６についての被写体画像が液晶モニタ２４に表示された状態を示す模式的な図である。図４（ａ）では、人物１０６が液晶モニタ２４に大きく表示されている状態、つまり人物１０６が液晶モニタ２４の表示領域を占める割合が所定の割合よりも大きい状態である。図５（ａ）では、液晶モニタ２４に表示される人物１０６が小さく表示されている状態、つまり人物１０６が液晶モニタ２４の表示領域を占める割合が所定の割合よりも小さい状態である。

図４（ａ），図５（ａ）に示す状態では、物体認識部２３ａは、被写体物体として人物１０６を抽出し、重み付け設定部２３ｂは、人物１０６に最も大きい重みを付与する。領域分割部２３ｃは、被写体物体１０６を主要被写体と決定する。また、人物１０６，１０７についての被写体画像が液晶モニタ２４に表示された状態の場合、人物１０６，１０７をそれぞれ、主要被写体と決定する。

図４（ａ）に示すように、制御部２３は、主要被写体が１つだけであり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合よりも大きい場合、上述した領域分割が行われた後、図４（ｂ）に示すように、制御部２３は、被写体画像１１０Ｂ上で主要被写体領域の輪郭１０６ａを表示させる。また、制御部２３は、液晶モニタ２４に、主要被写体である人物１０６についての撮像条件の設定画面１３０Ａを表示させる。制御部２３は、例えば、液晶モニタ２４の右上に、主要被写体である人物１０６についての撮像条件の設定画面１３０Ａを表示させる。つまり、制御部２３は、図３（ｂ）等に示された設定画面１３０と部分画像表示エリア１９０とを被写体画像１１０Ｂに表示しない。

制御部２３は、各設定項目１３１の設定状態表示１３１ｂが変更されて、決定ボタン１３２がタッチされると、撮像条件設定部２３ｄは、変更後の撮像条件を人物１０６についての撮像条件として設定する。

その結果、被写体画像１１０Ｂにおける人物１０６が設定された撮像条件および画像処理条件に従って表示される。なお、図示はしていないが、主要被写体が２つであり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合よりも大きい場合も同様である。この場合、主要被写体である人物１０６の画像が選択されると、人物１０６についての撮像条件が設定可能となり、人物１０７の画像が選択されると、人物１０７についての撮像条件が設定可能となる。

図４（ｂ）に示す状態で不図示のレリーズボタン、または撮像を指示するボタンが操作されると、制御部２３は、主要被写体に対して撮像条件設定部２３ｄによって設定された撮像条件および画像処理条件で撮像および画像処理された被写体画像データを生成し、メモリカード２５に記録させる。

図５（ａ）に示すように、制御部２３は、主要被写体が１つだけであり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合以下である場合、上述した領域分割が行われた後、図５（ｂ）に示すように、制御部２３は、被写体画像１１０Ｃ上での主要被写体領域の輪郭１０６ａの表示に加えて、被写体画像１１０Ｃの下方位置に、具体的には液晶モニタ２４の下部に部分画像表示エリア１９０に主要被写体である人物１０６の拡大画像１２５を表示させる。画面の右上の表示エリア１１４には、主要被写体である人物１０６についての撮像条件の設定画面１３０Ａが表示される。

制御部２３は、各設定項目１３１の設定状態表示１３１ｂが変更されて、決定ボタン１３２が操作されると、撮像条件設定部２３ｄは、変更後の撮像条件を人物１０６についての撮像条件として設定する。

その結果、制御部２３は、被写体画像１１０Ｃにおける人物１０６、および拡大画像１２５における人物１０６が設定された撮像条件および画像処理条件に従って表示する。

図５（ｂ）に示す状態で不図示のレリーズボタン、または撮像を指示するボタンが操作されると、制御部２３は、主要被写体に対して撮像条件設定部２３ｄによって設定された撮像条件および画像処理条件で撮像および画像処理された被写体画像データを生成し、メモリカード２５に記録させる。なお、図示はしていないが、主要被写体が２つであり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合よりも小さい場合も同様である。

−−−情報端末装置１０の姿勢が横位置の場合−−−
姿勢検出部２９により情報端末装置１０の姿勢が横位置であると判断された場合、制御部２３は、たとえば、図６（ａ）に示すような被写体画像１１０Ｅを液晶モニタ２４に表示する。以下の説明では、被写体の一例として、情報端末装置１０の撮像範囲に、２人の人物１０１，１０２と、小動物１０３と、テーブル１０５Ａ，１０５Ｂ，１０５Ｃと、食べ物として皿の上に置かれたケーキ１０４Ａ，１０４Ｂとが存在していることとする。物体認識部２３ａは、２人の人物１０１，１０２と、小動物１０３と、テーブル１０５Ａ，１０５Ｂ，１０５Ｃと、ケーキ１０４Ａ，１０４Ｂとを被写体物体として認識し、重み付け設定部２３ｂが８個の被写体物体の各々に所定の重み付けを行って各被写体物体にランク付けする。領域分割部２３ｃがこのランク付けされた８個の被写体物体から、５個の被写体物体、すなわち人物１０１，１０２と小動物１０３とケーキ１０４Ａ、１０４Ｂとを、主要被写体と決定する。

図６（ｂ）は、主要被写体と決定された５個の被写体物体１０１、１０２、１０３、１０４Ａ、１０４Ｂが点線でハイライト表示された被写体画像を含む液晶モニタ２４の表示画面である。なお、図６（ｂ）は、姿勢検出部２９により情報端末装置１０の姿勢が縦位置であると判断された場合における図３（ｂ）に相当する図である。姿勢検出部２９により情報端末装置１０の姿勢が横位置と判断された場合、液晶モニタ２４の左側の表示エリア１４６〜１４８には、５個の主要被写体のうちの３個の部分画像１２６〜１２８がそれぞれ表示される。画面の右側には、主要被写体の撮像条件の設定画面１３０が表示される。なお、表示エリア１４６、１４８の操作マーク１１５、１１６が操作されると、制御部２３は、表示エリア１４６〜１４８に表示される３個の主要被写体の画像を残りの２個の主要被写体の部分画像に順次切り替える。

ここで、たとえば、図６（ｂ）に示す状態で表示エリア１４８に表示されたケーキ１０４Ａの画像１２８が選択されると、図６（ｃ）に示すように、制御部２３は、液晶モニタ２４の左側の部分画像表示エリア１４９にケーキ１０４Ａの拡大画像１２９を表示させる。これによりユーザーは、主要被写体であるケーキ１０４Ａについての撮像条件を設定画面１３０から適宜変更することができる。ケーキ１０４Ａの拡大画像１２９が表示されるので、拡大画像１２９の視認性が良好であり、ユーザーの所望の設定がし易くなる。

なお、制御部２３は、撮像条件の設定対象となっているケーキ１０４Ａの被写体画像１１０Ｄが部分画像表示エリア１４９，設定画面１３０に隠れないように、図６（ｄ）に示すように、制御部２３が被写体画像１１０Ｄの表示範囲を適宜変更するようにしてもよい。図６（ｄ）に示すように、制御部２３は、部分画像表示エリア１４９と設定画面１３０との間の被写体画像を表示する表示エリア１５２にケーキ１０４Ａの被写体画像を表示するように、液晶モニタ２４における被写体画像１１０Ｄの表示範囲を変更した例を示している。また、図６（ｄ）に示すように、撮像条件の設定画面１３０の表示領域に被写体画像１１０Ｅが表示されないようにすることで、設定画面１３０の視認性を向上させてもよい。

表示エリア１５１の右下の決定ボタン１３２が操作されると、撮像条件設定部２３ｄは、表示エリア１５１に表示された撮像条件をケーキ１０４Ａについての撮像条件として設定する。その結果、被写体画像１１０Ｅにおけるケーキ１０４Ａ、および、表示エリア１４９の拡大画像１２９におけるケーキ１０４Ａが、設定された撮像条件および画像処理条件に従って表示される。その他の主要被写体に関する撮像条件および画像処理条件の設定も同様である。主要被写体に関する撮像条件および画像処理条件の設定後の被写体画像の表示およびレリーズ動作については、前述の例と同様である。なお、図６（ｃ）において表示エリア１４９の拡大画像１２９が短時間に２回操作されると、液晶モニタ２４の表示形態が図６（ｂ）に示す状態に戻るようにしてもよい。

なお、主要被写体が１つであり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合以下である場合についての液晶モニタ２４における表示形態も同様である。この場合、画面左側の拡大画像は、上下方向の中央に表示される。また、主要被写体が１つまたは２つなどの少数であり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合より大きい場合についての液晶モニタ２４における表示形態は、図４（ａ），図４（ｂ）と同様の表示形態である。

−−−フローチャート−−−
図７は、上述した主要被写体ごとに撮像条件を設定して被写体像を撮像する処理についてのフローチャートである。情報端末装置１０の電源がオンされると、図７に処理を示したプログラムが起動されて、制御部２３で実行される。ステップＳ１で制御部２３は、撮像用のアプリケーションプログラムを起動してステップＳ３へ進む。ステップＳ３で撮像制御部２３ｆは、撮像素子２２の撮像画素３１の電荷蓄積時間および増幅率が全ての単位グループ３２についてたとえば被写体輝度の輝度に基づいて決定される同一値となるように、撮像画素３１を制御し、このように制御された撮像画素３１からの撮像信号に基づく被写体画像を液晶モニタ２４に表示される。

ステップＳ７で物体認識部２３ａは、被写体画像１１０として液晶モニタ２４に表示されている被写体画像１１０から、被写体物体、すなわち被写体要素を認識または抽出してステップＳ９へ進む。物体認識部２３ａは、撮像素子２２から出力された被写体画像１１０を示す画像データにより被写体物体、すなわち被写体要素を認識または抽出する。ステップＳ９で重み付け設定部２３ｂは、物体認識部２３ａで抽出した被写体要素の重み付けを行ってステップＳ１１へ進む。ステップＳ１１で領域分割部２３ｃは、物体認識部２３ａで抽出した各被写体要素のうち、重み付け設定部２３ｂで設定された重要度が上位のものを所定数だけ、主要被写体として決定し、領域分割を行ってステップＳ１５へ進む。

ステップＳ１５で制御部２３は、被写体画像上で主要被写体を明示的に表示、たとえば主要被写体の輪郭を点線で表示したりハイライト表示したりするよう各部を制御してステップＳ１７へ進む。ステップＳ１７で制御部２３は、主要被写体が多数存在するか否かを判断する。なお、本実施の形態では、主要被写体の数が所定個数、たとえば３つ以上であれば、主要被写体が多数存在するものとする。ステップＳ１７が肯定判断されるとステップＳ１９で制御部２３は、たとえば、図３（ｂ）に示すように、被写体画像１１０Ａや主要被写体の部分画像１８１等を液晶モニタ２４に表示させてステップＳ２１へ進む。ステップＳ２１で制御部２３は、ユーザーの操作に応じて各主要被写体についての撮像条件を設定してステップＳ２３へ進む。なお、ステップＳ２１におけるユーザーの操作に応じた液晶モニタ２４の表示遷移や撮像条件の設定については、上述したとおりである。

ステップＳ２３で制御部２３は、ユーザーからの撮像指示があったか否か、すなわち、不図示のレリーズボタン、または撮像を指示するボタンが操作されたか否かを判断する。ステップＳ２３が肯定判断されるとステップＳ２５へ進み、ステップＳ２３が否定判断されるとステップＳ２１へ戻る。

ステップＳ２５で制御部２３は、各主要被写体については、上述したように主要被写体ごとに設定された撮像条件で撮像するよう撮像素子２２を制御すると共に、上述のようにして撮像して得られた被写体画像の主要被写体に対して所定の画像処理を施して撮像画像データを生成し、メモリカード２５に記録させる。

ステップＳ２７で制御部２３は、撮像を継続するか否かを判断する。たとえば、制御部２３は、撮像用のアプリケーションプログラムを終了する指示がされたか否かを判断する。ステップＳ２７で撮像を継続すると判断されるとステップＳ７へ戻り、撮像を終了すると判断されると、撮像用のアプリケーションプログラムを終了する。

ステップＳ１７が否定判断されると、すなわち主要被写体の個数が１個または２個と判定されると、ステップＳ３１へ進む。ステップＳ３１で制御部２３は、主要被写体が撮像範囲に占める割合が所定の割合よりも大きいか否かを判断する、すなわち主要被写体の画像が所定の大きさよりも大きいか否かを判定する。ステップＳ３１が否定判断されると、すなわち、主要被写体が撮像範囲に占める割合が所定の割合以下である場合、ステップＳ１９へ進む。

ステップＳ３１が肯定判断されると、すなわち、主要被写体が撮像範囲に占める割合が所定の割合よりも大きい場合、ステップＳ３５へ進む。ステップＳ３５で制御部は、たとえば、図４（ｂ）に示すように、被写体画像１１０Ｂや撮像条件の設定画面１３０を液晶モニタ２４に表示させてステップＳ２１へ進む。

上述した第１の実施の形態では、次の作用効果を奏する。
（１） 被写体画像内における主要被写体の領域を部分領域として分割し、主要被写体の部分画像や拡大画像と、被写体画像とを液晶モニタ２４に表示するように構成した。これにより、ユーザーが主要被写体を容易に認識できるようになるので、利便性が向上するので、使い勝手のよい電子機器を提供することができる。

（２） 主要被写体の部分画像や拡大画像と、被写体画像とを液晶モニタ２４に表示するとともに、部分画像に対応する撮像領域の撮像条件を手動設定できるように構成した。そして主要被写体に対応する撮像素子２２の複数の単位グループ３２の撮像条件を、手動設定された撮像条件に設定するように構成した。これにより、撮像領域ごとにユーザーが撮像条件を適切に設定するユーザーインターフェースを提供することができる。

（３） 制御部２３が主要被写体領域を被写体画像に明示的に表示させるように構成した。これにより、主要被写体が液晶モニタ２４上で小さく表示されていても、ユーザーが主要被写体を容易に認識できるようになるので、利便性が高い。
（４） 主要被写体の画像が、部分画像１８１として被写体画像とは別に液晶モニタ２４に表示されるように構成した。これにより、主要被写体の画像の一覧性が向上して、ユーザーが撮像条件を変更しようとする主要被写体の選択がし易くなる。

（５） 主要被写体の画像が、拡大画像として被写体画像とは別に液晶モニタ２４に表示されるように構成した。これにより、主要被写体の視認性が向上して、撮像条件が変更しやすくなるとともに、ユーザーが設定した撮像条件および画像処理条件の効果を確認し易くなる。

（６） 物体認識部２３ａが被写体画像１１０として液晶モニタ２４に表示されている被写体画像から、特定の被写体物体を認識するように構成した。そして、物体認識部２３ａで検出した被写体物体のうち、重み付け設定部２３ｂで重み付けされたランクが上位のものを主要被写体として決定して、撮像条件の手動設定の対象となるように構成した。これにより、物体認識部が多数の被写体物体を自動認識しても、主要被写体の個数を所定数に制限することができる。
（７） 主要被写体について、画像処理効果も変更可能に構成した。これにより、ユーザーが意図被写体画像質の被写体画像が容易に得られる。

−−−第２の実施の形態−−−
図８〜図９（ｂ）を参照して、本発明の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。第１の実施の形態の物体認識部２３ａは、被写体画像から自動的に所定の被写体物体を主要被写体として認識する、または、被写体画像から所定の被写体物体を主要被写体として認識する。すなわち、その被写体物体の領域または範囲を検出するものであった。第２の実施の形態の物体認識部２３ａは、ユーザーが被写体画像中の一点または一カ所を、主要被写体の一部として指定すると、その指定された箇所の被写体画像の色情報に基づき主要被写体の領域または範囲を自動的に検出する、または、その指定された箇所の被写体画像の色情報に基づき主要被写体の領域または範囲を検出するものである。

図８は、第２の実施の形態の情報端末装置１０Ａの構成を示すブロック図である。第２の実施の形態の情報端末装置１０Ａでは、重み付け設定部２３ｂを備えていない点で、第１の実施の形態の情報端末装置１０と異なる。その他については、第１の実施の形態の情報端末装置１０と同じである。

図９（ａ）は、液晶モニタ２４に表示された被写体画像１１０における人物１０１をユーザーが指１６１でタッチした状態を模式的に示す図である。本実施の形態では、図９（ａ）に示すようにユーザーが被写体画像１１０中の一点または一カ所を、主要被写体の一部として、選択すると、物体認識部２３ａは、その選択された箇所の被写体画像１１０の色情報に基づき、その色情報とほぼ同一の色情報を有する画像の領域または範囲を自動的に検出する。たとえば、ユーザーが図９（ａ）に示すように被写体画像１１０における人物１０１の顔の一部をタッチすると、物体認識部２３ａは、顔の肌色情報に基づき、肌色部分の広がりを検出することによって、人物１０１の顔領域を検出する。物体認識部２３ａは、ユーザーにより液晶モニタ２４に表示された被写体画像１１０の一部の領域を指定されると、当該指定された領域を含む特定領域を主要被写体として認識する。たとえば、物体認識部２３ａは、ユーザーにより被写体画像１１０に表示された人物領域の一部が指定されると、当該人物領域を特定領域として認識する。また、物体認識部２３ａは、液晶モニタ２４に複数の人物が被写体画像１１０として表示されている場合において、ユーザーにより１人の人物領域の一部が指定されたとき、複数の人物領域を特定領域として認識するようにしてもよい。すなわち、物体認識部２３ａは、ユーザーにより１つの領域が指定された場合であっても、たとえば、当該指定された領域の色情報または輝度情報や、当該指定された領域の被写体情報（人物、顔など）により、複数の領域を特定領域として認識してもよい。

物体認識部２３ａによって主要被写体の領域が検出されると、領域分割部２３ｃは、被写体画像１１０Ａ内で、主要被写体領域を区画する。これによって、制御部２３は、図９（ｂ）に示すように、被写体画像１１０Ａ上に、点線で示したように人物の顔、すなわち主要被写体をハイライト表示させる。同様に、ユーザーが被写体画像１１０Ａ上で、他の箇所をタッチすることによって、他の主要被写体の領域をその色情報に基づき検出して、それが被写体画像１１０Ａ上に、ハイライト表示される。

これ以降の、主要被写体の撮像条件の設定画面１３０からの撮像条件の変更については、第１の実施の形態と同じであるので、詳細な説明を省略する。

上述した第２の実施の形態では、第１の実施の形態の作用効果に加えて、次の作用効果を奏する。
（１） 被写体画像の中の一点または一カ所を、主要被写体の一部として、ユーザーがタッチすると、主要被写体を自動的に検出するように構成した。これにより、ユーザーが主要被写体を任意に指定できるので、ユーザーが意図被写体画像質の被写体画像が容易に得られる。

−−−第３の実施の形態−−−
図１０（ａ）〜図１１（ｂ）を参照して、本発明の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１および第２の実施の形態と同じである。第３の実施の形態では、主に、被写体の範囲をユーザーが指示すると、指示された範囲内の被写体を主要被写体として設定する点で、第１および第２の実施の形態と異なる。

第３の実施の形態の情報端末装置１０Ａの構成は、図８に示した第２の実施の形態の情報端末装置１０Ａの構成と同じである。
図１０（ａ）は、液晶モニタ２４に表示された被写体画像１１０における人物１０１をユーザーが２本の指１６１でタッチした状態を模式的に示す図である。本実施の形態では、たとえば、図１０（ａ）に示すように被写体画像１１０が液晶モニタ２４に表示された状態で、液晶モニタ２４の任意の２つの位置がユーザーによって指示されると、図１０（ｂ）に示すように、制御部２３は、指示された２つの位置を対角線とする矩形状の枠１７１を液晶モニタ２４に表示させる。

制御部２３は、図１０（ｃ）に示すようにピンチアウト操作がされると枠１７１を拡大させ、図１０（ｄ）に示すようにピンチイン操作がされると枠１７１を縮小させる。また、２本の指１６１の相対位置が変化されると、指１６１でタッチされた位置に応じて枠１７１の縦横のアスペクト比を変更させる。また、制御部２３は、枠１７１、または枠１７１の内側の領域が指１６１による長押し操作されることで枠１７１が選択され、そのまま指１６１が液晶モニタ２４の表示面上を移動した場合、図１０（ｅ）に示すように、指１６１の動きに応じて枠１７１の位置を移動させる。

また、制御部２３は、図１１（ａ）に示すように、液晶モニタ２４の表示面が１本の指１６１でタッチされ、そのままその指１６１が表示面上を矢印Ａの方向になぞられたと判断すると、なぞられた軌跡に沿った線１７２を液晶モニタ２４に表示させる。そのまま、図１１（ｂ）の矢印Ｂのように指１６１で液晶モニタ２４の表示面がなぞられると、制御部２３は、指１６１の軌跡に沿って線１７２を表示させる。そして、線１７２の始点と指１６１の軌跡とが重なると、制御部２３は、閉じられた線１７２を枠１７１として設定する（不図示）。なお、制御部２３は、線１７２の始点と指１６１の軌跡とが重なる前に指１６１が液晶モニタ２４の表示面から離れても、始点と指１６１が離れた位置との距離が近ければ、自動的に線１７２を閉じて枠１７１として設定する。

このようにして枠１７１が指定されると、物体認識部２３ａは、液晶モニタ２４に表示されている被写体画像１１０から、枠１７１内の被写体物体を検出する。そして、領域分割部２３ｃは、物体認識部２３ａで検出した被写体物体を主要被写体として決定し、被写体画像１１０内の主要被写体の位置、すなわち主要被写体の領域を、主要被写体領域として、特定または区画する。これ以降の、主要被写体の撮像条件の設定画面１３０からの撮像条件の変更については、第１の実施の形態と同じであるので、詳細な説明を省略する。

上述した第３の実施の形態では、第１および第２の実施の形態の作用効果に加えて、次の作用効果を奏する。
（１） 液晶モニタ２４の表示面へのタッチによって枠１７１や線１７２を描けるように構成した。そして、枠１７１や線１７２で指定した領域内の被写体物体を検出するように構成した。これにより、ユーザーが意図するように主要被写体を指定できるので、ユーザーが意図する被写体画像が容易に得られる。

−−−変形例−−−
（１） 上述の説明では、物体認識部２３ａが特定の被写体物体を認識するように構成することで、主要被写体の輪郭の内側の領域に対して撮像条件の変更が可能となるように構成した。しかし、本発明はこれに限定されない。たとえば、上述した第３の実施の形態における枠１７１内の領域全体の撮像条件が変更可能となるように構成してもよい。
（２） 液晶モニタ２４の画面の大きさに応じて表示形態を変えてもよい。たとえば、タブレット端末装置のように画面サイズが大きい場合、スマートフォンのような端末装置に比べて主要被写体が大きく表示されるので、たとえば、よほど小さい主要被写体でない限り拡大画像の表示をしなくてもよい。換言すると、制御部２３は、表示される主要被写体の大きさが所定の大きさか否かを判断し、その判断結果に応じて、表示形態を制御するようにしてもよい。

（３） 被写体の種類に応じて撮像条件の設定項目１３１の表示順序を変更するように構成してもよい。たとえば、主要被写体が人物であれば、人物の明るさに関しての設定を変更する可能性が高いので、制御部２３は、設定項目１３１として、明るさの変更に関する設定項目を優先的に表示するように構成してもよい。これにより、設定変更の操作性が向上する。
（４） 上述の説明では、液晶モニタ２４がタッチパネル式の表示装置であり、操作部２６の一部を構成しているが、本発明はこれに限定されない。たとえば、操作部２６に、操作キーや操作ダイヤル、マウス等の操作装置を設け、液晶モニタ２４の表示画面中のカーソルやポインタ等を所望の位置に移動させることによって表示画面上の任意の位置を指示できるようしてもよい。

（５） 主要被写体の拡大画像を表示する場合などに、被写体画像を表示する領域のアスペクト比が元の被写体画像とは異なる場合があるが、この場合には、縮小して被写体画像全体を表示するようにしてもよく、被写体画像から適宜画像をトリミングして表示するようにしてもよい。
（６） 上述の説明では、撮像条件の設定項目１３１の一例として、たとえば、「シャッタースピード」、「ＩＳＯ感度」、「フレームレート」、「画像処理効果」を挙げているが、これらはあくまでも例示であって、本発明はこれに限定されない。たとえば、撮像条件としての「シャッタースピード」、「ＩＳＯ感度」および「フレームレート」の少なくともいずれか１つが設定項目１３１に含まれていればよい。また、たとえば、画像処理条件としての「画像処理効果」が設定項目１３１に含まれていなくてもよい。上記以外の他の項目を設定項目１３１として含んでいてもよい。

（７） 上述の説明では、情報端末装置１０が、たとえばタブレット型の情報端末装置のように、厚さが薄く、前面に大型の液晶モニタが設けられ、背面側に撮像光学系を備えた装置であるとしているが、本発明はこれに限定されない。たとえば、情報端末装置１０が撮像装置、すなわち、レンズ一体型のカメラであってもよく、交換レンズをカメラボディに着脱可能なレンズ交換式のカメラであってもよい。

（８） 上述の説明では、撮像素子２２と制御部２３とを有する単一の電子機器である情報端末装置１０について説明したが、本発明はこのような実施形態に限定されない。たとえば、外部に設けられた撮像素子２２を制御する電子機器にも本発明を適用することができる。以下、撮像素子２２を外部に設ける形態について詳述する。

図１２は、本変形例に係る撮像システムの構成を模式的に示すブロック図である。図１２に示す撮像システム１０００は、撮像ユニット１００１と、電子機器１００２とから成る。撮像ユニット１００１は、第１の実施の形態で説明した撮影光学系２１と撮像素子２２とを備え、さらに、第１通信部１００３を備えている。また、電子機器１００２は、第１の実施の形態で説明した制御部２３、液晶モニタ２４、メモリカード２５、操作部２６、ＤＲＡＭ２７、フラッシュメモリ２８、および姿勢検出部２９を備え、さらに、第２通信部１００４を備えている。第１通信部１００３および第２通信部１００４は、たとえば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。また、撮像ユニット１００１と電子機器１００２とが有線ケーブル等による有線接続により、第１通信部１００３および第２通信部１００４は、双方向のデータ通信を行う構成であってもよい。

本変形例に係る撮像システム１０００では、制御部２３は、第２通信部１００４および第１通信部１００３を介したデータ通信により、撮像素子２２の制御を行う。たとえば、所定の制御データを撮像ユニット１００１との間で送受信することにより、単位グループ３２ごとに異なる撮像条件を設定したり、各々の単位グループ３２から撮像信号を読み出したりする。

以上に述べたように、撮像システム１０００において、単位グループ３２ごとの制御を行っているのは、制御部２３である。電子機器１００２は、撮像素子２２を備えていないが、電子機器１００２の外部に設けられた撮像素子２２（撮像ユニット１００１）を制御することにより、第１の実施の形態と同様の制御を行う。つまり、本発明は、撮像素子２２を有していない電子機器に適用することが可能である。

（９） 上述した拡大画像の表示形態は一例であり、本発明はこれに限定されない。たとえば図１３（ａ）に示すように、主要被写体（人物１０１）の横に吹き出し２０１を表示させ、吹き出し２０１の中に主要被写体の拡大画像を表示するようにしてもよい。なお、吹き出しの位置は、主要被写体の横に限らず、上下であってもよく、斜めの位置であってもよい。また吹き出しの形状も、図１３（ａ）に示すような矩形でなくてもよく、円形でも多角形でもよい。また、吹き出しの輪郭線を表示しなくてもよい。また、主要被写体の拡大画像とともに、または、主要被写体の拡大画像に代えて、主要被写体に対して現在設定されている撮像条件を示す画像を表示してもよい。

（１０） 各設定項目１３１の設定を変更するためのスライドバーとして、たとえば、図１３（ｂ）に示すように、主要被写体を拡大表示するための吹き出し２０１の輪郭線に沿ってスライダ（つまみ）２０１ａを動かすようなものを表示させてもよい。図１３（ｂ）に示す例では、円形の吹き出し２０１の輪郭線に沿って目盛り線２０１ｂを設けている。そして、ユーザーがスライダ２０１ａを吹き出し２０１の輪郭線に沿って動かすことで、所定の設定項目１３１の設定値が変更できるように構成してもよい。なお、図１３（ｂ）では、主要被写体の図示を省略している。また、スライドバーおよびスライダ２０１ａは、吹き出し２０１とともに、または、吹き出し２０１に代えて表示させてもよい。

（１１） 被写体画像中で主要被写体を明示的に表示させる表示形態のその他の例として、主要被写体が、画面から浮き出して見えるように表示させてもよい。図１４（ａ）は、液晶モニタ２４に被写体画像１１０が表示されている例を示す図である。たとえば、この被写体画像１０１の中の主要被写体である人物１０１の画像を、図１４（ｂ）に示す人物１０１の画像１０１ｂのように、僅かに（たとえば１．２倍程度に）拡大して表示させるなどして、人物１０１が画面から浮き出して見えるようにしてもよい。

（１２） 上述の説明では、部分画像１８１や拡大画像の表示エリアと、被写体画像の表示エリアとが直線で区切られているが、本発明はこれに限定されず、たとえば曲線で区切ってもよい。
（１３） たとえば、図１５（ａ）に示すように、被写体画像１１０中の主要被写体である人物１０１の画像がタッチされると、人物１０１の画像の周囲に撮像条件の設定項目を選択するためのアイコン２０２を表示させるようにしてもよい。また、図１５（ｂ）に示すように、被写体画像１１０中の主要被写体である人物１０１の画像がタッチされると、人物１０１の画像の周囲に撮像条件の各設定項目の設定を変更するためのスライドバー２０３を表示させるようにしてもよい。このようにすることで、主要被写体に対しての直接的に撮像条件の設定変更が可能となる。この場合、スライドバー２０３により主要被写体に対して現在設定されている撮像条件が表示されていてもよい。

（１４） たとえば、図１６に示すように撮像条件を変更しようとしている主要被写体領域が被写体画像１１０内のどこであるのかを示す図２０４を被写体画像１１０とともに表示させるようにしてもよい。すなわち、図１６に示すように、液晶モニタ２４のたとえば右上の領域に、撮像条件の変更対象となる主要被写体領域を示す図（領域表示図）２０４を表示させてもよい。図１６に示す例では、たとえば、情報端末装置１０の撮像範囲に、テーブル１０５と、皿の上に置かれたケーキ１０４と、小箱１０９とが存在していることとする。皿の上に置かれたケーキ１０４と小箱１０９はテーブル１０５の上に置かれているものとする。そして、撮像条件を変更しようとしている主要被写体領域、すなわち、撮像条件の変更対象となる主要被写体がテーブル１０５であるものとする。

領域表示図２０４では、被写体画像１１０における背景部分１０８に対応する領域や、被写体画像１１０におけるテーブル１０５以外の領域に対応する領域が、たとえばマスキングされたり、暗く表示されたりするなどしている。これにより、領域表示図２０４では、撮像条件の変更対象となるテーブル１０５が他の領域と比べて明示的に表示される。したがってユーザーは、領域表示図２０４を視認することで撮像条件を変更しようとしている主要被写体がテーブル１０５であることを容易に認識できる。領域表示図２０４の下方に表示されたスライドバー２０３を操作することで、テーブル１０５についての撮像条件を変更できる。この場合、スライドバー２０３により主要被写体に対して現在設定されている撮像条件が表示されていてもよい。

（１５） たとえば、図１７に示すように、２つの表示エリアに１９４，１９５のうち、一方（たとえば表示エリア１９４）に、撮像条件の設定を変更する前の主要被写体（人物１０１）の画像を表示させ、他方（たとえば表示エリア１９５）に、撮像条件の設定を変更した後の主要被写体（人物１０１）の画像を表示させるように構成してもよい。このように構成することで、たとえば、シャッタースピードやＩＳＯ感度などの設定変更による画像の繊細な変化の具合を設定変更の前後の画像で確認できる。

（１６） たとえば、図１８に示すように、モチーフごとに主要被写体を設定するためのアイコンを被写体画像１１０とともに液晶モニタ２４に表示させ、当該アイコンが選択されると、当該アイコンに対応するモチーフと一致する被写体が主要被写体として設定されるように構成してもよい。図１８では、液晶モニタ２４の画面下側に、モチーフごとに主要被写体を設定するためのアイコン２０５ａ，２０５ｂ，２０５ｃが表示されている。

たとえば、アイコン２０５ａがタッチされると、制御部２３は、被写体画像１１０中の人物１０６，１０７を主要被写体として設定するよう各部を制御する。たとえば、アイコン２０５ｂがタッチされると、制御部２３は、被写体画像１１０中の車両２０６を主要被写体として設定するよう各部を制御する。たとえば、アイコン２０５ｃがタッチされると、制御部２３は、被写体画像１１０中の背景部分１０８を主要被写体として設定するよう各部を制御する。このように構成することで、モチーフごとの主要被写体の設定や撮像条件の変更が容易となる。

（１７） たとえば、図１９に示すように、被写体画像１１０中の人物を個人ごとに主要被写体として設定するためのアイコンを被写体画像１１０とともに液晶モニタ２４に表示させ、当該アイコンが選択されると、当該アイコンに対応する人物が主要被写体として設定されるように構成してもよい。図１９では、液晶モニタ２４の画面下側に、個人ごとに主要被写体を設定するためのアイコン２２１〜２２３が表示されている。

すなわち、制御部２３は、被写体画像として表示された被写体画像から人の顔を検出するよう各部を制御する。そして、人の顔が検出されると、検出した顔の画像に基づいて、その人を主要被写体として設定するためのアイコンを生成して液晶モニタ２４に表示させる。図１９に示す例では、制御部２３は、被写体画像として表示された被写体画像から３人の人物２１１〜２１３の顔を検出する。そして、各人物２１１〜２１３の顔の画像に基づいて、アイコン２２１〜２２３を生成して液晶モニタ２４に表示させる。

たとえば、制御部２３は、人物２１１に対応するアイコン２２１がタッチされると、被写体画像１１０中の人物２１１を主要被写体として設定するよう各部を制御する。たとえば、制御部２３は、人物２１２に対応するアイコン２２２がタッチされると、被写体画像１１０中の人物２１２を主要被写体として設定するよう各部を制御する。たとえば、制御部２３は、人物２１３に対応するアイコン２２３がタッチされると、被写体画像１１０中の人物２１３を主要被写体として設定するよう各部を制御する。このように構成することで、被写体画像１１０中の人物を個人ごとに主要被写体として設定するか否かの選択が容易となる。

（１８） 上述の説明では、姿勢検出部２９により検出された情報端末装置１０の姿勢と、被写体画像との表示方向とを同じである、つまり姿勢検出部２９により情報端末装置１０の姿勢が横位置であれば被写体画像の表示方向は横位置であるとして、説明を行ったが、これに限定されない。たとえ、姿勢検出部２９により情報端末装置１０の姿勢が横位置と検出されたとしても、ユーザーが予め被写体画像の表示方向を縦位置とする設定を行っていた場合、制御部２３は、被写体画像の表示方向を縦位置方向とし、以降の制御を行うようにする。

（１９） 上述の説明では、部分領域としての分割の最小単位について特に言及していなかったが、たとえば、部分領域としての分割の最小単位を１つの単位グループ３２としてもよく、たとえば、１画素としてもよい。
（２０） 上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
−−−第４の実施の形態−−−

図２０は、本発明の第４の実施の形態に係る撮像装置の構成を示すブロック図である。撮像装置３０１０は、レンズ一体型のカメラである。撮像装置３０１０は、撮像光学系２１と、撮像素子２２と、制御部３３と、液晶モニタ２４と、メモリカード２５と、操作部２６と、ＤＲＡＭ２７と、フラッシュメモリ２８と、録音部３４とを備える。

撮像光学系２１、撮像素子２２、液晶モニタ２４、メモリカード２５、操作部２６、ＤＲＡＭ２７およびフラッシュメモリ２８については、第１の実施の形態と同じであるので、説明を省略する。

制御部３３は、撮像素子２２から出力された撮像信号に基づき、後述する画像ファイルを作成し、着脱可能な記録媒体であるメモリカード２５に画像ファイルを記録する。操作部２６は、プッシュボタン等の種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部３３に操作信号を出力する。録音部３４は、例えばマイクロフォン等により構成され、環境音を音声信号に変換して制御部３３に入力する。

次に、制御部３３が実行する撮像処理について、順に説明する。

（１）予備撮像
制御部３３は、本撮像に先立って、予備的な撮像を行う。以下の説明では、この予備的な撮像を予備撮像と称する。予備撮像において、制御部３３は、単位グループ３２ごとの撮像条件を、周知の自動露出制御により決定した所定の撮像条件とする。予備撮像により、被写体画像が１つ得られる。

（２）最暗部と最明部と主要部の特定
制御部３３は、予備撮像により得られた被写体画像から、単位グループ３２ごとの被写体輝度、すなわち、被写体の輝度分布を測定する。以下、図２１を参照して説明する。

いま、図２１（ａ）に模式的に示す被写体を撮像するものとする。図２１（ａ）に示す撮像画面１１００には、人物１１０４と、建物１１０２と、地面１１０１と、空１１０３と、太陽１１０５とが写り込んでいる。また、地面１１０１には、建物１１０２の影１１０６が存在する。この被写体を予備撮像により撮像して得られた被写体の輝度分布の例を図２１（ｂ）に示す。図２１（ｂ）に示した輝度分布マップ６７は、小さな四角形１つが、１つの単位グループ３２を表している。また、四角形の中に記載された数値が、１つの単位グループ３２において検出された輝度値（Ｂｖ値）を表している。

制御部３３は、図２１（ｂ）に例示した被写体の輝度分布マップ６７から、被写体の最も暗い部分（最暗部）と、被写体の最も明るい部分（最明部）を特定する。図２１（ｂ）では、建物１１０２の影１１０６が位置する領域１１０９において、「４」という最小の輝度値が検出されている。つまり、図２１（ａ）に例示した被写体の最暗部は、影１１０６が位置する領域１１０９である（以下、最暗部１１０９と表記する）。また、図２１（ｂ）では、太陽１１０５が位置する領域１１０８において、「８」という最大の輝度値が検出されている。つまり、図２１（ａ）に例示した被写体の最明部は、太陽１１０５が位置する領域１１０８である（以下、最明部１１０８と表記する）。

次に、制御部３３は、予備撮像により得られた被写体画像に対して、所定の主要被写体検出処理を実行する。主要被写体検出処理は、例えばいわゆる顔認識技術により被写体人物の顔を検出し、その被写体人物が存在する位置および範囲を特定する処理である。例えば図２１（ａ）に示す被写体では、まず人物１１０４の顔１１０７が検出され、これに基づき、人物１１０４が位置する領域１１１０が特定される。ここで検出された人物１１０４が存在する領域１１１０を、被写体の主要部と称する（以下、主要部１１１０と表記する）。

なお、上述した顔認識技術に基づく被写体人物を検出する処理以外の処理を、主要被写体検出処理としてもよい。例えば、撮像光学系２１のピント位置や被写体の色情報等に基づき被写体の主要部を特定してもよい。また、周知の特徴量検出やパターンマッチング等の技術により、被写体の主要部を特定してもよい。あるいは、最暗部１１０９と最明部１１０８以外の全ての部分を主要部とみなしてもよい。

また、上述した実施の形態では、制御部３３は、最明部１１０８、最暗部１１０９、主要部１１１０をそれぞれ特定したが、被写体画像によっては主要部１１１０が最明部１１０８となる場合や、主要部１１１０が最暗部１１０９となる場合がある。たとえば、逆光シーンにおいては、主要被写体が暗くなり主要部１１１０と最暗部１１０９とが同じ領域となる。このような場合は、制御部３３は、最明部１１０８、最暗部１１０９、主要部１１１０の３つを特定することはせず、主要部１１１０（＝最明部１１０８）と最暗部１１０９の２つ、もしくは、主要部１１１０（＝最暗部１１０９）と最明部１１０８の２つを特定するようにすればよい。

（３）黒つぶれと白飛びの検出
次に、制御部３３は、最暗部１１０９に黒つぶれが存在するかを調べる。換言すると、制御部３３は、最暗部１１０９に属する単位グループ３２のうち、いずれかの単位グループ３２において、予備撮像により得られた被写体画像の輝度値（画素値）が所定の下限値を下回ったか否かを判定する。

同様に、制御部３３は、最明部１１０８に白飛びが存在するかを調べる。換言すると、制御部３３は、最明部１１０８に位置する単位グループ３２のうち、いずれかの単位グループ３２において、予備撮像により得られた被写体画像の輝度値が所定の上限値を上回ったか否かを判定する。例えば輝度値が０〜２５５の整数で表現される場合、下限値を１、上限値と２５４と設定する。

制御部３３による黒つぶれと白飛びの検出結果は、（Ａ）黒つぶれも白飛びも存在しない、（Ｂ）黒つぶれが存在し白飛びは存在しない、（Ｃ）白飛びが存在し黒つぶれは存在しない、（Ｄ）黒つぶれも白飛びも存在する、のいずれかになる。

（４）初期条件の設定
制御部３３は、黒つぶれと白飛びの検出結果に基づき、本撮像において最暗部１１０９に属する単位グループ３２に設定される撮像条件の初期値（初期条件）と、本撮像において最明部１１０８に属する単位グループ３２に設定される撮像条件の初期値（初期条件）と、本撮像において主要部１１１０に属する単位グループ３２に設定される撮像条件の初期値（初期条件）とを決定する。制御部３３による初期条件の決定方法については、後に詳述する。

（５）撮像条件の変更操作の受付
次に制御部３３は、液晶モニタ２４に、予備撮像により得られた被写体画像を表示する。そして、ユーザーに、単位グループ３２ごとの撮像条件を、上述した初期条件から変更する機会を与える。具体的には、不図示の操作部材に対する所定の変更操作を受け付ける。

本実施形態では、操作が煩雑にならないように、主要部１１１０の撮像条件についてのみ変更操作を受け付ける。換言すると、ユーザーが明示的に変更可能であるのは、主要部１１１０の撮像条件のみである。最暗部１１０９と最明部１１０８の撮像条件は、基本的に、主要部１１１０の撮像条件の変更操作に応じて制御部３３により自動的に変更される。つまり、最暗部１１０９と最明部１１０８の撮像条件は、主要部１１１０の撮像条件に連動する。制御部３３による撮像条件の変更方法については、後に詳述する。

制御部３３は、液晶モニタ２４に表示される被写体画像において、主要部１１１０を強調表示する。例えば、主要部１１１０を囲む破線を表示したり、主要部１１１０を点滅表示したりする。また、最暗部１１０９、最明部１１０８、および主要部１１１０の少なくとも１つの撮像条件が変更されると、液晶モニタ２４に、その撮像条件の変更を反映した被写体画像を表示する。換言すると、撮像条件の変更を、液晶モニタ２４に反映する。例えば、主要部１１１０の撮像条件が、主要部１１１０がより明るく撮像されるような撮像条件に変更された場合、液晶モニタ２４に表示される被写体画像において、主要部１１１０がより明るく表示される。

（６）本撮像
撮像条件を所望の値（条件）に設定したユーザーが、不図示の操作部材に対して所定の撮像操作（例えばレリーズスイッチの全押し操作）を行うと、制御部３３は撮像素子２２に被写体像の撮像を行わせ、被写体の画像データを作成する（本撮像）。このとき、最暗部１１０９に属する単位グループ３２と、最明部１１０８に属する単位グループ３２と、主要部１１１０に属する単位グループ３２と、にはそれぞれ独立に撮像条件が設定される。制御部３３は、本撮像により作成した画像データを、例えばメモリカード２５に記録したり、液晶モニタ２４に表示したりする。

以上が、制御部３３による撮像処理である。なお、以上で説明した撮像条件は、例えばシャッタースピード、ＩＳＯ感度、絞り値等、露出条件であってもよいし、動画のフレームレート等の撮像条件であってもよい。

次に、上述した撮像処理のうち、（４）初期条件の設定と、（５）撮像条件の変更操作の受付について、（３）黒つぶれと白飛びの検出の結果ごとに場合分けを行って説明する。

（Ａ）黒つぶれも白飛びも存在しない場合（通常画像）
図２２（ａ）に、黒つぶれも白飛びも存在しない場合の単位グループ３２ごとの輝度のヒストグラムを示す。図２２（ａ）において、横軸は輝度（画素値）、縦軸はその輝度を有する単位グループ３２の個数（頻度）を表している。なお、図２２（ａ）では、最暗部１１０９に属する単位グループ３２の集合１１２１と、最明部１１０８に属する単位グループ３２の集合１１２３と、主要部１１１０に属する単位グループ３２の集合１１２２とを模式的に図示している。

なお、集合１１２１、１１２２、１１２３は、図２２（ａ）ではそれぞれの輝度が重ならないように図示しているが、たとえば、それぞれの集合１１２１、１１２２、１１２３の輝度値が幅を持っていたり、最暗部１１０９の集合１１０と主要部輝度の集合１１２２との輝度差があまりなかったりした場合等には、集合１１２１、１１２２、１１２３とが重なるようなこともある。このような場合であっても、後述するように、制御部３３は、集合１１２１、１１２２、１１２３をそれぞれ独立して、輝度軸の左右方向に変更できる。

黒つぶれも白飛びも存在しない、つまり、画面全体の輝度が所定の範囲内（下限値〜上限値の範囲内）に収まっている場合、以上の３つの集合１１２１、１１２２、１１２３は、全て、所定の下限値１１２０と所定の上限値１１３０に収まることになる。この場合、制御部３３は、最暗部１１０９と最明部１１０８と主要部１１１０の初期条件を、予備撮像と同一の撮像条件、つまり、制御部３３により決定される所定の撮像条件に設定する。例えば、シャッタースピード（電荷蓄積時間）、絞り値、ＩＳＯ感度（増幅率）等の露出条件を、自動露出制御により決定した所定の露出条件に設定する。

ユーザーが、主要部１１１０の撮像条件を、主要部１１１０が暗くなる（主要部１１１０の輝度が低くなる）ように変更する変更操作（例えば、主要部１１１０のシャッタースピードを速くする操作）を行うと、制御部３３は、最暗部１１０９の集合１１２１と主要部１１１０の集合１１２２との輝度差Ｄ１が保たれるように、最暗部１１０９の撮像条件を変更する。つまり、最暗部１１０９の撮像条件を、最暗部１１０９がより暗く撮像されるような撮像条件（例えば、より高速なシャッタースピード）に変更する。換言すると、図２２（ａ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左方向に動かそうとすると、制御部３３は、これに連動して、最暗部１１０９の集合１１２１を輝度軸の左方向に動かす。すなわち、制御部３３は、主要部１１１０の撮像条件を変更する操作をユーザーから受け付けると、主要部１１１０の撮像条件と最暗部１１０９の撮像条件を変更する。制御部３３は、主要部１１１０の撮像条件を変更することにより、最暗部１１０９の撮像条件を変更する。

ただし、制御部３３は、最暗部１１０９の輝度が所定の下限値１１２０を下回らないように最暗部１１０９の撮像条件を変更する。つまり、制御部３３は、最暗部１１０９の輝度が所定の下限値１１２０に達したところで最暗部１１０９の撮像条件の変更を停止（禁止）する。換言すると、図２２（ａ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左方向に動かそうとしたとき、最暗部１１０９の集合１１２１が所定の下限値１１２０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２のみを輝度軸の左方向に移動させ、最暗部１１０９の集合１１２１は下限値１１２０で停止したまま移動させない。この場合、最暗部１１０９の集合１１２１と主要部１１１０の集合１１２２との輝度差Ｄ１は変化する。

更に、制御部３３は、主要部１１１０の輝度が所定の下限値１１２０を下回らないように主要部１１１０の撮像条件を変更する。つまり、制御部３３は、主要部１１１０の輝度が所定の下限値１１２０に達したところで、主要部１１１０の撮像条件の変更を停止する。換言すると、図２２（ａ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左方向に動かそうとしたとき、主要部１１１０の集合１１２２が所定の下限値１１２０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２を停止したまま移動させない。

なお、上述した主要部１１１０が暗くなる（主要部１１１０の輝度が低くなる）ように変更する変更操作において、最明部１１０８の撮像条件は変更されない。換言すると、図２２（ａ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左方向に動かそうとしたとき、最明部１１０８の集合１１２３は停止したまま移動しない。

また、ユーザーが、主要部１１１０の撮像条件を、主要部１１１０が明るくなる（主要部１１１０の輝度が高くなる）ように変更する変更操作（例えば、主要部１１１０のシャッタースピードを遅くする操作）を行うと、制御部３３は、最明部１１０８の集合１１２３と主要部１１１０の集合１１２２との輝度差が保たれるように、最明部１１０８の撮像条件を変更する。つまり、最明部１１０８の撮像条件を、最明部１１０８がより明るく撮像されるような撮像条件（例えば、より低速なシャッタースピード）に変更する。換言すると、図２２（ａ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の右方向に動かそうとすると、制御部３３は、これに連動して、最明部１１０８の集合１１２３を輝度軸の右方向に動かす。すなわち、制御部３３は、主要部１１１０の撮像条件を変更する操作をユーザーから受け付けると、主要部１１１０の撮像条件と最明部１１０８の撮像条件を変更する。制御部３３は、主要部１１１０の撮像条件を変更することにより、最明部１１０８の撮像条件を変更する。

ただし、制御部３３は、最明部１１０８の輝度が所定の上限値１１３０を上回らないように最明部１１０８の撮像条件を変更する。つまり、制御部３３は、最明部１１０８の輝度が所定の上限値１１３０に達したところで、最明部１１０８の撮像条件の変更を停止する。換言すると、図２２（ａ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の右方向に動かそうとしたとき、最明部１１０８の集合１１２３が所定の上限値１１３０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２のみを輝度軸の右方向に移動させ、最明部１１０８の集合１１２３は停止したまま移動させない。この場合、最明部１１０８の集合１１２３と主要部１１１０の集合１１２２との輝度差Ｄ２は変化する。

更に、制御部３３は、主要部１１１０の輝度が所定の上限値１１３０を上回らないように主要部１１１０の撮像条件を変更する。つまり、制御部３３は、主要部１１１０の輝度が所定の上限値１１３０に達したところで主要部１１１０の撮像条件の変更を停止する。換言すると、図２２（ａ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の右方向に動かそうとしたとき、主要部１１１０の集合１１２２が所定の上限値１１３０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２を停止したまま移動させない。

上述した主要部１１１０が明るくなる（主要部１１１０の輝度が高くなる）ように変更する変更操作において、最暗部１１０９の撮像条件は変更されない。換言すると、図２２（ａ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の右方向に動かそうとしたとき、最暗部１１０９の集合１１２１は停止したまま移動しない。

なお、主要部１１１０の撮像条件の変更に応じて、制御部３３が、最暗部１１０９の撮像条件を変更するようにしてもよい。例えば、最暗部１１０９に高感度ノイズが一定量以上発生すると考えられる場合には、ノイズがなくなるように最暗部１１０９の撮像条件を変更してもよい。

（Ｂ）黒つぶれが存在し白飛びが存在しない場合（黒つぶれ画像）
図２２（ｂ）に、黒つぶれが存在し白飛びが存在しない場合の単位グループ３２ごとの輝度のヒストグラムを示す。黒つぶれが存在し白飛びが存在しない、つまり、最明部１１０８と主要部１１１０の輝度が所定の範囲内（下限値〜上限値の範囲内）に収まっているが、最暗部１１０９の輝度がその範囲を逸脱している場合、最明部１１０８の集合１１２３と主要部１１１０の集合１１２２ａは所定の下限値１１２０と所定の上限値１１３０に収まり、最暗部１１０９の集合１１２１ａは少なくとも一部が所定の下限値１１２０を超えて左に位置することになる。この場合、制御部３３は、最明部１１０８の初期条件を、予備撮像と同一の撮像条件、つまり、自動露出制御により決定される所定の撮像条件所定の撮像条件に設定する。

制御部３３は、最暗部１１０９の初期条件を、黒つぶれが存在しない撮像条件に設定する。つまり、自動露出制御により決定される所定の撮像条件よりも、最暗部１１０９が明るく撮像されるような撮像条件に設定する。これにより、図２２（ｂ）に示した最暗部１１０９の集合１１２１ａは、所定の下限値１１２０に隣接する、所定の下限値１１２０よりも右側の位置に移動することになる（図２２（ｂ）中に実線で示す集合１１２１）。

また、制御部３３は、主要部１１１０の初期条件を、最暗部１１０９の初期条件と最明部１１０８の初期条件に応じた撮像条件に設定する。具体的には、自動露出制御により決定される所定の撮像条件における最暗部１１０９の輝度の最頻値と主要部１１１０の輝度の最頻値との差の絶対値をＤ１、同撮像条件における主要部１１１０の輝度の最頻値と最明部１１０８の輝度の最頻値との差の絶対値をＤ２、自動露出制御により決定される所定の撮像条件における最暗部１１０９の輝度の最頻値と上述した初期条件における最暗部１１０９の輝度の最頻値との差の絶対値をｄａとするとき、次式（１）により定義されるＤ３だけ主要部１１１０の輝度が大きくなる（明るくなる）ような撮像条件を、主要部１１１０の初期条件に設定する。
Ｄ３＝（ｄａ×Ｄ２）／（Ｄ１＋Ｄ２） ・・・（１）

つまり、自動露出制御により決定される所定の撮像条件における最暗部１１０９の輝度と主要部１１１０の輝度と最明部１１０８の輝度との相対的な関係が保たれたままで黒つぶれがなくなるように、最暗部１１０９と主要部１１１０の初期条件を設定する。これにより、図５に示した主要部１１１０の集合１１２２ａは、輝度軸の右方向にＤ３だけ移動することになる（図２２（ｂ）中に実線で示す集合１１２２）。

ユーザーが、主要部１１１０の撮像条件を、主要部１１１０が暗くなる（主要部１１１０の輝度が低くなる）ように変更する変更操作を行うと、制御部３３は、最明部１１０８の集合１１２３と主要部１１１０の集合１１２２との輝度差Ｄ２’が保たれるように、最明部１１０８の撮像条件を変更する。つまり、最明部１１０８の撮像条件を、最明部１１０８がより暗く撮像されるような撮像条件に変更する。換言すると、図２２（ｂ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左方向に動かそうとすると、制御部３３は、これに連動して、最明部１１０８の集合１１２３を輝度軸の左方向に動かす。すなわち、制御部３３は、主要部１１１０の撮像条件を変更する操作をユーザーから受け付けると、主要部１１１０の撮像条件と最明部１１０８の撮像条件を変更する。制御部３３は、主要部１１１０の撮像条件を変更することにより、最明部１１０８の撮像条件を変更する。

ただし、制御部３３は、主要部１１１０の輝度が所定の下限値１１２０を下回らないように主要部１１１０の撮像条件を変更する。つまり、制御部３３は、主要部１１１０の輝度が所定の下限値１１２０に達したところで主要部１１１０の撮像条件の変更を停止（禁止）する。換言すると、図２２（ｂ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左方向に動かそうとしたとき、主要部１１１０の集合１１２２が所定の下限値１１２０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２を停止したまま移動させない。

また、ユーザーが、主要部１１１０の撮像条件を、主要部１１１０が明るくなる（主要部１１１０の輝度が高くなる）ように変更する変更操作を行うと、制御部３３は、最明部１１０８の集合１１２３と主要部１１１０の集合１１２２との輝度差が保たれるように、最明部１１０８の撮像条件を変更する。つまり、最明部１１０８の撮像条件を、最明部１１０８がより明るく撮像されるような撮像条件に変更する。換言すると、図２２（ｂ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の右方向に動かそうとすると、制御部３３は、これに連動して、最明部１１０８の集合１１２３を輝度軸の右方向に動かす。すなわち、制御部３３は、主要部１１１０の撮像条件を変更する操作をユーザーから受け付けると、主要部１１１０の撮像条件と最明部１１０８の撮像条件を変更する。制御部３３は、主要部１１１０の撮像条件を変更することにより、最明部１１０８の撮像条件を変更する。

ただし、制御部３３は、最明部１１０８の輝度が所定の上限値１１３０を上回らないように最明部１１０８の撮像条件を変更する。つまり、制御部３３は、最明部１１０８の輝度が所定の上限値１１３０に達したところで最明部１１０８の撮像条件の変更を停止する。換言すると、図２２（ｂ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の右方向に動かそうとしたとき、最明部１１０８の集合１１２３が所定の上限値１１３０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２のみを輝度軸の右方向に移動させ、最明部１１０８の集合１１２３は停止したまま移動させない。この場合、最明部１１０８の集合１１２３と主要部１１１０の集合１１２２との輝度差Ｄ２’は変化する。

更に、制御部３３は、主要部１１１０の輝度が所定の上限値１１３０を上回らないように主要部１１１０の撮像条件を変更する。つまり、制御部３３は、主要部１１１０の輝度が所定の上限値１１３０に達したところで主要部１１１０の撮像条件の変更を停止する。換言すると、図２２（ｂ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の右方向に動かそうとしたとき、主要部１１１０の集合１１２２が所定の上限値１１３０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２を停止したまま移動させない。

なお、以上の変更操作において、最暗部１１０９の撮像条件は変更されない。換言すると、図２２（ａ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左右どちらの方向に動かそうとした場合であっても、最暗部１１０９の集合１１２１は移動しない。

（Ｃ）白飛びが存在し黒つぶれが存在しない場合（白飛び画像）
図２２（ｃ）に、白飛びが存在し黒つぶれが存在しない場合の単位グループ３２ごとの輝度のヒストグラムを示す。白飛びが存在し黒つぶれが存在しない、つまり、最暗部１１０９と主要部１１１０の輝度が所定の範囲内（下限値〜上限値の範囲内）に収まっているが、最明部１１０８の輝度がその範囲を逸脱している場合、最暗部１１０９の集合１１２１と主要部１１１０の集合１１２２ａは所定の下限値１１２０と所定の上限値１１３０に収まり、最明部１１０８の集合１１２３ａは少なくとも一部が所定の上限値１１３０を超えて右に位置することになる。この場合、制御部３３は、最暗部１１０９の初期条件を、予備撮像と同一の撮像条件、つまり、自動露出制御により決定される所定の撮像条件に設定する。

制御部３３は、最明部１１０８の初期条件を、白飛びが存在しない撮像条件に設定する。つまり、自動露出制御により決定される所定の撮像条件よりも、最明部１１０８が暗く撮像されるような撮像条件に設定する。これにより、図２２（ｃ）に示した最明部１１０８の集合１１２３ａは、所定の上限値１１３０に隣接する、所定の上限値１１３０よりも左側の位置に移動することになる（図２２（ｃ）中に実線で示す集合１１２３）。

また、制御部３３は、主要部１１１０の初期条件を、最暗部１１０９の初期条件と最明部１１０８の初期条件に応じた撮像条件に設定する。具体的には、自動露出制御により決定される所定の撮像条件における最暗部１１０９の輝度の最頻値と主要部１１１０の輝度の最頻値との差の絶対値をＤ１、同撮像条件における主要部１１１０の輝度の最頻値と最明部１１０８の輝度の最頻値との差の絶対値をＤ２、自動露出制御により決定される所定の撮像条件における最明部１１０８の輝度の最頻値と上述した初期条件における最明部１１０８の輝度の最頻値との差の絶対値をｄｂとするとき、次式（２）により定義されるＤ４だけ主要部１１１０の輝度が小さくなる（暗くなる）ような撮像条件を、主要部１１１０の初期条件に設定する。
Ｄ４＝（ｄｂ×Ｄ１）／（Ｄ１＋Ｄ２） ・・・（２）

つまり、自動露出制御により決定される所定の撮像条件における最暗部１１０９の輝度と主要部１１１０の輝度と最明部１１０８の輝度との相対的な関係が保たれたままで白飛びがなくなるように、最明部１１０８と主要部１１１０の初期条件を設定する。これにより、図２２（ｃ）に示した主要部１１１０の集合１１２２ａは、輝度軸の左方向にＤ４だけ移動することになる（図２２（ｃ）中に実線で示す集合１１２２）。

ユーザーが、主要部１１１０の撮像条件を、主要部１１１０が暗くなる（主要部１１１０の輝度が低くなる）ように変更する変更操作を行うと、制御部３３は、最暗部１１０９の集合１１２１と主要部１１１０の集合１１２２との輝度差Ｄ１’が保たれるように、最暗部１１０９の撮像条件を変更する。つまり、最暗部１１０９の撮像条件を、最暗部１１０９がより暗く撮像されるような撮像条件に変更する。換言すると、図２２（ｃ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左方向に動かそうとすると、制御部３３は、これに連動して、最暗部１１０９の集合１１２１を輝度軸の左方向に動かす。すなわち、制御部３３は、主要部１１１０の撮像条件を変更する操作をユーザーから受け付けると、主要部１１１０の撮像条件と最暗部１１０９の撮像条件を変更する。制御部３３は、主要部１１１０の撮像条件を変更することにより、最暗部１１０９の撮像条件を変更する。

ただし、制御部３３は、最暗部１１０９の輝度が所定の下限値１１２０を下回らないように最暗部１１０９の撮像条件を変更する。つまり、制御部３３は、最暗部１１０９の輝度が所定の下限値１１２０に達したところで最暗部１１０９の撮像条件の変更を停止する。換言すると、図２２（ｃ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左方向に動かそうとしたとき、最暗部１１０９の集合１１２１が所定の下限値１１２０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２のみを輝度軸の左方向に移動させ、最暗部１１０９の集合１１２１は停止したまま移動させない。この場合、最暗部１１０９の集合１１２１と主要部１１１０の集合１１２２との輝度差Ｄ１’は変化する。

更に、制御部３３は、主要部１１１０の輝度が所定の下限値１１２０を下回らないように主要部１１１０の撮像条件を変更する。つまり、制御部３３は、主要部１１１０の輝度が所定の下限値１１２０に達したところで主要部１１１０の撮像条件の変更を停止する。換言すると、図２２（ｃ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左方向に動かそうとしたとき、主要部１１１０の集合１１２２が所定の下限値１１２０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２を停止したまま移動させない。

また、ユーザーが、主要部１１１０の撮像条件を、主要部１１１０が明るくなる（主要部１１１０の輝度が高くなる）ように変更する変更操作を行うと、制御部３３は、最暗部１１０９の集合１１２１と主要部１１１０の集合１１２２との輝度差が保たれるように、最暗部１１０９の撮像条件を変更する。つまり、最暗部１１０９の撮像条件を、最暗部１１０９がより明るく撮像されるような撮像条件に変更する。換言すると、図２２（ｃ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の右方向に動かそうとすると、制御部３３は、これに連動して、最暗部１１０９の集合１１２１を輝度軸の右方向に動かす。すなわち、制御部３３は、主要部１１１０の撮像条件を変更する操作をユーザーから受け付けると、主要部１１１０の撮像条件と最暗部１１０９の撮像条件を変更する。制御部３３は、主要部１１１０の撮像条件を変更することにより、最暗部１１０９の撮像条件を変更する。

ただし、制御部３３は、主要部１１１０の輝度が所定の上限値１１３０を上回らないように主要部１１１０の撮像条件を変更する。つまり、制御部３３は、主要部１１１０の輝度が所定の上限値１１３０に達したところで主要部１１１０の撮像条件の変更を停止する。換言すると、図２２（ｃ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の右方向に動かそうとしたとき、主要部１１１０の集合１１２２が所定の上限値１１３０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２を停止したまま移動させない。

なお、以上の変更操作において、最明部１１０８の撮像条件は変更されない。換言すると、図２２（ｃ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左右どちらの方向に動かそうとした場合であっても、最明部１１０８の集合１１２３は移動しない。

（Ｄ）黒つぶれも白飛びも存在する場合
図２２（ｄ）に、黒つぶれも白飛びも存在する場合の単位グループ３２ごとの輝度のヒストグラムを示す。黒つぶれも白飛びも存在する、つまり、主要部１１１０の輝度が所定の範囲内（下限値〜上限値の範囲内）に収まっているが、最暗部１１０９の輝度と最明部１１０８の輝度がその範囲を逸脱している場合、主要部１１１０の集合１１２２ａは所定の下限値１１２０と所定の上限値１１３０に収まり、最暗部１１０９の集合１１２１ａは少なくとも一部が所定の下限値１１２０を超えて左に位置し、最明部１１０８の集合１１２３ａは少なくとも一部が所定の上限値１１３０を超えて右に位置することになる。

この場合、制御部３３は、最暗部１１０９と最明部１１０８と主要部１１１０の初期条件を、相対的な位置関係（輝度の関係）を保ったまま、黒つぶれも白飛びも存在しなくなるような撮像条件に設定する。つまり、制御部３３は、最暗部１１０９の初期条件を、自動露出制御により決定される所定の撮像条件よりも、最暗部１１０９が明るく撮像されるような撮像条件に設定すると共に、最明部１１０８の初期条件を、自動露出制御により決定される所定の撮像条件よりも、最明部１１０８が暗く撮像されるような撮像条件に設定する。これにより、図２２（ｄ）中に破線で示す初期条件における最暗部１１０９の集合１１２１ａおよび最明部１１０８の集合１１２３ａは、それぞれ下限値１１２０〜上限値１１３０の範囲内に移動する（それぞれ図２２（ｄ）中に実線で示す集合１１２１、１１２３）。主要部１１１０の初期条件は、最暗部１１０９の初期条件と最明部１１０８の初期条件に応じた撮像条件に設定する。

具体的には、自動露出制御により決定される所定の撮像条件における最暗部１１０９の輝度の最頻値と主要部１１１０の輝度の最頻値との差の絶対値をＤ１、同撮像条件における主要部１１１０の輝度の最頻値と最明部１１０８の輝度の最頻値との差の絶対値をＤ２、自動露出制御により決定される所定の撮像条件における最暗部１１０９の輝度の最頻値と上述した初期条件における最暗部１１０９の輝度の最頻値との差の絶対値をｄａ、自動露出制御により決定される所定の撮像条件における最明部１１０８の輝度の最頻値と上述した初期条件における最明部１１０８の輝度の最頻値との差の絶対値をｄｂとするとき、次式（３）により定義されるＤ５だけ主要部１１１０の輝度が変化するような撮像条件を、主要部１１１０の初期条件に設定する。
Ｄ５＝（ｄｂ×Ｄ１―ｄａ×Ｄ２）／（Ｄ１＋Ｄ２） ・・・（３）

つまり、自動露出制御により決定される所定の撮像条件における最暗部１１０９の輝度と主要部１１１０の輝度と最明部１１０８の輝度との相対的な関係が保たれたままで黒つぶれも白飛びもなくなるように、最暗部１１０９と主要部１１１０と最明部１１０８の初期条件を設定する。

ユーザーが、主要部１１１０の撮像条件を変更する変更操作を行うと、制御部３３は、最暗部１１０９や最明部１１０８の撮像条件を変更せずに、主要部１１１０の撮像条件のみを変更する。換言すると、図２２（ｄ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左右の方向に動かそうとすると、制御部３３は、最暗部１１０９の集合１１２１と最明部１１０８の集合１１２３を固定したまま、主要部１１１０の集合１１２２のみをユーザーが所望した輝度軸の方向に動かす。

ただし、制御部３３は、主要部１１１０の輝度が所定の下限値１１２０を下回ったり所定の上限値１１３０を上回ったりすることのないように主要部１１１０の撮像条件を変更する。つまり、制御部３３は、主要部１１１０の輝度が所定の下限値１１２０を下回るような主要部１１１０の撮像条件の変更も、主要部１１１０の輝度が所定の上限値１１３０を上回るような主要部１１１０の撮像条件の変更も禁止する。換言すると、図２２（ｄ）において、ユーザーが主要部１１１０の集合１１２２を輝度軸の左方向に動かそうとしたとき、主要部１１１０の集合１１２２が所定の下限値１１２０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２を停止したまま移動させない。また、ユーザーが主要部１１１０の集合１１２２を輝度軸の右方向に動かそうとしたとき、主要部１１１０の集合１１２２が所定の上限値１１３０を超えてしまう場合には、制御部３３は主要部１１１０の集合１１２２を停止したまま移動させない。

なお、以上の説明では、撮像条件の初期値を制御部３３が周知の自動露出制御により自動的に決定するものとしていたが、これを、ユーザーが指定したマニュアル値としてもよい。

上述した第４の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）撮像素子２２（撮像部）は、複数の単位グループ３２（撮像領域）にそれぞれ異なる撮像条件を設定可能に構成されている。制御部３３は、被写体の主要部１１１０を、第１の撮像条件を設定した単位グループ３２により撮像させ、被写体の最暗部１１０９や最明部１１０８を、第２の撮像条件を設定した第２の別の単位グループ３２により撮像させる。制御部３３は、ユーザーの操作に応じて第１の撮像条件を変更すると共に、その変更に基づいて、第２の撮像条件を変更する。このようにしたので、所望の撮像条件を各々の撮像領域に容易に設定することができる、使い勝手のよい撮像装置３０１０を提供することができる。

（２）制御部３３は、主要部１１１０を撮像する単位グループ３２の撮像信号と、最暗部１１０９および最明部１１０８を撮像する単位グループ３２の撮像信号とが、共に下限値１１２０〜上限値１１３０の範囲内となる第１の撮像条件の初期値および第２の撮像条件の初期値を、ユーザー操作による第１の撮像条件の変更に先立って設定する。このようにしたので、撮像画像のダイナミックレンジが向上する。換言すると、ダイナミックレンジの広い撮像画像を得ることができる。

（３）制御部３３は、最暗部１１０９および最明部１１０８を撮像する単位グループ３２の撮像信号が下限値１１２０〜上限値１１３０の範囲を逸脱する第２の撮像条件の変更を禁止する。このようにしたので、撮像条件の変更により、黒つぶれや白飛びが発生してしまうことがないので、ユーザーは黒つぶれや白飛びを懸念することなく自由に撮像条件を設定することができる。

（４）制御部３３は、主要部１１１０の撮像信号と、最暗部１１０９の撮像信号と、最明部１１０８の撮像信号と、の大小関係が入れ替わるような第２の撮像条件の変更を禁止する。このようにしたので、不自然な明るさの撮像画像が作成されることがない。

（５）制御部３３は、主要部１１１０の撮像条件の変更量に基づいて、最暗部１１０９の撮像条件や最明部１１０８の撮像条件の変更量を決定する。このようにしたので、所望の撮像条件を各々の撮像領域に容易に設定することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
主要部１１１０の撮像条件を変更する変更操作に応じて、最暗部１１０９や最明部１１０８の撮像条件がどのように変更されるか、また、どのような変更が禁止されるかについて説明を行ったが、以上の説明は一例であり、それらとは異なるパターンで撮像条件を変更したり、撮像条件の変更を禁止したりしてもよい。

例えば、ユーザーが、主要部１１１０がより明るく撮像されるように主要部１１１０の撮像条件を変更する変更操作を行った場合に、制御部３３が、最暗部１１０９の撮像条件および最明部１１０８の撮像条件を、最暗部１１０９と最明部１１０８の両方がより明るく（または暗く）撮像されるように変更するようにしてもよい。すなわち、制御部３３は、主要部１１１０の撮像条件を変更する操作をユーザーから受け付けると、主要部１１１０の撮像条件と、最明部１１０８の撮像条件と、最暗部１１０９の撮像条件の変更を行う。制御部３３は、主要部１１１０の撮像条件を変更することにより、最明部１１０８の撮像条件と最暗部１１０９の撮像条件を変更する。このとき、ユーザーにより変更された明るさの段階（例えばシャッタースピードの段数）と、最暗部１１０９や最明部１１０８において変更される明るさの段階（例えばシャッタースピードの段数）とを異ならせてもよい。

ただし、どのようなパターンであっても、最暗部１１０９において黒つぶれが生じるような撮像条件や、最明部１１０８において白飛びが生じるような撮像条件は禁止されるべきである。また、主要部１１１０の撮像条件の変更（例えば、主要部１１１０のシャッタースピードを１段上げる）に連動して、最暗部１１０９と最明部１１０８の両方の撮像条件に当該変更と同一の変更を加える（例えば、最暗部１１０９と最明部１１０８の両方のシャッタースピードを１段上げる）ようなパターンは避けることが望ましい。

（変形例２）
撮像条件が変更された際、液晶モニタ２４に表示されている被写体画像に、その変更を反映することについて説明したが、主要部１１１０とそれ以外の部分（最暗部１１０９、最明部１１０８）とで、変更が反映されるタイミングに差を設けてもよい。例えば、撮像条件が変更されると、まず主要部１１１０にのみその変更が反映され、それから数秒後に、最暗部１１０９と最明部１１０８とに変更が反映されるようにしてもよい。

（変形例３）
撮像条件の変更において、最暗部１１０９の輝度の最頻値、最明部１１０８の輝度の最頻値、および、主要部１１１０の輝度の最頻値に基づく説明を行ったが、これらの各値は、最頻値でなくてもよい。例えば、輝度の中央値であってもよいし、平均値であってもよい。

（変形例４）
上述した（Ｃ）白飛びが存在し黒つぶれが存在しない場合において、最明部１１０８に位置する被写体の種類に応じて、撮像条件の変更量を異ならせてもよい。すなわち、制御部３３は、主要部１１１０の撮像条件を変更する操作をユーザーから受け付けると、主要部１１１０の撮像条件と最明部１１０８の撮像条件の変更を行う。かかる場合、最明部１１０８の撮像条件を、主要部１１１０の撮像条件の変更量とは異なる変更量としてもよい。例えば、制御部３３に、撮像距離等の情報から、最明部１１０８に位置する被写体を判別させる。ここで最明部１１０８に空があると判断された場合、主要部１１１０がより明るく撮像されるように主要部１１１０の撮像条件を変更する変更操作が為されたことに応じて、制御部３３は、空の輝度、すなわち最明部１１０８の輝度がより小さく（暗く）撮像されるように、空の部分（最明部１１０８）の撮像条件を同じ量だけ変更する。

また、最明部１１０８に建物があると判断された場合にも、同様に、主要部１１１０がより明るく撮像されるように主要部１１１０の撮像条件を変更する変更操作が為されたことに応じて、制御部３３は、建物の輝度、すなわち最明部１１０８の輝度がより小さく（暗く）撮像されるように、建物の部分（最明部１１０８）の撮像条件を変更する。このとき、その変更量は、主要部１１１０の変更量よりも小さくする。例えば、主要部１１１０のシャッタースピードを１段分遅くする操作が為された場合に、最明部１１０８のシャッタースピードを、１／３段速くする。ただし、最明部１１０８の撮像条件は、像ぶれが生じないように変更することが望ましい。つまり、像ぶれが生じる可能性が一定以上高くなる場合には、最明部１１０８の撮像条件の変更を禁止する。

以上のようにすると、例えば空の青空がより強調された、鮮やかな撮像結果を得ることができる。

（変形例５）
上述した（Ｂ）黒つぶれが存在し白飛びが存在しない場合において、最暗部１１０９に位置する被写体の種類に応じて、撮像条件の変更量を異ならせてもよい。すなわち、制御部３３は、主要部１１１０の撮像条件を変更する操作をユーザーから受け付けると、主要部１１１０の撮像条件と最暗部１１０９の撮像条件の変更を行う。かかる場合、最暗部１１０９の撮像条件を、主要部１１１０の撮像条件の変更量とは異なる変更量としてもよい。例えば、制御部３３に、撮像距離等の情報から、最暗部１１０９に位置する被写体を判別させる。ここで最暗部１１０９に建物があると判断された場合、主要部１１１０がより明るく撮像されるように主要部１１１０の撮像条件を変更する変更操作が為されたことに応じて、制御部３３は、建物の輝度、すなわち最暗部１１０９の輝度がより大きく（明るく）撮像されるように、建物の部分（最暗部１１０９）の撮像条件を同じ量だけ変更する。ただし、最暗部１１０９の撮像条件は、像ぶれが生じないように変更することが望ましい。つまり、像ぶれが生じる可能性が一定以上高くなる場合には、最暗部１１０９の撮像条件の変更を禁止する。

また、最暗部１１０９に空（夜空）があると判断された場合にも、同様に、主要部１１１０がより明るく撮像されるように主要部１１１０の撮像条件を変更する変更操作が為されたことに応じて、制御部３３は、空の輝度、すなわち最暗部１１０９の輝度がより大きく（明るく）撮像されるように、空の部分（最暗部１１０９）の撮像条件を変更する。このとき、その変更量は、主要部１１１０の変更量よりも小さくする。例えば、主要部１１１０のシャッタースピードを１段分遅くする操作が為された場合に、最暗部１１０９のシャッタースピードを、１／３段遅くする。ただし、最暗部１１０９の撮像条件は、高感度ノイズや像ぶれが生じないように変更することが望ましい。つまり、高感度ノイズや像ぶれが生じる可能性が一定以上高くなる場合には、最暗部１１０９の撮像条件の変更を禁止する。

以上のようにすると、例えば夜空が明るくなりすぎた不自然な撮像画像となることを防止することができる。

（変形例６）
上述した実施形態では、被写体の主要部と、被写体の背景部である最暗部および最明部とを、被写体の輝度分布により判別し、主要部の撮像条件の変更に応じて背景部である最暗部および最明部の撮像条件を変更していた。被写体の主要部と被写体の背景部を、被写体の輝度分布以外の情報に基づき判別してもよい。例えば、被写体の速度分布（移動分布）に基づき被写体の主要部と背景部とを判別してもよい。

例えば、被写体のうち、速度が速い部分を主要部とし、速度が遅い部分を背景部とすることができる（乗り物を撮像する場合等）。この場合、制御部３３は、主要部の撮像条件を変更する操作をユーザーから受け付けると、主要部の撮像条件と背景部の撮像条件の変更を行う。かかる場合、背景部の撮像条件を、主要部の撮像条件の変更量とは異なる変更量としてもよい。例えば、制御部３３は、主要部のシャッタースピードを速くするように撮像条件を変更することにより、背景部のシャッタースピードも合わせて速くするが、その変化量は主要部に比べて少なくする。また、主要部のシャッタースピードを遅くするように撮像条件を変更することにより、背景部のシャッタースピードも合わせて遅くするが、その変化量は主要部に比べて多くする。

別の例として、被写体のうち、速度が遅い部分を主要部とし、速度が速い部分を背景部とすることができる。この場合、制御部３３は、主要部の撮像条件を変更する操作をユーザーから受け付けると、主要部の撮像条件と背景部の撮像条件の変更を行う。かかる場合、背景部の撮像条件を、主要部の撮像条件の変更量とは異なる変更量としてもよい。例えば、制御部３３は、主要部のシャッタースピードを速くする際、背景部のシャッタースピードも合わせて速くするが、その変化量は主要部に比べて少なくする。また、主要部のシャッタースピードを遅くする際には、背景部のシャッタースピードも合わせて遅くするが、その変化量は主要部に比べて多くする。

なお、いずれの場合であっても、像ぶれが発生しないよう、背景部のシャッタースピードの下限を設けることが望ましい。また、主要部のシャッタースピードと背景部のシャッタースピードの大小関係が入れ替わるような変更は禁止することが望ましい。

（変形例７）
上述した実施形態では、撮像条件の変更は、操作部材に対して所定の変更操作を受け付けることにより行っていたが、撮像条件の変更操作はこれに限られない。例えば、ユーザーからの入力操作を受け付けるタッチセンサを有する液晶モニタ２４に撮像条件の変更に用いる操作画面を表示してもよい。具体的には、図２３に示すように、液晶モニタ２４に撮像条件の変更操作を受け付ける操作用画像１１１１を表示する。操作用画像１１１１は、調整用バー１１１２とスライダ１１１３を含む。撮像条件の設定は、調整用バー１１１２に対するスライダ１１１３の位置により決定される。撮像条件の変更操作は、ユーザーユーザーによるスライダ操作で行う。例えば、撮像条件の変更操作として、主要部の明るさを変更したい場合、調整用バー１１１２に対するスライダ１１１３の位置を移動させる。ユーザーによりスライダ１１１３を調整用バーの左端側に移動させた場合、主要部は現在の撮像条件よりも暗くなるように撮像条件が設定される。かかる場合、主要部以外の撮像領域は、主要部の撮像条件が変更されることにより、撮像条件も変更される。また、ユーザーによりスライダ１１１３を調整用バーの右端側に移動させた場合、主要部は現在の撮像条件よりも明るくなるように撮像条件が設定される。かかる場合、主要部以外の撮像領域は、主要部の撮像条件が変更されることにより、撮像条件も変更される。

（変形例８）
上述した実施形態では、被写体の主要部と被写体の背景部である最暗部および最明部について撮像条件の変更を行っていたが、撮像条件を変更する対象はこれに限られない。例えば、第１の実施の形態、第２の実施の形態および第３の実施の形態で示すように、物体認識部２３ａにより複数の被写体が抽出された場合において、複数の被写体のうち、選択された主要被写体とそれ以外の被写体について撮像条件の変更を行ってもよい。すなわち、物体認識部２３ａにより抽出された複数の被写体のうち、１つの被写体に対して撮像条件を変更することにより、その他の抽出された被写体の撮像条件の変更が行われてもよい。この場合、物体認識部２３ａで抽出された被写体のうち、選択された被写体とそれ以外の被写体で撮像条件を変更する変更量が異なっていてもよい。また、ユーザーにより１つの被写体が選択された場合において、選択された被写体に対して撮像条件の変更を行うことにより、被写体に含まれるその他の被写体（例えば、人物、顔、建物、空など）の撮像条件の変更を行ってもよい。このように、第４の実施の形態は、第１の実施の形態、第２の実施の形態および第３の実施の形態においても適用できる。これにより、複数の被写体が存在する場合であっても、１つの被写体について撮像条件の変更を行うことにより、他の被写体の撮像条件の変更を行うことができるため、撮像条件の変更操作を短縮できる。また、撮像条件の変更を行う被写体の選択操作を短縮できる。

（変形例９）
上述した各実施の形態では、撮像素子２２と制御部３３とを有する単一の電子機器である撮像装置について説明したが、本発明はこのような実施形態に限定されない。例えば、外部に設けられた撮像素子２２を制御する電子機器にも本発明を適用することができる。以下、撮像素子２２を外部に設ける形態について詳述する。

図２４は、変形例９に係る撮像システムの構成を模式的に示すブロック図である。図２４に示す撮像システム４０００は、撮像ユニット４００１と、電子機器４００２とから成る。撮像ユニット４００１は、第４の実施の形態で説明した撮像光学系２１と撮像素子２２とを備え、更に、第１通信部４００３を備えている。また、電子機器４００２は、第４の実施の形態で説明した制御部３３、液晶モニタ２４、メモリカード２５、操作部２６、ＤＲＡＭ２７、フラッシュメモリ２８、および録音部３４を備え、更に、第２通信部４００４を備えている。第１通信部４００３および第２通信部４００４は、例えば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。

変形例９に係る撮像システム４０００では、制御部３３は、第２通信部４００４および第１通信部４００３を介したデータ通信により、撮像素子２２の制御を行う。例えば、所定の制御データを撮像ユニット４００１との間で送受信することにより、単位グループ３２ごとに異なる撮像条件を設定したり、各々の単位グループ３２から撮像信号を読み出したりする。

なお、本発明は、上述した実施の形態のものに何ら限定されず、複数の撮像領域ごとに所定の撮像条件で制御される撮像部によって撮像された被写体画像を表示部に表示させる表示制御部と、被写体画像を少なくとも一つの部分領域に分割する分割部と、を備え、表示制御部は、部分領域に対応する撮像領域の撮像部によって撮像された部分画像と被写体画像とを表示部に表示させる各種構造の電子機器を含むものである。
また、本発明は、上述した実施の形態のものに何ら限定されず、上記電子機器と、複数の撮像領域ごとに所定の撮像条件で制御される撮像部と、複数の撮像領域ごとに所定の撮像条件で制御する撮像制御部と、撮像部によって撮像された被写体画像を記録媒体に記録する記録部と、を備え、撮像制御部は、設定部によって設定される撮像条件で対応する撮像領域を制御して、被写体画像を生成し、記録部は、被写体画像を記録媒体に記録する各種構造の撮像装置を含むものである。
また、本発明は、上述した実施の形態のものに何ら限定されず、上記電子機器と、撮像装置と、を備え、電子機器は、撮像装置と通信可能な第１通信部をさらに備え、撮像装置は、複数の撮像領域ごとに所定の撮像条件で制御される撮像部と、複数の撮像領域ごとに所定の撮像条件で制御して、被写体画像を生成する撮像制御部と、電子機器と通信可能な第２通信部とをさらに備え、第２通信部は、被写体画像を第１通信部を介して電子機器に送信し、第１通信部は、表示制御部によって表示された被写体画像において、設定部によって部分領域ごとに設定された撮像条件を撮像装置に送信する各種構造の撮像システムを含むものである。

以上に述べたように、撮像システム４０００において、単位グループ３２ごとの制御を行っているのは、制御部３３である。電子機器４００２は、撮像素子２２を備えていないが、電子機器４００２の外部に設けられた撮像素子２２（撮像ユニット４００１）を制御することにより、第１の実施の形態と同様の制御を行う。つまり、本発明は、撮像素子２２を有していない電子機器に適用することが可能である。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１４年第２０２１０４号（２０１４年９月３０日出願）
日本国特許出願２０１４年第２０２１０５号（２０１４年９月３０日出願）

１０ 情報端末装置、２１ 撮像光学系、２２ 撮像素子、２３、３３ 制御部、２３ａ 物体認識部、２３ｂ 重み付け設定部、２３ｃ 領域分割部（領域区分部）、２３ｄ 撮像条件設定部、２３ｅ 画像処理部、２３ｆ 撮像制御部、２４ 液晶モニタ、２５ メモリカード、２６ 操作部、２７ ＤＲＡＭ、２８ フラッシュメモリ ２９ 姿勢検出部、 ３４ 録音部、３０１０ 撮像装置

Claims (20)

1. 撮像素子の第１領域に対して被写体を撮像するための第１撮像条件を設定する設定部と、
   前記設定部により前記第１領域に対して前記第１撮像条件が設定されると、前記撮像素子の、前記第１領域から行方向側の位置に配置される第２領域に対して被写体を撮像するための第２撮像条件を設定するように前記設定部を制御する制御部と、を備え、
   前記制御部は、前記設定部により前記第１領域に対して前記第１撮像条件が設定される前後において、前記第１領域で撮像される被写体の輝度値と前記第２領域で撮像される被写体の輝度値との差が保たれるように前記第２撮像条件の設定を制御する電子機器。
2. 撮像素子の第１領域に対して被写体を撮像するための第１撮像条件を設定する設定部と、
   前記設定部により前記第１領域に対して前記第１撮像条件が設定されると、前記撮像素子の、前記第１領域から行方向側の位置に配置される第２領域に対して被写体を撮像するための第２撮像条件を設定するように前記設定部を制御する制御部と、を備え、
   前記制御部は、前記設定部により前記第１領域に対して前記第１撮像条件が設定される前後において、前記第１領域で撮像される被写体の輝度値と前記第２領域で撮像される被写体の輝度値との差が大きくなるように前記第２撮像条件の設定を制御する電子機器。
3. 請求項１または請求項２に記載の電子機器において、
   前記第１領域は、少なくとも１つの画素を有し、
   前記第２領域は、少なくとも１つの画素を有し、
   前記第１領域が有する画素は、第１制御線に出力される制御信号により制御され、
   前記第２領域が有する画素は、第２制御線に出力される制御信号により制御される電子機器。
4. 請求項３に記載の電子機器において、
   前記第１領域が有する画素は、第１出力線に光電変換された電荷に基づく信号を出力し、
   前記第２領域が有する画素は、第２出力線に光電変換された電荷に基づく信号を出力する電子機器。
5. 請求項３または請求項４に記載の電子機器において、
   前記設定部は、前記第１領域が有する画素に含まれる光電変換部において光電変換された電荷を蓄積する期間を前記第１撮像条件として設定し、前記第２領域が有する画素に含まれる光電変換部において光電変換された電荷を蓄積する期間を前記第２撮像条件として設定する電子機器。
6. 請求項３から請求項５のいずれか一項に記載の電子機器において、
   前記設定部は、前記第１領域が有する画素に含まれる光電変換部で光電変換された電荷に基づく信号を増幅する増幅部の増幅率を前記第１撮像条件として設定し、前記第２領域が有する画素に含まれる光電変換部で光電変換された電荷に基づく信号を増幅する増幅部の増幅率を前記第２撮像条件として設定する電子機器。
7. 請求項３から請求項６のいずれか一項に記載の電子機器において、
   前記設定部は、前記第１領域が有する画素に含まれる光電変換部で光電変換された電荷に基づく信号を読み出すフレームレートを前記第１撮像条件として設定し、前記第２領域が有する画素に含まれる光電変換部で光電変換された電荷に基づく信号を読み出すフレームレートを前記第２撮像条件として設定する電子機器。
8. 請求項１から請求項７のいずれか一項に記載の電子機器において、
   前記制御部は、前記設定部により設定された前記第１撮像条件と前記第２撮像条件とで被写体を撮像するように前記撮像素子を制御する電子機器。
9. 請求項１から請求項８のいずれか一項に記載の電子機器において、
   前記制御部は、前記第１領域において撮像された被写体の画像と前記第２領域において撮像された被写体の画像とを表示部に表示させる電子機器。
10. 請求項９に記載の電子機器において、
    前記制御部は、前記第１領域において前記第１撮像条件で撮像された被写体の画像を前記表示部に表示させた後に、前記第２領域において前記第２撮像条件で撮像された被写体の画像を前記表示部に表示させる電子機器。
11. 請求項１から請求項１０のいずれか一項に記載の電子機器において、
    前記制御部は、前記撮像素子からの信号に基づいて、前記第１領域として前記設定部により前記第１撮像条件が設定される領域を特定する電子機器。
12. 請求項１から請求項１１のいずれか一項に記載の電子機器において、
    前記制御部は、前記第２領域で撮像された被写体の輝度値が所定の上限値を超えない範囲で前記第２撮像条件を設定するように前記設定部を制御する電子機器。
13. 請求項１から請求項１２のいずれか一項に記載の電子機器において、
    前記制御部は、前記第２領域で撮像された被写体の輝度値が所定の下限値を超えない範囲で前記第２撮像条件を設定するように前記設定部を制御する電子機器。
14. 行方向において並んで配置される複数の画素を有する撮像素子と、
    前記複数の画素のうち第１画素が第１撮像条件で駆動するように設定する設定部と、
    前記設定部により前記第１画素が前記第１撮像条件で駆動するように設定されると、前記複数の画素のうち第２画素を第２撮像条件で駆動させるように前記設定部を制御する制御部と、を備え、
    前記制御部は、前記設定部により前記第１画素に対して前記第１撮像条件が設定される前後において、前記第１画素を用いて撮像される被写体の輝度値と前記第２画素を用いて撮像される被写体の輝度値との差が保たれるように前記第２撮像条件の設定を制御する電子機器。
15. 行方向において並んで配置される複数の画素を有する撮像素子と、
    前記複数の画素のうち第１画素が第１撮像条件で駆動するように設定する設定部と、
    前記設定部により前記第１画素が前記第１撮像条件で駆動するように設定されると、前記複数の画素のうち第２画素を第２撮像条件で駆動させるように前記設定部を制御する制御部と、を備え、
    前記制御部は、前記設定部により前記第１画素に対して前記第１撮像条件が設定される前後において、前記第１画素を用いて撮像される被写体の輝度値と前記第２画素を用いて撮像される被写体の輝度値との差が大きくなるように、前記第２撮像条件の設定を制御する電子機器。
16. 請求項１４または請求項１５に記載の電子機器において、
    前記撮像素子は、前記第１画素に接続され、前記第１画素の駆動を制御するための制御信号が出力される第１制御線と、前記第２画素に接続され、前記第２画素の駆動を制御するための制御信号が出力される第２制御線と、を有する電子機器。
17. 請求項１４から請求項１６のいずれか一項に記載の電子機器において、
    前記撮像素子は、前記第１画素に接続され、前記第１画素からの信号を出力する第１出力線と、前記第２画素に接続され、前記第２画素からの信号を出力する第２出力線と、を有する電子機器。
18. 請求項１４から請求項１７のいずれか一項に記載の電子機器において、
    前記第１画素は、光を電荷に変換する第１光電変換部を有し、
    前記第２画素は、光を電荷に変化する第２光電変換部を有し、
    前記設定部は、前記第１光電変換部で変換された電荷を蓄積する期間を前記第１撮像条件として設定し、前記第２光電変換部で変換された電荷を蓄積する期間を前記第２撮像条件として設定する電子機器。
19. 請求項１４から請求項１８のいずれか一項に記載の電子機器において、
    前記第１画素は、光を電荷に変換する第１光電変換部を有し、
    前記第２画素は、光を電荷に変換する第２光電変換部を有し、
    前記設定部は、前記第１光電変換部で変換された電荷に基づく信号を読み出すフレームレートを前記第１撮像条件として設定し、前記第２光電変換部で変換された電荷に基づく信号を読み出すフレームレートを前記第２撮像条件として設定する電子機器。
20. 請求項１４から請求項１９のいずれか一項に記載の電子機器において、
    前記第１画素は、光を電荷に変換する第１光電変換部を有し、
    前記第２画素は、光を電荷に変換する第２光電変換部を有し、
    前記設定部は、前記第１光電変換部で変換された電荷に基づく信号を増幅部で増幅する増幅率を前記第１撮像条件として設定し、前記第２光電変換部で変換された電荷に基づく信号を増幅部で増幅する増幅率を前記第２撮像条件として設定する電子機器。

Images