−−−第1の実施の形態−−−
始めに、本発明の一実施の形態による電子機器(例えば撮像装置10)に搭載する撮像素子22について説明する。撮像素子22は、本願出願人が先に出願した日本国特願2012−139026号に記載されているものである。図25は、撮像素子22の断面図である。撮像素子22は、入射光に対応した画素信号を出力する撮像チップ2113と、画素信号を処理する信号処理チップ2111と、画素信号を記憶するメモリチップ2112とを備える。撮像チップ2113、信号処理チップ2111およびメモリチップ2112は積層されており、Cu等の導電性を有するバンプ2109により互いに電気的に接続される。
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ2113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図25の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ2113の一例は、CMOSイメージセンサである。具体的には、裏面照射型のCMOSイメージセンサである。PD層2106は、配線層2108の裏面側に配されている。PD層2106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のフォトダイオード2104、および、フォトダイオード2104に対応して設けられたトランジスタ2105を有する。すなわち、PD層2106は、光を電荷に変換する光電変換機能を有する複数のフォトダイオード2104と、フォトダイオード2104に蓄積された電荷により生成される信号を配線層2108へ読み出すための複数のトランジスタ2105を有する。
PD層2106における入射光の入射側にはパッシベーション膜2103を介してカラーフィルタ2102が設けられる。カラーフィルタ2102は、互いに異なる波長領域を透過する複数の種類を有しており、フォトダイオード2104のそれぞれに対応して特定の配列を有している。すなわち、カラーフィルタ2102は、分光特性の異なる複数種類のフィルタを有し、フォトダイオード2104は、フィルタを透過した光を受光する。カラーフィルタ2102の配列については後述する。カラーフィルタ2102、フォトダイオード2104およびトランジスタ2105の組が、一つの画素を形成する。
カラーフィルタ2102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ2101が設けられる。マイクロレンズ2101は、対応するフォトダイオード2104へ向けて入射光を集光する。
配線層2108は、PD層2106からの画素信号を信号処理チップ2111に伝送する配線2107を有する。配線2107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
配線層2108の表面には複数のバンプ2109が配される。当該複数のバンプ2109が信号処理チップ2111の対向する面に設けられた複数のバンプ2109と位置合わせされて、撮像チップ2113と信号処理チップ2111とが加圧等されることにより、位置合わせされたバンプ2109同士が接合されて、電気的に接続される。
同様に、信号処理チップ2111およびメモリチップ2112の互いに対向する面には、複数のバンプ2109が配される。これらのバンプ2109が互いに位置合わせされて、信号処理チップ2111とメモリチップ2112とが加圧等されることにより、位置合わせされたバンプ2109同士が接合されて、電気的に接続される。
なお、バンプ2109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ2109は、たとえば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ2109の大きさは、フォトダイオード2104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ2109よりも大きなバンプを併せて設けてもよい。
信号処理チップ2111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)2110を有する。TSV2110は、周辺領域に設けられることが好ましい。また、TSV2110は、撮像チップ2113の周辺領域、メモリチップ2112にも設けられてよい。
図26は、撮像チップ113の画素配列を説明する図である。特に、撮像チップ2113を裏面側から観察した様子を示す。画素領域には、たとえば800万個以上の画素がマトリックス状に配列されている。本実施形態においては、たとえば隣接する2画素×2画素の4画素で1つのブロック2131を形成する。そして、隣接する2ブロック×2ブロックの4ブロックで1つの単位グループ32を形成する。図の格子線は、隣接する画素をまとめてブロック2131および単位グループ32を形成する概念を示す。ブロック2131を形成する画素の数や、単位グループ32を形成するブロック2131の数は、上記例に限らず、それ以上でもそれ以下でもよい。
画素領域の部分拡大図に示すように、ブロック2131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ2102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ2102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ2102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施形態において、1ブロック2131につきGb、Gr、BおよびRの4画素を少なくとも1つ含むように複数のブロック2131が定義される。各ブロック2131はそれぞれ、ブロック2131内の4画素をブロック2131ごとに定めた制御パラメータで制御できる。つまり、あるブロック2131に含まれる画素群と、別のブロック2131に含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。すなわち、あるブロック2131に含まれる画素群の撮像条件を、別のブロック2131に含まれる画素群とは異なる撮像条件で撮像動作を行うことができる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。すなわち、あるブロック2131に含まれる画素群のフレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間、電荷の蓄積回数およびデジタル化のビット数を、別のブロック2131に含まれる画素群とは異なるフレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間、電荷の蓄積回数およびデジタル化のビット数で撮像動作を行うことができる。
図27は、撮像チップ2113における1つの単位グループ32に対応する回路図である。図27において、代表的に点線で囲む矩形が、1つの画素に対応する回路を表す。また、一点鎖線で囲む矩形が1つのブロック2131に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図25のトランジスタ2105に対応する。
上述したように、単位グループ32は4つのブロック2131から形成される。単位グループ32に含まれる画素のリセットトランジスタ2303は、ブロック2131単位でオン/オフされる。また、単位グループ32に含まれる画素の転送トランジスタ2302も、ブロック2131単位でオン/オフされる。図27に示す例において、左上ブロック2131−1に対応する4つのリセットトランジスタ2303をオン/オフするためのリセット配線2300−1が設けられており、同ブロック2131−1に対応する4つの転送トランジスタ2302に転送パルスを供給するためのTX配線2307−1も設けられる。
同様に、左下ブロック2131−3に対応する4つのリセットトランジスタ2303をオン/オフするためのリセット配線2300−3が、上記リセット配線2300−1とは別個に設けられる。また、同ブロック2131−3に対応する4つの転送トランジスタ2302に転送パルスを供給するためのTX配線2307−3が、上記TX配線2307−1と別個に設けられる。
右上ブロック2131−2や右下ブロック2131−4についても同様に、それぞれリセット配線2300−2とTX配線2307−2、およびリセット配線2300−4とTX配線2307−4が、それぞれのブロック2131に設けられている。
各画素に対応する16個のフォトダイオード2104は、それぞれ対応する転送トランジスタ2302に接続される。各転送トランジスタ2302のゲートには、上記ブロック2131ごとのTX配線を介して転送パルスが供給される。各転送トランジスタ2302のドレインは、対応するリセットトランジスタ2303のソースに接続されるとともに、転送トランジスタ2302のドレインとリセットトランジスタ2303のソース間のいわゆるフローティングディフュージョンFDが、対応する増幅トランジスタ2304のゲートに接続される。
各リセットトランジスタ2303のドレインは、電源電圧が供給されるVdd配線2310に共通に接続される。各リセットトランジスタ2303のゲートには、上記ブロック2131ごとのリセット配線を介してリセットパルスが供給される。
各増幅トランジスタ2304のドレインは、電源電圧が供給されるVdd配線2310に共通に接続される。また、各増幅トランジスタ2304のソースは、対応する選択トランジスタ2305のドレインに接続される。各選択トランジスタ2305のゲートには、選択パルスが供給されるデコーダ配線2308に接続される。本実施形態において、デコーダ配線2308は、16個の選択トランジスタ2305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ2305のソースは、共通の出力配線2309に接続される。負荷電流源2311は、出力配線2309に電流を供給する。すなわち、選択トランジスタ2305に対する出力配線2309は、ソースフォロアにより形成される。なお、負荷電流源2311は、撮像チップ2113側に設けてもよいし、信号処理チップ2111側に設けてもよい。また、単位グループ32に含まれる画素が1つである場合、選択トランジスタ2305を省略してもよい。
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック2131ごとのリセット配線を通じてリセットパルスがリセットトランジスタ2303に印加され、同時に上記ブロック2131ごとのTX配線を通じて転送パルスが転送トランジスタ2302に印加されると、上記ブロック2131ごとに、フォトダイオード2104およびフローティングディフュージョンFDの電位がリセットされる。
各フォトダイオード2104は、転送パルスの印加が解除されると、受光する光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、フォトダイオード2104に蓄積された電荷はフローティングディフュージョンFDへ転送される。フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。すなわち、フローティングディフュージョンFDの電位は、フォトダイオード2104に蓄積された電荷に応じた電位になる。そして、デコーダ配線2308を通じて選択パルスが選択トランジスタ2305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ2304および選択トランジスタ2305を介して出力配線2309に伝わる。すなわち、デコーダ配線2308を通じて選択パルスが選択トランジスタ2305に印加されると、フローティングディフュージョンFDの電位により生成された信号が出力配線2309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線2309に出力される。
上述したように、本実施形態においては、ブロック2131を形成する4画素に対して、リセット配線とTX配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック2131内の4画素に対して同時に印加される。したがって、あるブロック2131を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ2305に選択パルスが順次印加されることにより、選択的に出力配線2309から出力される。
このように、本実施形態ではブロック2131ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック2131間では、異なったタイミングで撮像することができる。
図28は、撮像素子22の機能的構成を示すブロック図である。アナログのマルチプレクサ2411は、単位グループ32を形成する16個のフォトダイオード2104を順番に選択して、それぞれの画素信号を当該単位グループ32に対応して設けられた出力配線2309へ出力させる。マルチプレクサ2411は、フォトダイオード2104と共に、撮像チップ2113に形成される。
マルチプレクサ2411を介して出力された画素信号は、信号処理チップ2111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路2412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ2413に引き渡され、それぞれの画素に対応する画素メモリ2414に格納される。デマルチプレクサ2413および画素メモリ2414は、メモリチップ2112に形成される。
演算回路2415は、画素メモリ2414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路2415は、信号処理チップ2111に設けられてもよいし、メモリチップ2112に設けられてもよい。なお、図28では1つの単位グループ32の分の接続を示すが、実際にはこれらが単位グループ32ごとに存在して、並列で動作する。ただし、演算回路2415は単位グループ32ごとに存在しなくてもよく、たとえば、一つの演算回路2415がそれぞれの単位グループ32に対応する画素メモリ2414の値を順に参照しながらシーケンシャルに処理してもよい。
上記のとおり、単位グループ32のそれぞれに対応して出力配線2309が設けられている。撮像素子22は撮像チップ2113、信号処理チップ2111およびメモリチップ2112を積層しているので、これら出力配線2309にバンプ2109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
図1は、本発明の第1の実施の形態に係る電子機器の構成を示すブロック図である。本実施の形態では、電子機器の一例として、撮像機能を有する情報端末装置10を例に挙げて説明する。情報端末装置10は、たとえば、タブレット型の情報端末装置のように、厚さが薄く、前面に大型の液晶モニタが設けられ、背面側に撮像光学系を備えた装置である。情報端末装置10は、撮像光学系21と、撮像素子22と、制御部23と、液晶モニタ24と、メモリカード25と、操作部26と、DRAM27と、フラッシュメモリ28と、姿勢検出部29とを備える。なお、以下の説明では、情報端末装置10の種々の機能および構成のうち、撮像に係る機能および構成について説明し、他の機能および構成についての説明を省略する。
撮像光学系21は、複数のレンズから構成され、撮像素子22の撮像面に被写体像を結像させる。なお図1では、撮像光学系21を1枚のレンズとして図示している。
撮像部、すなわち撮像素子22は、撮像光学系21により結像された被写体像を撮像して撮像信号を出力する。撮像素子22は、複数の撮像画素が配列された撮像面30を有する。制御部23は、情報端末装置10の各部を制御する電子回路であり、CPUとその周辺回路とから構成される。不揮発性の記録媒体であるフラッシュメモリ28には、予め所定の制御プログラムが書き込まれている。制御部23は、フラッシュメモリ28から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記録媒体であるDRAM27を作業用領域として使用する。
表示部としての液晶モニタ24は、液晶パネルを利用した表示装置である。制御部23は、所定周期(例えば60分の1秒)ごとに撮像素子22に繰り返し被写体像を撮像させる。そして、撮像素子22から出力された撮像信号に種々の画像処理を施して被写体画像を作成し、液晶モニタ24に表示する。液晶モニタ24には、上記の被写体画像以外に、たとえば後述する撮像画像データや撮像条件を設定する設定画面等が表示される。また、表示装置は、液晶モニタ24以外に例えば、有機ELパネルを利用した表示装置であってもよい。
姿勢検出部29は、たとえば加速度センサであり、情報端末装置10の姿勢を検出する。制御部23は、姿勢検出部29から出力される信号に基づいて、情報端末装置10の姿勢が縦長の画像を撮像する縦位置であるか、横長の画像を撮像する横位置であるかを判断する。
制御部23は、撮像素子22から出力された撮像信号に種々の画像処理を施して撮像画像データを生成し、可搬性の記録媒体であるメモリカード25に画像データを記録させる。操作部26は、プッシュボタン等の種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部23に操作信号を出力する。なお、液晶モニタ24はタッチパネル式の表示装置であり、操作部26の一部を構成する。制御部23は、撮像素子22によって撮像された被写体画像を液晶モニタ24に表示させる表示制御を行う。
制御部23はソフトウェア形態により物体認識部23aと、重み付け設定部23bと、領域分割部、すなわち領域区分部23cと、撮像条件設定部23dと、画像処理部23eと、撮像制御部23fとを備える。これらの各部は、制御部23がフラッシュメモリ28に格納されている所定の制御プログラムを実行することにより、ソフトウェア的に実現される。なお、これらの各部を電子回路として構成することも可能である。
物体認識部23aは、たとえば公知のいわゆるテンプレートマッチング処理などの方法によって、撮像素子22により撮像された被写体画像から、人物や、その顔部分や、犬、猫などの動物や、自転車、自動車、電車などの乗物や、皿に盛られた食べ物や、玩具や、その他の予め定められた特定の被写体物体、すなわち、被写体要素を認識または検出する。
重み付け設定部23bは、物体認識部23aで認識した被写体物体について重み付けを行う。具体的には、重み付け設定部23bは、物体認識部23aで認識した被写体物体ごとに人物や、その顔や、動物や、乗物や、食べ物や、玩具等ごとに、所定の重み付けを行う。たとえば、重み付け設定部23bは、人物とその顔とに最も大きな重み付けをし、次いで、動物にその次に大きな重み付けをし、乗物にさらにその次に大きな重み付けをし、食べ物や玩具などには小さな重み付けを行う。このように、重み付け設定部23bは、物体認識部23aが認識した被写体物体に対して予め定めた所定の重み付けを行うことによって、被写体物体についてランク付けを行う。
領域分割部23cは、物体認識部23aによって認識され、重み付け設定部23bによって所定の重み付けされた被写体物体の個数が予め定められた所定数を越えるか否かを判定し、被写体物体の個数が所定数の以内である場合には、物体認識部23aによって認識された被写体物体の全てを主要被写体と決定し、被写体物体の個数が所定数を越える場合には、被写体物体を相対的にランクの高いものから所定数まで選択して、所定数の被写体物体を主要被写体と決定する。なお、この所定数は、操作部26によってユーザーが予め設定することができる。
領域分割部23cは、さらに、上述のように決定された主要被写体が被写体画像内のどの位置、すなわちどの領域に存在するかを特定し、被写体画像内における主要被写体の領域を部分領域として分割(区分)する。後述するように、被写体画像が液晶モニタ24に表示されている場合には、領域分割部23cによって区分された主要被写体の領域、具体的には主要被写体の外形線または輪郭線を表す枠が被写体画像に重畳されて、表示される。なお、領域分割部23cが被写体画像上で主要被写体の領域を区画することは、撮像素子22の撮像面において、主要被写体を撮像した撮像領域を特定する、すなわち区画することに他ならない。
撮像条件設定部23dは、撮像素子22の撮像条件を設定すると共に、後に詳述するように主要被写体に対する画像処理条件を設定する。画像処理部23eは、被写体画像について複数の画像処理を施す。撮像制御部23fは、撮像素子22の少なくとも1個の撮像画素をそれぞれ含む複数の撮像領域の各々を互いに独立に制御する。すなわち、撮像制御部23fは、上述したように、撮像素子22の単位グループ32ごとに露光時間、増幅率、フレームレート等の撮像条件を制御する。なお、撮像制御部23fの機能を撮像素子22に設けるようにしてもよい。
図2(a)は、撮像素子22の撮像面30を模式的に示す平面図であり、図2(b)は撮像面30の一部領域30aを拡大した平面図である。図2(b)に示すように、撮像面30には、撮像画素31が二次元状に多数配列されている。撮像画素31は、それぞれ不図示の色フィルタを有している。色フィルタは、赤(R)、緑(G)、青(B)の3種類からなり、図2(b)における「R」、「G」、および「B」という表記は、撮像画素31が有する色フィルタの種類を表している。図2(b)に示すように、撮像素子22の撮像面30には、このような各色フィルタを備えた撮像画素31が、いわゆるベイヤー配列に従って配列されている。
赤フィルタを有する撮像画素31は、入射光のうち、赤色の波長帯の光を光電変換して受光信号(光電変換信号)を出力する。同様に、緑フィルタを有する撮像画素31は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する撮像画素31は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。
本実施の形態の撮像素子22は、隣接する2画素×2画素の計4つの撮像画素31から成る撮像領域、すなわち単位グループ32ごとに、個別に制御可能に構成されている。たとえば、互いに異なる2つの単位グループ32について、同時に電荷蓄積を開始したときに、一方の単位グループ32では電荷蓄積開始から1/30秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方の単位グループ32では電荷蓄積開始から1/15秒後に電荷の読み出しを行うことができる。また、一方の単位グループ32を、他方の単位グループ32の電荷蓄積の開始タイミングとは異なる電荷蓄積の開始タイミングとしてもよい。換言すると、撮像素子22は、1回の撮像において、単位グループ32ごとに異なる露光時間(いわゆるシャッタースピード)を設定することができる。
撮像素子22は、上述した露光時間以外にも、受光信号の増幅率(いわゆるISO感度)を単位グループ32ごとに異ならせることが可能である。撮像素子22は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングを単位グループ32ごとに変化させることができる。撮像素子22は、動画撮像時のフレームレートを単位グループ32ごとに変化させることができる。図1に示した制御部23の撮像制御部23fは、単位グループ32ごとに露光時間、増幅率、フレームレート等の撮像条件を制御する。
以上をまとめると、撮像素子22は、単位グループ32ごとに、露光時間、増幅率、フレームレート等の撮像条件を異ならせることが可能に構成されている。
このように構成される情報端末装置10では、物体認識部23aによって検出された重要な被写体物体、すなわち主要被写体についての撮像条件をそれ以外の被写体部分、たとえば被写体背景などの撮像条件とは別に手動設定することができるように構成されている。以下、詳細に説明する。
図3(a)は、姿勢検出部29により情報端末装置の姿勢が縦位置と判断された情報端末装置10において、被写体画像110が液晶モニタ24に表示された状態を示す模式的な図である。以下の説明では、被写体の一例として、情報端末装置10の撮像範囲に、2人の人物101,102と、小動物103と、テーブル105と、食べ物として皿の上に置かれたケーキ104とが存在していることとする。そして、情報端末装置10側から見て、2人の人物101,102がテーブル105の向こう側におり、テーブル105の下に小動物103がおり、テーブル105の上に皿に載ったケーキ104が置かれているものとする。なお、説明の便宜上、被写体画像110の背景部分106には、他の被写体要素として抽出されうる被写体が存在していないこととする。なお、この被写体画像110は、被写体輝度の測光値による露出条件またはユーザーによる手動設定された露出条件に基づき、全ての単位グループ32について、すなわち撮像面30全体について同一の撮像条件(露光時間、増幅率、フレームレート)で撮像されたものである。
物体認識部23aは、液晶モニタ24に表示されている被写体画像110から、特定の被写体物体、すなわち2人の人物101,102と、小動物103と、皿に載ったケーキ104と、テーブル105とを認識する。物体認識部23aは、撮像素子22から出力された、被写体画像110を示す画像データにより被写体検出を行う。物体認識部23aは、被写体検出の結果、特定の被写体物体、すなわち2人の人物101,102と、小動物103と、皿に載ったケーキ104と、テーブル105とを認識する。
物体認識部23aで複数の被写体物体が検出されると、重み付け設定部23bは、物体認識部23aで検出した複数の被写体物体の各々に対して重み付けを行う。ここでは、重み付け設定部23bは、2人の人物101,102に最も大きい重みを付与し、小動物103に2番目の大きさの重みを付与し、皿に載ったケーキ104に3番目の大きさの重みを付与し、テーブル105に4番目の大きさの重みを付与する。
領域分割部23cは、物体認識部23aで検出した5個の被写体物体のうち、重み付け設定部23bで重み付けされたランクがたとえば上位のもの4個を主要被写体として決定し、被写体画像内の4個の主要被写体の位置、すなわち4個の主要被写体の領域を、主要被写体領域として、特定または区画する。以下の説明では、主要被写体領域の特定または区画のことを領域分割とも呼ぶ。
制御部23は、領域分割部23cによる主要被写体領域の特定または区画が行われると、図3(b)に示されたように表示エリア111に表示される被写体画像110Aに4個の主要被写体領域を重畳して明示的に表示させる。たとえば、制御部23は、被写体画像110A上に点線で示したように4個の主要被写体領域の輪郭101a、102a、103a、104aを表示する。この輪郭表示101a、102a、103a、104aは、図示のように、輪郭を点線で表示する代わりに、各主要被写体領域全体を他の領域に比べて明るくハイライト表示したり、着色してハイライト表示することもできる。
制御部23は、被写体画像110Aより主要被写体101〜104の部分画像181を生成する。制御部23は、被写体画像110A上での主要被写体領域の輪郭101a、102a、103a、104aの表示に加えて、図3(b)に示すように、被写体画像110Aの下方位置に、具体的には液晶モニタ24の下部に部分画像表示エリア190を設け、各主要被写体101〜104の部分画像181を表示させる。すなわち制御部23は、領域分割部23cで特定された部分領域を主要被写体領域の輪郭101a、102a、103a、104aとして表示させるとともに、被写体画像内における主要被写体の領域に対応する部分画像181を表示させる。また、制御部23は、液晶モニタ24の表示画面の右上の表示エリア114に主要被写体の撮像条件の設定画面130を表示させる。このように、部分画像181をユーザーの指に部分画像等の選択操作等をしやすい表示画面下側に表示させる。設定画面130は、ユーザーが撮像条件の設定等を行いやすいように、ユーザーの利き手側に表示させる。図3(b)で示した実施の形態では、ユーザーの利き手が右手の場合を想定しており、ユーザーの利き手が左手の場合は、表示画面左側に表示される。また、制御部23は、設定画面130と部分画像表示エリア190とを被写体画像110A内に設けたとしても、被写体画像110Aのアスペクト比(被写体画像110Aの縦の長さと横の長さとの比)が変更されないように表示を制御する。また制御部23は、部分画像181を表示画面下側に表示させることで、被写体画像110Aがユーザーの指で隠れにくくなり、被写体画像110Aの視認性が向上する。
主要被写体の撮像条件の設定画面130は、撮像条件、すなわち撮像条件の設定項目131の一例として、たとえば、上から順に、「シャッタースピード」、「ISO感度」、「画像処理効果」が挙げられている。なお、画像処理効果とは、たとえば、美白を加味した美肌補正や、モノクローム調の画像やセピア調の画像などを得るための画像処理を行う際に設定する設定項目である。このように設定画面130の設定項目131には、撮像条件としての「シャッタースピード」および「ISO感度」と、画像処理条件としての「画像処理効果」とが存在するが、以下の説明では、単に、「撮像条件」とも表現する。なお、動画撮像を行う場合には、撮像条件の設定項目131としてさらに「フレームレート」が設定画面130に追加表示される。これにより、主要被写体についてのフレームレートの設定変更が可能となる。
各設定項目131として、項目表示131aと、設定状態表示131bと、アップボタン表示131cと、ダウンボタン表示131dとがそれぞれ表示される。たとえば「シャッタースピード」を例に挙げて説明すると、項目表示131aには、設定項目であるシャッタースピードを示す「シャッタースピード」の文字が表示され、設定状態表示131bには、現在のシャッタースピードの設定状態を示す「1/125秒」の文字が表示される。アップボタン表示131cおよびダウンボタン表示131dは、現在の設定状態を変更するための表示ボタンである。アップボタン表示131cまたはダウンボタン表示131dがタッチされると、設定状態が順次変更される。また、設定された撮像条件を確定するための決定ボタン132が表示エリア114の右下に表示される。「ISO感度」についても同様である。なお、後述するユーザーにより主要被写体領域が選択されて、主要被写体領域の撮像条件が変更されるまでは、設定状態を全ての単位グループ32、すなわち撮像面30全体について同一に設定された「シャッタースピード」、「ISO感度」である。
制御部23は、ユーザーによっていずれかの部分画像181が選択されると、図3(c)に示すように、選択された部分画像181に係る主要被写体の拡大画像が液晶モニタ24の下側に表示させる。すなわち制御部23は、被写体画像内における主要被写体の領域に対応する部分画像を拡大画像として表示させる。制御部23は、部分画像表示エリア190の画像を、表示エリア111に表示された被写体画像110Aの主要被写体を示す画像よりも拡大して表示させる。図3(c)は、図3(b)において人物101の部分画像181が選択されて、人物101の拡大画像121が部分画像表示エリア190に表示された状態を示している。図3(d)は、図3(b)においてケーキ104についての部分画像181が選択されて、ケーキ104の拡大画像124が部分画像表示エリア190に表示された状態を示している。すなわち、部分画像表示エリア190に表示されたケーキ104についての画像を、表示エリア111に表示された被写体画像110Aの主要被写体を示す画像よりも拡大して表示させることで、ケーキ104が選択されたことを示している。このように主要被写体の拡大画像を液晶モニタ24に表示させることで、被写体画像110Aにおける主要被写体の表示がたとえ小さくとも、主要被写体の拡大画像の視認性が良好であるので、ユーザーの所望の設定がし易くなる。
制御部23は、部分画像表示エリア190に拡大画像を表示させるとともに、液晶モニタ24の右下に戻るボタン182を表示させる。ユーザーにより戻るボタン182が操作されると、制御部23は、部分画像表示エリア190の表示形態を図3(b)に示す表示形態に戻す。
図3(c)に示すように部分画像表示エリア190に主要被写体101の拡大画像を表示させている状態で、ユーザーは、主要被写体設定130の種々の設定項目131aについて、アップボタン表示131cおよびダウンボタン表示131dをタッチして撮像条件、たとえばシャッタースピードなどを設定する。
たとえば、図3(c)では、人物101が撮像時に動く可能性があるのでシャッタースピードの設定値を1/125秒から1/250秒へと変更し、色白に写るように画像処理効果を美白モードへと設定した例を示している。
表示エリア114の右下の決定ボタン132が操作されると、撮像条件設定部23dは、表示エリア114に表示された撮像条件を人物101についての撮像条件として設定する。具体的には、撮像条件設定部23dは、領域分割部23cで領域分割を行った主要被写体としての人物101に対応する撮像素子22の複数の単位グループ32の露光時間(電荷蓄積時間)および増幅率を設定されたシャッタースピードおよびISO感度に応じて撮像制御部23fに設定する。さらに詳述すると、撮像条件設定部23dは、撮像素子22の撮像面30の中で、主要被写体としての人物101に関する画像信号を出力する複数の単位グループ32に対する露光時間および増幅率を撮像制御部23fに設定する。同時に、撮像条件設定部23dは、主要被写体に対して画像処理部23eに美白モードを設定する。
撮像素子22は、主要被写体について、撮像条件設定部23dによって設定された撮像条件で撮像した被写体画像を作成する。画像処理部23eは、主要被写体に対して、撮像条件設定部23dによって設定された美白処理を施す。制御部23は、主要被写体に対して美白処理された被写体画像を液晶モニタ24に表示される。ユーザーは、被写体画像によって自身が設定した撮像条件および画像処理条件の効果を確認することができる。
その後に、不図示のレリーズボタン、または撮像を指示するボタンが操作されると、制御部23は、主要被写体の各々に対して撮像条件設定部23dによってそれぞれ設定された撮像条件および画像処理条件で撮像および画像処理された被写体画像データを生成し、メモリカード25に記録させる。
主要被写体設定130において、ユーザーが主要被写体の撮像条件を設定する際に、複数の部分画像181から一つの部分画像を選択して、制御部23は、その選択された部分画像を拡大表示してからその主要被写体の撮像条件を設定したが、その代わりに、一つの部分画像をユーザーにより選択されたときに、拡大画像を表示することなく、その主要被写体の撮像条件を設定することもできるし、さらには、複数の部分画像を表示することなく、図3(b)のスルー画の点線でハイライト表示された主要被写体を指で選択したものについて撮像条件を設定してもよい。
上述の説明では、主要被写体が多数の場合について説明したが、主要被写体が1つまたは2つなどの少数の場合、制御部23は、主要被写体についての撮像条件の設定に関して、次のように各部を制御する。図4(a),図5(a)は、姿勢検出部29により情報端末装置の姿勢が縦位置と判断された情報端末装置10において、1人の人物106についての被写体画像が液晶モニタ24に表示された状態を示す模式的な図である。図4(a)では、人物106が液晶モニタ24に大きく表示されている状態、つまり人物106が液晶モニタ24の表示領域を占める割合が所定の割合よりも大きい状態である。図5(a)では、液晶モニタ24に表示される人物106が小さく表示されている状態、つまり人物106が液晶モニタ24の表示領域を占める割合が所定の割合よりも小さい状態である。
図4(a),図5(a)に示す状態では、物体認識部23aは、被写体物体として人物106を抽出し、重み付け設定部23bは、人物106に最も大きい重みを付与する。領域分割部23cは、被写体物体106を主要被写体と決定する。また、人物106,107についての被写体画像が液晶モニタ24に表示された状態の場合、人物106,107をそれぞれ、主要被写体と決定する。
図4(a)に示すように、制御部23は、主要被写体が1つだけであり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合よりも大きい場合、上述した領域分割が行われた後、図4(b)に示すように、制御部23は、被写体画像110B上で主要被写体領域の輪郭106aを表示させる。また、制御部23は、液晶モニタ24に、主要被写体である人物106についての撮像条件の設定画面130Aを表示させる。制御部23は、例えば、液晶モニタ24の右上に、主要被写体である人物106についての撮像条件の設定画面130Aを表示させる。つまり、制御部23は、図3(b)等に示された設定画面130と部分画像表示エリア190とを被写体画像110Bに表示しない。
制御部23は、各設定項目131の設定状態表示131bが変更されて、決定ボタン132がタッチされると、撮像条件設定部23dは、変更後の撮像条件を人物106についての撮像条件として設定する。
その結果、被写体画像110Bにおける人物106が設定された撮像条件および画像処理条件に従って表示される。なお、図示はしていないが、主要被写体が2つであり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合よりも大きい場合も同様である。この場合、主要被写体である人物106の画像が選択されると、人物106についての撮像条件が設定可能となり、人物107の画像が選択されると、人物107についての撮像条件が設定可能となる。
図4(b)に示す状態で不図示のレリーズボタン、または撮像を指示するボタンが操作されると、制御部23は、主要被写体に対して撮像条件設定部23dによって設定された撮像条件および画像処理条件で撮像および画像処理された被写体画像データを生成し、メモリカード25に記録させる。
図5(a)に示すように、制御部23は、主要被写体が1つだけであり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合以下である場合、上述した領域分割が行われた後、図5(b)に示すように、制御部23は、被写体画像110C上での主要被写体領域の輪郭106aの表示に加えて、被写体画像110Cの下方位置に、具体的には液晶モニタ24の下部に部分画像表示エリア190に主要被写体である人物106の拡大画像125を表示させる。画面の右上の表示エリア114には、主要被写体である人物106についての撮像条件の設定画面130Aが表示される。
制御部23は、各設定項目131の設定状態表示131bが変更されて、決定ボタン132が操作されると、撮像条件設定部23dは、変更後の撮像条件を人物106についての撮像条件として設定する。
その結果、制御部23は、被写体画像110Cにおける人物106、および拡大画像125における人物106が設定された撮像条件および画像処理条件に従って表示する。
図5(b)に示す状態で不図示のレリーズボタン、または撮像を指示するボタンが操作されると、制御部23は、主要被写体に対して撮像条件設定部23dによって設定された撮像条件および画像処理条件で撮像および画像処理された被写体画像データを生成し、メモリカード25に記録させる。なお、図示はしていないが、主要被写体が2つであり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合よりも小さい場合も同様である。
−−−情報端末装置10の姿勢が横位置の場合−−−
姿勢検出部29により情報端末装置10の姿勢が横位置であると判断された場合、制御部23は、たとえば、図6(a)に示すような被写体画像110Eを液晶モニタ24に表示する。以下の説明では、被写体の一例として、情報端末装置10の撮像範囲に、2人の人物101,102と、小動物103と、テーブル105A,105B,105Cと、食べ物として皿の上に置かれたケーキ104A,104Bとが存在していることとする。物体認識部23aは、2人の人物101,102と、小動物103と、テーブル105A,105B,105Cと、ケーキ104A,104Bとを被写体物体として認識し、重み付け設定部23bが8個の被写体物体の各々に所定の重み付けを行って各被写体物体にランク付けする。領域分割部23cがこのランク付けされた8個の被写体物体から、5個の被写体物体、すなわち人物101,102と小動物103とケーキ104A、104Bとを、主要被写体と決定する。
図6(b)は、主要被写体と決定された5個の被写体物体101、102、103、104A、104Bが点線でハイライト表示された被写体画像を含む液晶モニタ24の表示画面である。なお、図6(b)は、姿勢検出部29により情報端末装置10の姿勢が縦位置であると判断された場合における図3(b)に相当する図である。姿勢検出部29により情報端末装置10の姿勢が横位置と判断された場合、液晶モニタ24の左側の表示エリア146〜148には、5個の主要被写体のうちの3個の部分画像126〜128がそれぞれ表示される。画面の右側には、主要被写体の撮像条件の設定画面130が表示される。なお、表示エリア146、148の操作マーク115、116が操作されると、制御部23は、表示エリア146〜148に表示される3個の主要被写体の画像を残りの2個の主要被写体の部分画像に順次切り替える。
ここで、たとえば、図6(b)に示す状態で表示エリア148に表示されたケーキ104Aの画像128が選択されると、図6(c)に示すように、制御部23は、液晶モニタ24の左側の部分画像表示エリア149にケーキ104Aの拡大画像129を表示させる。これによりユーザーは、主要被写体であるケーキ104Aについての撮像条件を設定画面130から適宜変更することができる。ケーキ104Aの拡大画像129が表示されるので、拡大画像129の視認性が良好であり、ユーザーの所望の設定がし易くなる。
なお、制御部23は、撮像条件の設定対象となっているケーキ104Aの被写体画像110Dが部分画像表示エリア149,設定画面130に隠れないように、図6(d)に示すように、制御部23が被写体画像110Dの表示範囲を適宜変更するようにしてもよい。図6(d)に示すように、制御部23は、部分画像表示エリア149と設定画面130との間の被写体画像を表示する表示エリア152にケーキ104Aの被写体画像を表示するように、液晶モニタ24における被写体画像110Dの表示範囲を変更した例を示している。また、図6(d)に示すように、撮像条件の設定画面130の表示領域に被写体画像110Eが表示されないようにすることで、設定画面130の視認性を向上させてもよい。
表示エリア151の右下の決定ボタン132が操作されると、撮像条件設定部23dは、表示エリア151に表示された撮像条件をケーキ104Aについての撮像条件として設定する。その結果、被写体画像110Eにおけるケーキ104A、および、表示エリア149の拡大画像129におけるケーキ104Aが、設定された撮像条件および画像処理条件に従って表示される。その他の主要被写体に関する撮像条件および画像処理条件の設定も同様である。主要被写体に関する撮像条件および画像処理条件の設定後の被写体画像の表示およびレリーズ動作については、前述の例と同様である。なお、図6(c)において表示エリア149の拡大画像129が短時間に2回操作されると、液晶モニタ24の表示形態が図6(b)に示す状態に戻るようにしてもよい。
なお、主要被写体が1つであり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合以下である場合についての液晶モニタ24における表示形態も同様である。この場合、画面左側の拡大画像は、上下方向の中央に表示される。また、主要被写体が1つまたは2つなどの少数であり、かつ、その主要被写体が撮像範囲に占める割合が所定の割合より大きい場合についての液晶モニタ24における表示形態は、図4(a),図4(b)と同様の表示形態である。
−−−フローチャート−−−
図7は、上述した主要被写体ごとに撮像条件を設定して被写体像を撮像する処理についてのフローチャートである。情報端末装置10の電源がオンされると、図7に処理を示したプログラムが起動されて、制御部23で実行される。ステップS1で制御部23は、撮像用のアプリケーションプログラムを起動してステップS3へ進む。ステップS3で撮像制御部23fは、撮像素子22の撮像画素31の電荷蓄積時間および増幅率が全ての単位グループ32についてたとえば被写体輝度の輝度に基づいて決定される同一値となるように、撮像画素31を制御し、このように制御された撮像画素31からの撮像信号に基づく被写体画像を液晶モニタ24に表示される。
ステップS7で物体認識部23aは、被写体画像110として液晶モニタ24に表示されている被写体画像110から、被写体物体、すなわち被写体要素を認識または抽出してステップS9へ進む。物体認識部23aは、撮像素子22から出力された被写体画像110を示す画像データにより被写体物体、すなわち被写体要素を認識または抽出する。ステップS9で重み付け設定部23bは、物体認識部23aで抽出した被写体要素の重み付けを行ってステップS11へ進む。ステップS11で領域分割部23cは、物体認識部23aで抽出した各被写体要素のうち、重み付け設定部23bで設定された重要度が上位のものを所定数だけ、主要被写体として決定し、領域分割を行ってステップS15へ進む。
ステップS15で制御部23は、被写体画像上で主要被写体を明示的に表示、たとえば主要被写体の輪郭を点線で表示したりハイライト表示したりするよう各部を制御してステップS17へ進む。ステップS17で制御部23は、主要被写体が多数存在するか否かを判断する。なお、本実施の形態では、主要被写体の数が所定個数、たとえば3つ以上であれば、主要被写体が多数存在するものとする。ステップS17が肯定判断されるとステップS19で制御部23は、たとえば、図3(b)に示すように、被写体画像110Aや主要被写体の部分画像181等を液晶モニタ24に表示させてステップS21へ進む。ステップS21で制御部23は、ユーザーの操作に応じて各主要被写体についての撮像条件を設定してステップS23へ進む。なお、ステップS21におけるユーザーの操作に応じた液晶モニタ24の表示遷移や撮像条件の設定については、上述したとおりである。
ステップS23で制御部23は、ユーザーからの撮像指示があったか否か、すなわち、不図示のレリーズボタン、または撮像を指示するボタンが操作されたか否かを判断する。ステップS23が肯定判断されるとステップS25へ進み、ステップS23が否定判断されるとステップS21へ戻る。
ステップS25で制御部23は、各主要被写体については、上述したように主要被写体ごとに設定された撮像条件で撮像するよう撮像素子22を制御すると共に、上述のようにして撮像して得られた被写体画像の主要被写体に対して所定の画像処理を施して撮像画像データを生成し、メモリカード25に記録させる。
ステップS27で制御部23は、撮像を継続するか否かを判断する。たとえば、制御部23は、撮像用のアプリケーションプログラムを終了する指示がされたか否かを判断する。ステップS27で撮像を継続すると判断されるとステップS7へ戻り、撮像を終了すると判断されると、撮像用のアプリケーションプログラムを終了する。
ステップS17が否定判断されると、すなわち主要被写体の個数が1個または2個と判定されると、ステップS31へ進む。ステップS31で制御部23は、主要被写体が撮像範囲に占める割合が所定の割合よりも大きいか否かを判断する、すなわち主要被写体の画像が所定の大きさよりも大きいか否かを判定する。ステップS31が否定判断されると、すなわち、主要被写体が撮像範囲に占める割合が所定の割合以下である場合、ステップS19へ進む。
ステップS31が肯定判断されると、すなわち、主要被写体が撮像範囲に占める割合が所定の割合よりも大きい場合、ステップS35へ進む。ステップS35で制御部は、たとえば、図4(b)に示すように、被写体画像110Bや撮像条件の設定画面130を液晶モニタ24に表示させてステップS21へ進む。
上述した第1の実施の形態では、次の作用効果を奏する。
(1) 被写体画像内における主要被写体の領域を部分領域として分割し、主要被写体の部分画像や拡大画像と、被写体画像とを液晶モニタ24に表示するように構成した。これにより、ユーザーが主要被写体を容易に認識できるようになるので、利便性が向上するので、使い勝手のよい電子機器を提供することができる。
(2) 主要被写体の部分画像や拡大画像と、被写体画像とを液晶モニタ24に表示するとともに、部分画像に対応する撮像領域の撮像条件を手動設定できるように構成した。そして主要被写体に対応する撮像素子22の複数の単位グループ32の撮像条件を、手動設定された撮像条件に設定するように構成した。これにより、撮像領域ごとにユーザーが撮像条件を適切に設定するユーザーインターフェースを提供することができる。
(3) 制御部23が主要被写体領域を被写体画像に明示的に表示させるように構成した。これにより、主要被写体が液晶モニタ24上で小さく表示されていても、ユーザーが主要被写体を容易に認識できるようになるので、利便性が高い。
(4) 主要被写体の画像が、部分画像181として被写体画像とは別に液晶モニタ24に表示されるように構成した。これにより、主要被写体の画像の一覧性が向上して、ユーザーが撮像条件を変更しようとする主要被写体の選択がし易くなる。
(5) 主要被写体の画像が、拡大画像として被写体画像とは別に液晶モニタ24に表示されるように構成した。これにより、主要被写体の視認性が向上して、撮像条件が変更しやすくなるとともに、ユーザーが設定した撮像条件および画像処理条件の効果を確認し易くなる。
(6) 物体認識部23aが被写体画像110として液晶モニタ24に表示されている被写体画像から、特定の被写体物体を認識するように構成した。そして、物体認識部23aで検出した被写体物体のうち、重み付け設定部23bで重み付けされたランクが上位のものを主要被写体として決定して、撮像条件の手動設定の対象となるように構成した。これにより、物体認識部が多数の被写体物体を自動認識しても、主要被写体の個数を所定数に制限することができる。
(7) 主要被写体について、画像処理効果も変更可能に構成した。これにより、ユーザーが意図被写体画像質の被写体画像が容易に得られる。
−−−第2の実施の形態−−−
図8〜図9(b)を参照して、本発明の第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。第1の実施の形態の物体認識部23aは、被写体画像から自動的に所定の被写体物体を主要被写体として認識する、または、被写体画像から所定の被写体物体を主要被写体として認識する。すなわち、その被写体物体の領域または範囲を検出するものであった。第2の実施の形態の物体認識部23aは、ユーザーが被写体画像中の一点または一カ所を、主要被写体の一部として指定すると、その指定された箇所の被写体画像の色情報に基づき主要被写体の領域または範囲を自動的に検出する、または、その指定された箇所の被写体画像の色情報に基づき主要被写体の領域または範囲を検出するものである。
図8は、第2の実施の形態の情報端末装置10Aの構成を示すブロック図である。第2の実施の形態の情報端末装置10Aでは、重み付け設定部23bを備えていない点で、第1の実施の形態の情報端末装置10と異なる。その他については、第1の実施の形態の情報端末装置10と同じである。
図9(a)は、液晶モニタ24に表示された被写体画像110における人物101をユーザーが指161でタッチした状態を模式的に示す図である。本実施の形態では、図9(a)に示すようにユーザーが被写体画像110中の一点または一カ所を、主要被写体の一部として、選択すると、物体認識部23aは、その選択された箇所の被写体画像110の色情報に基づき、その色情報とほぼ同一の色情報を有する画像の領域または範囲を自動的に検出する。たとえば、ユーザーが図9(a)に示すように被写体画像110における人物101の顔の一部をタッチすると、物体認識部23aは、顔の肌色情報に基づき、肌色部分の広がりを検出することによって、人物101の顔領域を検出する。物体認識部23aは、ユーザーにより液晶モニタ24に表示された被写体画像110の一部の領域を指定されると、当該指定された領域を含む特定領域を主要被写体として認識する。たとえば、物体認識部23aは、ユーザーにより被写体画像110に表示された人物領域の一部が指定されると、当該人物領域を特定領域として認識する。また、物体認識部23aは、液晶モニタ24に複数の人物が被写体画像110として表示されている場合において、ユーザーにより1人の人物領域の一部が指定されたとき、複数の人物領域を特定領域として認識するようにしてもよい。すなわち、物体認識部23aは、ユーザーにより1つの領域が指定された場合であっても、たとえば、当該指定された領域の色情報または輝度情報や、当該指定された領域の被写体情報(人物、顔など)により、複数の領域を特定領域として認識してもよい。
物体認識部23aによって主要被写体の領域が検出されると、領域分割部23cは、被写体画像110A内で、主要被写体領域を区画する。これによって、制御部23は、図9(b)に示すように、被写体画像110A上に、点線で示したように人物の顔、すなわち主要被写体をハイライト表示させる。同様に、ユーザーが被写体画像110A上で、他の箇所をタッチすることによって、他の主要被写体の領域をその色情報に基づき検出して、それが被写体画像110A上に、ハイライト表示される。
これ以降の、主要被写体の撮像条件の設定画面130からの撮像条件の変更については、第1の実施の形態と同じであるので、詳細な説明を省略する。
上述した第2の実施の形態では、第1の実施の形態の作用効果に加えて、次の作用効果を奏する。
(1) 被写体画像の中の一点または一カ所を、主要被写体の一部として、ユーザーがタッチすると、主要被写体を自動的に検出するように構成した。これにより、ユーザーが主要被写体を任意に指定できるので、ユーザーが意図被写体画像質の被写体画像が容易に得られる。
−−−第3の実施の形態−−−
図10(a)〜図11(b)を参照して、本発明の第3の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1および第2の実施の形態と同じである。第3の実施の形態では、主に、被写体の範囲をユーザーが指示すると、指示された範囲内の被写体を主要被写体として設定する点で、第1および第2の実施の形態と異なる。
第3の実施の形態の情報端末装置10Aの構成は、図8に示した第2の実施の形態の情報端末装置10Aの構成と同じである。
図10(a)は、液晶モニタ24に表示された被写体画像110における人物101をユーザーが2本の指161でタッチした状態を模式的に示す図である。本実施の形態では、たとえば、図10(a)に示すように被写体画像110が液晶モニタ24に表示された状態で、液晶モニタ24の任意の2つの位置がユーザーによって指示されると、図10(b)に示すように、制御部23は、指示された2つの位置を対角線とする矩形状の枠171を液晶モニタ24に表示させる。
制御部23は、図10(c)に示すようにピンチアウト操作がされると枠171を拡大させ、図10(d)に示すようにピンチイン操作がされると枠171を縮小させる。また、2本の指161の相対位置が変化されると、指161でタッチされた位置に応じて枠171の縦横のアスペクト比を変更させる。また、制御部23は、枠171、または枠171の内側の領域が指161による長押し操作されることで枠171が選択され、そのまま指161が液晶モニタ24の表示面上を移動した場合、図10(e)に示すように、指161の動きに応じて枠171の位置を移動させる。
また、制御部23は、図11(a)に示すように、液晶モニタ24の表示面が1本の指161でタッチされ、そのままその指161が表示面上を矢印Aの方向になぞられたと判断すると、なぞられた軌跡に沿った線172を液晶モニタ24に表示させる。そのまま、図11(b)の矢印Bのように指161で液晶モニタ24の表示面がなぞられると、制御部23は、指161の軌跡に沿って線172を表示させる。そして、線172の始点と指161の軌跡とが重なると、制御部23は、閉じられた線172を枠171として設定する(不図示)。なお、制御部23は、線172の始点と指161の軌跡とが重なる前に指161が液晶モニタ24の表示面から離れても、始点と指161が離れた位置との距離が近ければ、自動的に線172を閉じて枠171として設定する。
このようにして枠171が指定されると、物体認識部23aは、液晶モニタ24に表示されている被写体画像110から、枠171内の被写体物体を検出する。そして、領域分割部23cは、物体認識部23aで検出した被写体物体を主要被写体として決定し、被写体画像110内の主要被写体の位置、すなわち主要被写体の領域を、主要被写体領域として、特定または区画する。これ以降の、主要被写体の撮像条件の設定画面130からの撮像条件の変更については、第1の実施の形態と同じであるので、詳細な説明を省略する。
上述した第3の実施の形態では、第1および第2の実施の形態の作用効果に加えて、次の作用効果を奏する。
(1) 液晶モニタ24の表示面へのタッチによって枠171や線172を描けるように構成した。そして、枠171や線172で指定した領域内の被写体物体を検出するように構成した。これにより、ユーザーが意図するように主要被写体を指定できるので、ユーザーが意図する被写体画像が容易に得られる。
−−−変形例−−−
(1) 上述の説明では、物体認識部23aが特定の被写体物体を認識するように構成することで、主要被写体の輪郭の内側の領域に対して撮像条件の変更が可能となるように構成した。しかし、本発明はこれに限定されない。たとえば、上述した第3の実施の形態における枠171内の領域全体の撮像条件が変更可能となるように構成してもよい。
(2) 液晶モニタ24の画面の大きさに応じて表示形態を変えてもよい。たとえば、タブレット端末装置のように画面サイズが大きい場合、スマートフォンのような端末装置に比べて主要被写体が大きく表示されるので、たとえば、よほど小さい主要被写体でない限り拡大画像の表示をしなくてもよい。換言すると、制御部23は、表示される主要被写体の大きさが所定の大きさか否かを判断し、その判断結果に応じて、表示形態を制御するようにしてもよい。
(3) 被写体の種類に応じて撮像条件の設定項目131の表示順序を変更するように構成してもよい。たとえば、主要被写体が人物であれば、人物の明るさに関しての設定を変更する可能性が高いので、制御部23は、設定項目131として、明るさの変更に関する設定項目を優先的に表示するように構成してもよい。これにより、設定変更の操作性が向上する。
(4) 上述の説明では、液晶モニタ24がタッチパネル式の表示装置であり、操作部26の一部を構成しているが、本発明はこれに限定されない。たとえば、操作部26に、操作キーや操作ダイヤル、マウス等の操作装置を設け、液晶モニタ24の表示画面中のカーソルやポインタ等を所望の位置に移動させることによって表示画面上の任意の位置を指示できるようしてもよい。
(5) 主要被写体の拡大画像を表示する場合などに、被写体画像を表示する領域のアスペクト比が元の被写体画像とは異なる場合があるが、この場合には、縮小して被写体画像全体を表示するようにしてもよく、被写体画像から適宜画像をトリミングして表示するようにしてもよい。
(6) 上述の説明では、撮像条件の設定項目131の一例として、たとえば、「シャッタースピード」、「ISO感度」、「フレームレート」、「画像処理効果」を挙げているが、これらはあくまでも例示であって、本発明はこれに限定されない。たとえば、撮像条件としての「シャッタースピード」、「ISO感度」および「フレームレート」の少なくともいずれか1つが設定項目131に含まれていればよい。また、たとえば、画像処理条件としての「画像処理効果」が設定項目131に含まれていなくてもよい。上記以外の他の項目を設定項目131として含んでいてもよい。
(7) 上述の説明では、情報端末装置10が、たとえばタブレット型の情報端末装置のように、厚さが薄く、前面に大型の液晶モニタが設けられ、背面側に撮像光学系を備えた装置であるとしているが、本発明はこれに限定されない。たとえば、情報端末装置10が撮像装置、すなわち、レンズ一体型のカメラであってもよく、交換レンズをカメラボディに着脱可能なレンズ交換式のカメラであってもよい。
(8) 上述の説明では、撮像素子22と制御部23とを有する単一の電子機器である情報端末装置10について説明したが、本発明はこのような実施形態に限定されない。たとえば、外部に設けられた撮像素子22を制御する電子機器にも本発明を適用することができる。以下、撮像素子22を外部に設ける形態について詳述する。
図12は、本変形例に係る撮像システムの構成を模式的に示すブロック図である。図12に示す撮像システム1000は、撮像ユニット1001と、電子機器1002とから成る。撮像ユニット1001は、第1の実施の形態で説明した撮影光学系21と撮像素子22とを備え、さらに、第1通信部1003を備えている。また、電子機器1002は、第1の実施の形態で説明した制御部23、液晶モニタ24、メモリカード25、操作部26、DRAM27、フラッシュメモリ28、および姿勢検出部29を備え、さらに、第2通信部1004を備えている。第1通信部1003および第2通信部1004は、たとえば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。また、撮像ユニット1001と電子機器1002とが有線ケーブル等による有線接続により、第1通信部1003および第2通信部1004は、双方向のデータ通信を行う構成であってもよい。
本変形例に係る撮像システム1000では、制御部23は、第2通信部1004および第1通信部1003を介したデータ通信により、撮像素子22の制御を行う。たとえば、所定の制御データを撮像ユニット1001との間で送受信することにより、単位グループ32ごとに異なる撮像条件を設定したり、各々の単位グループ32から撮像信号を読み出したりする。
以上に述べたように、撮像システム1000において、単位グループ32ごとの制御を行っているのは、制御部23である。電子機器1002は、撮像素子22を備えていないが、電子機器1002の外部に設けられた撮像素子22(撮像ユニット1001)を制御することにより、第1の実施の形態と同様の制御を行う。つまり、本発明は、撮像素子22を有していない電子機器に適用することが可能である。
(9) 上述した拡大画像の表示形態は一例であり、本発明はこれに限定されない。たとえば図13(a)に示すように、主要被写体(人物101)の横に吹き出し201を表示させ、吹き出し201の中に主要被写体の拡大画像を表示するようにしてもよい。なお、吹き出しの位置は、主要被写体の横に限らず、上下であってもよく、斜めの位置であってもよい。また吹き出しの形状も、図13(a)に示すような矩形でなくてもよく、円形でも多角形でもよい。また、吹き出しの輪郭線を表示しなくてもよい。また、主要被写体の拡大画像とともに、または、主要被写体の拡大画像に代えて、主要被写体に対して現在設定されている撮像条件を示す画像を表示してもよい。
(10) 各設定項目131の設定を変更するためのスライドバーとして、たとえば、図13(b)に示すように、主要被写体を拡大表示するための吹き出し201の輪郭線に沿ってスライダ(つまみ)201aを動かすようなものを表示させてもよい。図13(b)に示す例では、円形の吹き出し201の輪郭線に沿って目盛り線201bを設けている。そして、ユーザーがスライダ201aを吹き出し201の輪郭線に沿って動かすことで、所定の設定項目131の設定値が変更できるように構成してもよい。なお、図13(b)では、主要被写体の図示を省略している。また、スライドバーおよびスライダ201aは、吹き出し201とともに、または、吹き出し201に代えて表示させてもよい。
(11) 被写体画像中で主要被写体を明示的に表示させる表示形態のその他の例として、主要被写体が、画面から浮き出して見えるように表示させてもよい。図14(a)は、液晶モニタ24に被写体画像110が表示されている例を示す図である。たとえば、この被写体画像101の中の主要被写体である人物101の画像を、図14(b)に示す人物101の画像101bのように、僅かに(たとえば1.2倍程度に)拡大して表示させるなどして、人物101が画面から浮き出して見えるようにしてもよい。
(12) 上述の説明では、部分画像181や拡大画像の表示エリアと、被写体画像の表示エリアとが直線で区切られているが、本発明はこれに限定されず、たとえば曲線で区切ってもよい。
(13) たとえば、図15(a)に示すように、被写体画像110中の主要被写体である人物101の画像がタッチされると、人物101の画像の周囲に撮像条件の設定項目を選択するためのアイコン202を表示させるようにしてもよい。また、図15(b)に示すように、被写体画像110中の主要被写体である人物101の画像がタッチされると、人物101の画像の周囲に撮像条件の各設定項目の設定を変更するためのスライドバー203を表示させるようにしてもよい。このようにすることで、主要被写体に対しての直接的に撮像条件の設定変更が可能となる。この場合、スライドバー203により主要被写体に対して現在設定されている撮像条件が表示されていてもよい。
(14) たとえば、図16に示すように撮像条件を変更しようとしている主要被写体領域が被写体画像110内のどこであるのかを示す図204を被写体画像110とともに表示させるようにしてもよい。すなわち、図16に示すように、液晶モニタ24のたとえば右上の領域に、撮像条件の変更対象となる主要被写体領域を示す図(領域表示図)204を表示させてもよい。図16に示す例では、たとえば、情報端末装置10の撮像範囲に、テーブル105と、皿の上に置かれたケーキ104と、小箱109とが存在していることとする。皿の上に置かれたケーキ104と小箱109はテーブル105の上に置かれているものとする。そして、撮像条件を変更しようとしている主要被写体領域、すなわち、撮像条件の変更対象となる主要被写体がテーブル105であるものとする。
領域表示図204では、被写体画像110における背景部分108に対応する領域や、被写体画像110におけるテーブル105以外の領域に対応する領域が、たとえばマスキングされたり、暗く表示されたりするなどしている。これにより、領域表示図204では、撮像条件の変更対象となるテーブル105が他の領域と比べて明示的に表示される。したがってユーザーは、領域表示図204を視認することで撮像条件を変更しようとしている主要被写体がテーブル105であることを容易に認識できる。領域表示図204の下方に表示されたスライドバー203を操作することで、テーブル105についての撮像条件を変更できる。この場合、スライドバー203により主要被写体に対して現在設定されている撮像条件が表示されていてもよい。
(15) たとえば、図17に示すように、2つの表示エリアに194,195のうち、一方(たとえば表示エリア194)に、撮像条件の設定を変更する前の主要被写体(人物101)の画像を表示させ、他方(たとえば表示エリア195)に、撮像条件の設定を変更した後の主要被写体(人物101)の画像を表示させるように構成してもよい。このように構成することで、たとえば、シャッタースピードやISO感度などの設定変更による画像の繊細な変化の具合を設定変更の前後の画像で確認できる。
(16) たとえば、図18に示すように、モチーフごとに主要被写体を設定するためのアイコンを被写体画像110とともに液晶モニタ24に表示させ、当該アイコンが選択されると、当該アイコンに対応するモチーフと一致する被写体が主要被写体として設定されるように構成してもよい。図18では、液晶モニタ24の画面下側に、モチーフごとに主要被写体を設定するためのアイコン205a,205b,205cが表示されている。
たとえば、アイコン205aがタッチされると、制御部23は、被写体画像110中の人物106,107を主要被写体として設定するよう各部を制御する。たとえば、アイコン205bがタッチされると、制御部23は、被写体画像110中の車両206を主要被写体として設定するよう各部を制御する。たとえば、アイコン205cがタッチされると、制御部23は、被写体画像110中の背景部分108を主要被写体として設定するよう各部を制御する。このように構成することで、モチーフごとの主要被写体の設定や撮像条件の変更が容易となる。
(17) たとえば、図19に示すように、被写体画像110中の人物を個人ごとに主要被写体として設定するためのアイコンを被写体画像110とともに液晶モニタ24に表示させ、当該アイコンが選択されると、当該アイコンに対応する人物が主要被写体として設定されるように構成してもよい。図19では、液晶モニタ24の画面下側に、個人ごとに主要被写体を設定するためのアイコン221〜223が表示されている。
すなわち、制御部23は、被写体画像として表示された被写体画像から人の顔を検出するよう各部を制御する。そして、人の顔が検出されると、検出した顔の画像に基づいて、その人を主要被写体として設定するためのアイコンを生成して液晶モニタ24に表示させる。図19に示す例では、制御部23は、被写体画像として表示された被写体画像から3人の人物211〜213の顔を検出する。そして、各人物211〜213の顔の画像に基づいて、アイコン221〜223を生成して液晶モニタ24に表示させる。
たとえば、制御部23は、人物211に対応するアイコン221がタッチされると、被写体画像110中の人物211を主要被写体として設定するよう各部を制御する。たとえば、制御部23は、人物212に対応するアイコン222がタッチされると、被写体画像110中の人物212を主要被写体として設定するよう各部を制御する。たとえば、制御部23は、人物213に対応するアイコン223がタッチされると、被写体画像110中の人物213を主要被写体として設定するよう各部を制御する。このように構成することで、被写体画像110中の人物を個人ごとに主要被写体として設定するか否かの選択が容易となる。
(18) 上述の説明では、姿勢検出部29により検出された情報端末装置10の姿勢と、被写体画像との表示方向とを同じである、つまり姿勢検出部29により情報端末装置10の姿勢が横位置であれば被写体画像の表示方向は横位置であるとして、説明を行ったが、これに限定されない。たとえ、姿勢検出部29により情報端末装置10の姿勢が横位置と検出されたとしても、ユーザーが予め被写体画像の表示方向を縦位置とする設定を行っていた場合、制御部23は、被写体画像の表示方向を縦位置方向とし、以降の制御を行うようにする。
(19) 上述の説明では、部分領域としての分割の最小単位について特に言及していなかったが、たとえば、部分領域としての分割の最小単位を1つの単位グループ32としてもよく、たとえば、1画素としてもよい。
(20) 上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
−−−第4の実施の形態−−−
図20は、本発明の第4の実施の形態に係る撮像装置の構成を示すブロック図である。撮像装置3010は、レンズ一体型のカメラである。撮像装置3010は、撮像光学系21と、撮像素子22と、制御部33と、液晶モニタ24と、メモリカード25と、操作部26と、DRAM27と、フラッシュメモリ28と、録音部34とを備える。
撮像光学系21、撮像素子22、液晶モニタ24、メモリカード25、操作部26、DRAM27およびフラッシュメモリ28については、第1の実施の形態と同じであるので、説明を省略する。
制御部33は、撮像素子22から出力された撮像信号に基づき、後述する画像ファイルを作成し、着脱可能な記録媒体であるメモリカード25に画像ファイルを記録する。操作部26は、プッシュボタン等の種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部33に操作信号を出力する。録音部34は、例えばマイクロフォン等により構成され、環境音を音声信号に変換して制御部33に入力する。
次に、制御部33が実行する撮像処理について、順に説明する。
(1)予備撮像
制御部33は、本撮像に先立って、予備的な撮像を行う。以下の説明では、この予備的な撮像を予備撮像と称する。予備撮像において、制御部33は、単位グループ32ごとの撮像条件を、周知の自動露出制御により決定した所定の撮像条件とする。予備撮像により、被写体画像が1つ得られる。
(2)最暗部と最明部と主要部の特定
制御部33は、予備撮像により得られた被写体画像から、単位グループ32ごとの被写体輝度、すなわち、被写体の輝度分布を測定する。以下、図21を参照して説明する。
いま、図21(a)に模式的に示す被写体を撮像するものとする。図21(a)に示す撮像画面1100には、人物1104と、建物1102と、地面1101と、空1103と、太陽1105とが写り込んでいる。また、地面1101には、建物1102の影1106が存在する。この被写体を予備撮像により撮像して得られた被写体の輝度分布の例を図21(b)に示す。図21(b)に示した輝度分布マップ67は、小さな四角形1つが、1つの単位グループ32を表している。また、四角形の中に記載された数値が、1つの単位グループ32において検出された輝度値(Bv値)を表している。
制御部33は、図21(b)に例示した被写体の輝度分布マップ67から、被写体の最も暗い部分(最暗部)と、被写体の最も明るい部分(最明部)を特定する。図21(b)では、建物1102の影1106が位置する領域1109において、「4」という最小の輝度値が検出されている。つまり、図21(a)に例示した被写体の最暗部は、影1106が位置する領域1109である(以下、最暗部1109と表記する)。また、図21(b)では、太陽1105が位置する領域1108において、「8」という最大の輝度値が検出されている。つまり、図21(a)に例示した被写体の最明部は、太陽1105が位置する領域1108である(以下、最明部1108と表記する)。
次に、制御部33は、予備撮像により得られた被写体画像に対して、所定の主要被写体検出処理を実行する。主要被写体検出処理は、例えばいわゆる顔認識技術により被写体人物の顔を検出し、その被写体人物が存在する位置および範囲を特定する処理である。例えば図21(a)に示す被写体では、まず人物1104の顔1107が検出され、これに基づき、人物1104が位置する領域1110が特定される。ここで検出された人物1104が存在する領域1110を、被写体の主要部と称する(以下、主要部1110と表記する)。
なお、上述した顔認識技術に基づく被写体人物を検出する処理以外の処理を、主要被写体検出処理としてもよい。例えば、撮像光学系21のピント位置や被写体の色情報等に基づき被写体の主要部を特定してもよい。また、周知の特徴量検出やパターンマッチング等の技術により、被写体の主要部を特定してもよい。あるいは、最暗部1109と最明部1108以外の全ての部分を主要部とみなしてもよい。
また、上述した実施の形態では、制御部33は、最明部1108、最暗部1109、主要部1110をそれぞれ特定したが、被写体画像によっては主要部1110が最明部1108となる場合や、主要部1110が最暗部1109となる場合がある。たとえば、逆光シーンにおいては、主要被写体が暗くなり主要部1110と最暗部1109とが同じ領域となる。このような場合は、制御部33は、最明部1108、最暗部1109、主要部1110の3つを特定することはせず、主要部1110(=最明部1108)と最暗部1109の2つ、もしくは、主要部1110(=最暗部1109)と最明部1108の2つを特定するようにすればよい。
(3)黒つぶれと白飛びの検出
次に、制御部33は、最暗部1109に黒つぶれが存在するかを調べる。換言すると、制御部33は、最暗部1109に属する単位グループ32のうち、いずれかの単位グループ32において、予備撮像により得られた被写体画像の輝度値(画素値)が所定の下限値を下回ったか否かを判定する。
同様に、制御部33は、最明部1108に白飛びが存在するかを調べる。換言すると、制御部33は、最明部1108に位置する単位グループ32のうち、いずれかの単位グループ32において、予備撮像により得られた被写体画像の輝度値が所定の上限値を上回ったか否かを判定する。例えば輝度値が0〜255の整数で表現される場合、下限値を1、上限値と254と設定する。
制御部33による黒つぶれと白飛びの検出結果は、(A)黒つぶれも白飛びも存在しない、(B)黒つぶれが存在し白飛びは存在しない、(C)白飛びが存在し黒つぶれは存在しない、(D)黒つぶれも白飛びも存在する、のいずれかになる。
(4)初期条件の設定
制御部33は、黒つぶれと白飛びの検出結果に基づき、本撮像において最暗部1109に属する単位グループ32に設定される撮像条件の初期値(初期条件)と、本撮像において最明部1108に属する単位グループ32に設定される撮像条件の初期値(初期条件)と、本撮像において主要部1110に属する単位グループ32に設定される撮像条件の初期値(初期条件)とを決定する。制御部33による初期条件の決定方法については、後に詳述する。
(5)撮像条件の変更操作の受付
次に制御部33は、液晶モニタ24に、予備撮像により得られた被写体画像を表示する。そして、ユーザーに、単位グループ32ごとの撮像条件を、上述した初期条件から変更する機会を与える。具体的には、不図示の操作部材に対する所定の変更操作を受け付ける。
本実施形態では、操作が煩雑にならないように、主要部1110の撮像条件についてのみ変更操作を受け付ける。換言すると、ユーザーが明示的に変更可能であるのは、主要部1110の撮像条件のみである。最暗部1109と最明部1108の撮像条件は、基本的に、主要部1110の撮像条件の変更操作に応じて制御部33により自動的に変更される。つまり、最暗部1109と最明部1108の撮像条件は、主要部1110の撮像条件に連動する。制御部33による撮像条件の変更方法については、後に詳述する。
制御部33は、液晶モニタ24に表示される被写体画像において、主要部1110を強調表示する。例えば、主要部1110を囲む破線を表示したり、主要部1110を点滅表示したりする。また、最暗部1109、最明部1108、および主要部1110の少なくとも1つの撮像条件が変更されると、液晶モニタ24に、その撮像条件の変更を反映した被写体画像を表示する。換言すると、撮像条件の変更を、液晶モニタ24に反映する。例えば、主要部1110の撮像条件が、主要部1110がより明るく撮像されるような撮像条件に変更された場合、液晶モニタ24に表示される被写体画像において、主要部1110がより明るく表示される。
(6)本撮像
撮像条件を所望の値(条件)に設定したユーザーが、不図示の操作部材に対して所定の撮像操作(例えばレリーズスイッチの全押し操作)を行うと、制御部33は撮像素子22に被写体像の撮像を行わせ、被写体の画像データを作成する(本撮像)。このとき、最暗部1109に属する単位グループ32と、最明部1108に属する単位グループ32と、主要部1110に属する単位グループ32と、にはそれぞれ独立に撮像条件が設定される。制御部33は、本撮像により作成した画像データを、例えばメモリカード25に記録したり、液晶モニタ24に表示したりする。
以上が、制御部33による撮像処理である。なお、以上で説明した撮像条件は、例えばシャッタースピード、ISO感度、絞り値等、露出条件であってもよいし、動画のフレームレート等の撮像条件であってもよい。
次に、上述した撮像処理のうち、(4)初期条件の設定と、(5)撮像条件の変更操作の受付について、(3)黒つぶれと白飛びの検出の結果ごとに場合分けを行って説明する。
(A)黒つぶれも白飛びも存在しない場合(通常画像)
図22(a)に、黒つぶれも白飛びも存在しない場合の単位グループ32ごとの輝度のヒストグラムを示す。図22(a)において、横軸は輝度(画素値)、縦軸はその輝度を有する単位グループ32の個数(頻度)を表している。なお、図22(a)では、最暗部1109に属する単位グループ32の集合1121と、最明部1108に属する単位グループ32の集合1123と、主要部1110に属する単位グループ32の集合1122とを模式的に図示している。
なお、集合1121、1122、1123は、図22(a)ではそれぞれの輝度が重ならないように図示しているが、たとえば、それぞれの集合1121、1122、1123の輝度値が幅を持っていたり、最暗部1109の集合110と主要部輝度の集合1122との輝度差があまりなかったりした場合等には、集合1121、1122、1123とが重なるようなこともある。このような場合であっても、後述するように、制御部33は、集合1121、1122、1123をそれぞれ独立して、輝度軸の左右方向に変更できる。
黒つぶれも白飛びも存在しない、つまり、画面全体の輝度が所定の範囲内(下限値〜上限値の範囲内)に収まっている場合、以上の3つの集合1121、1122、1123は、全て、所定の下限値1120と所定の上限値1130に収まることになる。この場合、制御部33は、最暗部1109と最明部1108と主要部1110の初期条件を、予備撮像と同一の撮像条件、つまり、制御部33により決定される所定の撮像条件に設定する。例えば、シャッタースピード(電荷蓄積時間)、絞り値、ISO感度(増幅率)等の露出条件を、自動露出制御により決定した所定の露出条件に設定する。
ユーザーが、主要部1110の撮像条件を、主要部1110が暗くなる(主要部1110の輝度が低くなる)ように変更する変更操作(例えば、主要部1110のシャッタースピードを速くする操作)を行うと、制御部33は、最暗部1109の集合1121と主要部1110の集合1122との輝度差D1が保たれるように、最暗部1109の撮像条件を変更する。つまり、最暗部1109の撮像条件を、最暗部1109がより暗く撮像されるような撮像条件(例えば、より高速なシャッタースピード)に変更する。換言すると、図22(a)において、ユーザーが主要部1110の集合1122を輝度軸の左方向に動かそうとすると、制御部33は、これに連動して、最暗部1109の集合1121を輝度軸の左方向に動かす。すなわち、制御部33は、主要部1110の撮像条件を変更する操作をユーザーから受け付けると、主要部1110の撮像条件と最暗部1109の撮像条件を変更する。制御部33は、主要部1110の撮像条件を変更することにより、最暗部1109の撮像条件を変更する。
ただし、制御部33は、最暗部1109の輝度が所定の下限値1120を下回らないように最暗部1109の撮像条件を変更する。つまり、制御部33は、最暗部1109の輝度が所定の下限値1120に達したところで最暗部1109の撮像条件の変更を停止(禁止)する。換言すると、図22(a)において、ユーザーが主要部1110の集合1122を輝度軸の左方向に動かそうとしたとき、最暗部1109の集合1121が所定の下限値1120を超えてしまう場合には、制御部33は主要部1110の集合1122のみを輝度軸の左方向に移動させ、最暗部1109の集合1121は下限値1120で停止したまま移動させない。この場合、最暗部1109の集合1121と主要部1110の集合1122との輝度差D1は変化する。
更に、制御部33は、主要部1110の輝度が所定の下限値1120を下回らないように主要部1110の撮像条件を変更する。つまり、制御部33は、主要部1110の輝度が所定の下限値1120に達したところで、主要部1110の撮像条件の変更を停止する。換言すると、図22(a)において、ユーザーが主要部1110の集合1122を輝度軸の左方向に動かそうとしたとき、主要部1110の集合1122が所定の下限値1120を超えてしまう場合には、制御部33は主要部1110の集合1122を停止したまま移動させない。
なお、上述した主要部1110が暗くなる(主要部1110の輝度が低くなる)ように変更する変更操作において、最明部1108の撮像条件は変更されない。換言すると、図22(a)において、ユーザーが主要部1110の集合1122を輝度軸の左方向に動かそうとしたとき、最明部1108の集合1123は停止したまま移動しない。
また、ユーザーが、主要部1110の撮像条件を、主要部1110が明るくなる(主要部1110の輝度が高くなる)ように変更する変更操作(例えば、主要部1110のシャッタースピードを遅くする操作)を行うと、制御部33は、最明部1108の集合1123と主要部1110の集合1122との輝度差が保たれるように、最明部1108の撮像条件を変更する。つまり、最明部1108の撮像条件を、最明部1108がより明るく撮像されるような撮像条件(例えば、より低速なシャッタースピード)に変更する。換言すると、図22(a)において、ユーザーが主要部1110の集合1122を輝度軸の右方向に動かそうとすると、制御部33は、これに連動して、最明部1108の集合1123を輝度軸の右方向に動かす。すなわち、制御部33は、主要部1110の撮像条件を変更する操作をユーザーから受け付けると、主要部1110の撮像条件と最明部1108の撮像条件を変更する。制御部33は、主要部1110の撮像条件を変更することにより、最明部1108の撮像条件を変更する。
ただし、制御部33は、最明部1108の輝度が所定の上限値1130を上回らないように最明部1108の撮像条件を変更する。つまり、制御部33は、最明部1108の輝度が所定の上限値1130に達したところで、最明部1108の撮像条件の変更を停止する。換言すると、図22(a)において、ユーザーが主要部1110の集合1122を輝度軸の右方向に動かそうとしたとき、最明部1108の集合1123が所定の上限値1130を超えてしまう場合には、制御部33は主要部1110の集合1122のみを輝度軸の右方向に移動させ、最明部1108の集合1123は停止したまま移動させない。この場合、最明部1108の集合1123と主要部1110の集合1122との輝度差D2は変化する。
更に、制御部33は、主要部1110の輝度が所定の上限値1130を上回らないように主要部1110の撮像条件を変更する。つまり、制御部33は、主要部1110の輝度が所定の上限値1130に達したところで主要部1110の撮像条件の変更を停止する。換言すると、図22(a)において、ユーザーが主要部1110の集合1122を輝度軸の右方向に動かそうとしたとき、主要部1110の集合1122が所定の上限値1130を超えてしまう場合には、制御部33は主要部1110の集合1122を停止したまま移動させない。
上述した主要部1110が明るくなる(主要部1110の輝度が高くなる)ように変更する変更操作において、最暗部1109の撮像条件は変更されない。換言すると、図22(a)において、ユーザーが主要部1110の集合1122を輝度軸の右方向に動かそうとしたとき、最暗部1109の集合1121は停止したまま移動しない。
なお、主要部1110の撮像条件の変更に応じて、制御部33が、最暗部1109の撮像条件を変更するようにしてもよい。例えば、最暗部1109に高感度ノイズが一定量以上発生すると考えられる場合には、ノイズがなくなるように最暗部1109の撮像条件を変更してもよい。
(B)黒つぶれが存在し白飛びが存在しない場合(黒つぶれ画像)
図22(b)に、黒つぶれが存在し白飛びが存在しない場合の単位グループ32ごとの輝度のヒストグラムを示す。黒つぶれが存在し白飛びが存在しない、つまり、最明部1108と主要部1110の輝度が所定の範囲内(下限値〜上限値の範囲内)に収まっているが、最暗部1109の輝度がその範囲を逸脱している場合、最明部1108の集合1123と主要部1110の集合1122aは所定の下限値1120と所定の上限値1130に収まり、最暗部1109の集合1121aは少なくとも一部が所定の下限値1120を超えて左に位置することになる。この場合、制御部33は、最明部1108の初期条件を、予備撮像と同一の撮像条件、つまり、自動露出制御により決定される所定の撮像条件所定の撮像条件に設定する。
制御部33は、最暗部1109の初期条件を、黒つぶれが存在しない撮像条件に設定する。つまり、自動露出制御により決定される所定の撮像条件よりも、最暗部1109が明るく撮像されるような撮像条件に設定する。これにより、図22(b)に示した最暗部1109の集合1121aは、所定の下限値1120に隣接する、所定の下限値1120よりも右側の位置に移動することになる(図22(b)中に実線で示す集合1121)。
また、制御部33は、主要部1110の初期条件を、最暗部1109の初期条件と最明部1108の初期条件に応じた撮像条件に設定する。具体的には、自動露出制御により決定される所定の撮像条件における最暗部1109の輝度の最頻値と主要部1110の輝度の最頻値との差の絶対値をD1、同撮像条件における主要部1110の輝度の最頻値と最明部1108の輝度の最頻値との差の絶対値をD2、自動露出制御により決定される所定の撮像条件における最暗部1109の輝度の最頻値と上述した初期条件における最暗部1109の輝度の最頻値との差の絶対値をdaとするとき、次式(1)により定義されるD3だけ主要部1110の輝度が大きくなる(明るくなる)ような撮像条件を、主要部1110の初期条件に設定する。
D3=(da×D2)/(D1+D2) ・・・(1)
つまり、自動露出制御により決定される所定の撮像条件における最暗部1109の輝度と主要部1110の輝度と最明部1108の輝度との相対的な関係が保たれたままで黒つぶれがなくなるように、最暗部1109と主要部1110の初期条件を設定する。これにより、図5に示した主要部1110の集合1122aは、輝度軸の右方向にD3だけ移動することになる(図22(b)中に実線で示す集合1122)。
ユーザーが、主要部1110の撮像条件を、主要部1110が暗くなる(主要部1110の輝度が低くなる)ように変更する変更操作を行うと、制御部33は、最明部1108の集合1123と主要部1110の集合1122との輝度差D2’が保たれるように、最明部1108の撮像条件を変更する。つまり、最明部1108の撮像条件を、最明部1108がより暗く撮像されるような撮像条件に変更する。換言すると、図22(b)において、ユーザーが主要部1110の集合1122を輝度軸の左方向に動かそうとすると、制御部33は、これに連動して、最明部1108の集合1123を輝度軸の左方向に動かす。すなわち、制御部33は、主要部1110の撮像条件を変更する操作をユーザーから受け付けると、主要部1110の撮像条件と最明部1108の撮像条件を変更する。制御部33は、主要部1110の撮像条件を変更することにより、最明部1108の撮像条件を変更する。
ただし、制御部33は、主要部1110の輝度が所定の下限値1120を下回らないように主要部1110の撮像条件を変更する。つまり、制御部33は、主要部1110の輝度が所定の下限値1120に達したところで主要部1110の撮像条件の変更を停止(禁止)する。換言すると、図22(b)において、ユーザーが主要部1110の集合1122を輝度軸の左方向に動かそうとしたとき、主要部1110の集合1122が所定の下限値1120を超えてしまう場合には、制御部33は主要部1110の集合1122を停止したまま移動させない。
また、ユーザーが、主要部1110の撮像条件を、主要部1110が明るくなる(主要部1110の輝度が高くなる)ように変更する変更操作を行うと、制御部33は、最明部1108の集合1123と主要部1110の集合1122との輝度差が保たれるように、最明部1108の撮像条件を変更する。つまり、最明部1108の撮像条件を、最明部1108がより明るく撮像されるような撮像条件に変更する。換言すると、図22(b)において、ユーザーが主要部1110の集合1122を輝度軸の右方向に動かそうとすると、制御部33は、これに連動して、最明部1108の集合1123を輝度軸の右方向に動かす。すなわち、制御部33は、主要部1110の撮像条件を変更する操作をユーザーから受け付けると、主要部1110の撮像条件と最明部1108の撮像条件を変更する。制御部33は、主要部1110の撮像条件を変更することにより、最明部1108の撮像条件を変更する。
ただし、制御部33は、最明部1108の輝度が所定の上限値1130を上回らないように最明部1108の撮像条件を変更する。つまり、制御部33は、最明部1108の輝度が所定の上限値1130に達したところで最明部1108の撮像条件の変更を停止する。換言すると、図22(b)において、ユーザーが主要部1110の集合1122を輝度軸の右方向に動かそうとしたとき、最明部1108の集合1123が所定の上限値1130を超えてしまう場合には、制御部33は主要部1110の集合1122のみを輝度軸の右方向に移動させ、最明部1108の集合1123は停止したまま移動させない。この場合、最明部1108の集合1123と主要部1110の集合1122との輝度差D2’は変化する。
更に、制御部33は、主要部1110の輝度が所定の上限値1130を上回らないように主要部1110の撮像条件を変更する。つまり、制御部33は、主要部1110の輝度が所定の上限値1130に達したところで主要部1110の撮像条件の変更を停止する。換言すると、図22(b)において、ユーザーが主要部1110の集合1122を輝度軸の右方向に動かそうとしたとき、主要部1110の集合1122が所定の上限値1130を超えてしまう場合には、制御部33は主要部1110の集合1122を停止したまま移動させない。
なお、以上の変更操作において、最暗部1109の撮像条件は変更されない。換言すると、図22(a)において、ユーザーが主要部1110の集合1122を輝度軸の左右どちらの方向に動かそうとした場合であっても、最暗部1109の集合1121は移動しない。
(C)白飛びが存在し黒つぶれが存在しない場合(白飛び画像)
図22(c)に、白飛びが存在し黒つぶれが存在しない場合の単位グループ32ごとの輝度のヒストグラムを示す。白飛びが存在し黒つぶれが存在しない、つまり、最暗部1109と主要部1110の輝度が所定の範囲内(下限値〜上限値の範囲内)に収まっているが、最明部1108の輝度がその範囲を逸脱している場合、最暗部1109の集合1121と主要部1110の集合1122aは所定の下限値1120と所定の上限値1130に収まり、最明部1108の集合1123aは少なくとも一部が所定の上限値1130を超えて右に位置することになる。この場合、制御部33は、最暗部1109の初期条件を、予備撮像と同一の撮像条件、つまり、自動露出制御により決定される所定の撮像条件に設定する。
制御部33は、最明部1108の初期条件を、白飛びが存在しない撮像条件に設定する。つまり、自動露出制御により決定される所定の撮像条件よりも、最明部1108が暗く撮像されるような撮像条件に設定する。これにより、図22(c)に示した最明部1108の集合1123aは、所定の上限値1130に隣接する、所定の上限値1130よりも左側の位置に移動することになる(図22(c)中に実線で示す集合1123)。
また、制御部33は、主要部1110の初期条件を、最暗部1109の初期条件と最明部1108の初期条件に応じた撮像条件に設定する。具体的には、自動露出制御により決定される所定の撮像条件における最暗部1109の輝度の最頻値と主要部1110の輝度の最頻値との差の絶対値をD1、同撮像条件における主要部1110の輝度の最頻値と最明部1108の輝度の最頻値との差の絶対値をD2、自動露出制御により決定される所定の撮像条件における最明部1108の輝度の最頻値と上述した初期条件における最明部1108の輝度の最頻値との差の絶対値をdbとするとき、次式(2)により定義されるD4だけ主要部1110の輝度が小さくなる(暗くなる)ような撮像条件を、主要部1110の初期条件に設定する。
D4=(db×D1)/(D1+D2) ・・・(2)
つまり、自動露出制御により決定される所定の撮像条件における最暗部1109の輝度と主要部1110の輝度と最明部1108の輝度との相対的な関係が保たれたままで白飛びがなくなるように、最明部1108と主要部1110の初期条件を設定する。これにより、図22(c)に示した主要部1110の集合1122aは、輝度軸の左方向にD4だけ移動することになる(図22(c)中に実線で示す集合1122)。
ユーザーが、主要部1110の撮像条件を、主要部1110が暗くなる(主要部1110の輝度が低くなる)ように変更する変更操作を行うと、制御部33は、最暗部1109の集合1121と主要部1110の集合1122との輝度差D1’が保たれるように、最暗部1109の撮像条件を変更する。つまり、最暗部1109の撮像条件を、最暗部1109がより暗く撮像されるような撮像条件に変更する。換言すると、図22(c)において、ユーザーが主要部1110の集合1122を輝度軸の左方向に動かそうとすると、制御部33は、これに連動して、最暗部1109の集合1121を輝度軸の左方向に動かす。すなわち、制御部33は、主要部1110の撮像条件を変更する操作をユーザーから受け付けると、主要部1110の撮像条件と最暗部1109の撮像条件を変更する。制御部33は、主要部1110の撮像条件を変更することにより、最暗部1109の撮像条件を変更する。
ただし、制御部33は、最暗部1109の輝度が所定の下限値1120を下回らないように最暗部1109の撮像条件を変更する。つまり、制御部33は、最暗部1109の輝度が所定の下限値1120に達したところで最暗部1109の撮像条件の変更を停止する。換言すると、図22(c)において、ユーザーが主要部1110の集合1122を輝度軸の左方向に動かそうとしたとき、最暗部1109の集合1121が所定の下限値1120を超えてしまう場合には、制御部33は主要部1110の集合1122のみを輝度軸の左方向に移動させ、最暗部1109の集合1121は停止したまま移動させない。この場合、最暗部1109の集合1121と主要部1110の集合1122との輝度差D1’は変化する。
更に、制御部33は、主要部1110の輝度が所定の下限値1120を下回らないように主要部1110の撮像条件を変更する。つまり、制御部33は、主要部1110の輝度が所定の下限値1120に達したところで主要部1110の撮像条件の変更を停止する。換言すると、図22(c)において、ユーザーが主要部1110の集合1122を輝度軸の左方向に動かそうとしたとき、主要部1110の集合1122が所定の下限値1120を超えてしまう場合には、制御部33は主要部1110の集合1122を停止したまま移動させない。
また、ユーザーが、主要部1110の撮像条件を、主要部1110が明るくなる(主要部1110の輝度が高くなる)ように変更する変更操作を行うと、制御部33は、最暗部1109の集合1121と主要部1110の集合1122との輝度差が保たれるように、最暗部1109の撮像条件を変更する。つまり、最暗部1109の撮像条件を、最暗部1109がより明るく撮像されるような撮像条件に変更する。換言すると、図22(c)において、ユーザーが主要部1110の集合1122を輝度軸の右方向に動かそうとすると、制御部33は、これに連動して、最暗部1109の集合1121を輝度軸の右方向に動かす。すなわち、制御部33は、主要部1110の撮像条件を変更する操作をユーザーから受け付けると、主要部1110の撮像条件と最暗部1109の撮像条件を変更する。制御部33は、主要部1110の撮像条件を変更することにより、最暗部1109の撮像条件を変更する。
ただし、制御部33は、主要部1110の輝度が所定の上限値1130を上回らないように主要部1110の撮像条件を変更する。つまり、制御部33は、主要部1110の輝度が所定の上限値1130に達したところで主要部1110の撮像条件の変更を停止する。換言すると、図22(c)において、ユーザーが主要部1110の集合1122を輝度軸の右方向に動かそうとしたとき、主要部1110の集合1122が所定の上限値1130を超えてしまう場合には、制御部33は主要部1110の集合1122を停止したまま移動させない。
なお、以上の変更操作において、最明部1108の撮像条件は変更されない。換言すると、図22(c)において、ユーザーが主要部1110の集合1122を輝度軸の左右どちらの方向に動かそうとした場合であっても、最明部1108の集合1123は移動しない。
(D)黒つぶれも白飛びも存在する場合
図22(d)に、黒つぶれも白飛びも存在する場合の単位グループ32ごとの輝度のヒストグラムを示す。黒つぶれも白飛びも存在する、つまり、主要部1110の輝度が所定の範囲内(下限値〜上限値の範囲内)に収まっているが、最暗部1109の輝度と最明部1108の輝度がその範囲を逸脱している場合、主要部1110の集合1122aは所定の下限値1120と所定の上限値1130に収まり、最暗部1109の集合1121aは少なくとも一部が所定の下限値1120を超えて左に位置し、最明部1108の集合1123aは少なくとも一部が所定の上限値1130を超えて右に位置することになる。
この場合、制御部33は、最暗部1109と最明部1108と主要部1110の初期条件を、相対的な位置関係(輝度の関係)を保ったまま、黒つぶれも白飛びも存在しなくなるような撮像条件に設定する。つまり、制御部33は、最暗部1109の初期条件を、自動露出制御により決定される所定の撮像条件よりも、最暗部1109が明るく撮像されるような撮像条件に設定すると共に、最明部1108の初期条件を、自動露出制御により決定される所定の撮像条件よりも、最明部1108が暗く撮像されるような撮像条件に設定する。これにより、図22(d)中に破線で示す初期条件における最暗部1109の集合1121aおよび最明部1108の集合1123aは、それぞれ下限値1120〜上限値1130の範囲内に移動する(それぞれ図22(d)中に実線で示す集合1121、1123)。主要部1110の初期条件は、最暗部1109の初期条件と最明部1108の初期条件に応じた撮像条件に設定する。
具体的には、自動露出制御により決定される所定の撮像条件における最暗部1109の輝度の最頻値と主要部1110の輝度の最頻値との差の絶対値をD1、同撮像条件における主要部1110の輝度の最頻値と最明部1108の輝度の最頻値との差の絶対値をD2、自動露出制御により決定される所定の撮像条件における最暗部1109の輝度の最頻値と上述した初期条件における最暗部1109の輝度の最頻値との差の絶対値をda、自動露出制御により決定される所定の撮像条件における最明部1108の輝度の最頻値と上述した初期条件における最明部1108の輝度の最頻値との差の絶対値をdbとするとき、次式(3)により定義されるD5だけ主要部1110の輝度が変化するような撮像条件を、主要部1110の初期条件に設定する。
D5=(db×D1―da×D2)/(D1+D2) ・・・(3)
つまり、自動露出制御により決定される所定の撮像条件における最暗部1109の輝度と主要部1110の輝度と最明部1108の輝度との相対的な関係が保たれたままで黒つぶれも白飛びもなくなるように、最暗部1109と主要部1110と最明部1108の初期条件を設定する。
ユーザーが、主要部1110の撮像条件を変更する変更操作を行うと、制御部33は、最暗部1109や最明部1108の撮像条件を変更せずに、主要部1110の撮像条件のみを変更する。換言すると、図22(d)において、ユーザーが主要部1110の集合1122を輝度軸の左右の方向に動かそうとすると、制御部33は、最暗部1109の集合1121と最明部1108の集合1123を固定したまま、主要部1110の集合1122のみをユーザーが所望した輝度軸の方向に動かす。
ただし、制御部33は、主要部1110の輝度が所定の下限値1120を下回ったり所定の上限値1130を上回ったりすることのないように主要部1110の撮像条件を変更する。つまり、制御部33は、主要部1110の輝度が所定の下限値1120を下回るような主要部1110の撮像条件の変更も、主要部1110の輝度が所定の上限値1130を上回るような主要部1110の撮像条件の変更も禁止する。換言すると、図22(d)において、ユーザーが主要部1110の集合1122を輝度軸の左方向に動かそうとしたとき、主要部1110の集合1122が所定の下限値1120を超えてしまう場合には、制御部33は主要部1110の集合1122を停止したまま移動させない。また、ユーザーが主要部1110の集合1122を輝度軸の右方向に動かそうとしたとき、主要部1110の集合1122が所定の上限値1130を超えてしまう場合には、制御部33は主要部1110の集合1122を停止したまま移動させない。
なお、以上の説明では、撮像条件の初期値を制御部33が周知の自動露出制御により自動的に決定するものとしていたが、これを、ユーザーが指定したマニュアル値としてもよい。
上述した第4の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)撮像素子22(撮像部)は、複数の単位グループ32(撮像領域)にそれぞれ異なる撮像条件を設定可能に構成されている。制御部33は、被写体の主要部1110を、第1の撮像条件を設定した単位グループ32により撮像させ、被写体の最暗部1109や最明部1108を、第2の撮像条件を設定した第2の別の単位グループ32により撮像させる。制御部33は、ユーザーの操作に応じて第1の撮像条件を変更すると共に、その変更に基づいて、第2の撮像条件を変更する。このようにしたので、所望の撮像条件を各々の撮像領域に容易に設定することができる、使い勝手のよい撮像装置3010を提供することができる。
(2)制御部33は、主要部1110を撮像する単位グループ32の撮像信号と、最暗部1109および最明部1108を撮像する単位グループ32の撮像信号とが、共に下限値1120〜上限値1130の範囲内となる第1の撮像条件の初期値および第2の撮像条件の初期値を、ユーザー操作による第1の撮像条件の変更に先立って設定する。このようにしたので、撮像画像のダイナミックレンジが向上する。換言すると、ダイナミックレンジの広い撮像画像を得ることができる。
(3)制御部33は、最暗部1109および最明部1108を撮像する単位グループ32の撮像信号が下限値1120〜上限値1130の範囲を逸脱する第2の撮像条件の変更を禁止する。このようにしたので、撮像条件の変更により、黒つぶれや白飛びが発生してしまうことがないので、ユーザーは黒つぶれや白飛びを懸念することなく自由に撮像条件を設定することができる。
(4)制御部33は、主要部1110の撮像信号と、最暗部1109の撮像信号と、最明部1108の撮像信号と、の大小関係が入れ替わるような第2の撮像条件の変更を禁止する。このようにしたので、不自然な明るさの撮像画像が作成されることがない。
(5)制御部33は、主要部1110の撮像条件の変更量に基づいて、最暗部1109の撮像条件や最明部1108の撮像条件の変更量を決定する。このようにしたので、所望の撮像条件を各々の撮像領域に容易に設定することができる。
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
主要部1110の撮像条件を変更する変更操作に応じて、最暗部1109や最明部1108の撮像条件がどのように変更されるか、また、どのような変更が禁止されるかについて説明を行ったが、以上の説明は一例であり、それらとは異なるパターンで撮像条件を変更したり、撮像条件の変更を禁止したりしてもよい。
例えば、ユーザーが、主要部1110がより明るく撮像されるように主要部1110の撮像条件を変更する変更操作を行った場合に、制御部33が、最暗部1109の撮像条件および最明部1108の撮像条件を、最暗部1109と最明部1108の両方がより明るく(または暗く)撮像されるように変更するようにしてもよい。すなわち、制御部33は、主要部1110の撮像条件を変更する操作をユーザーから受け付けると、主要部1110の撮像条件と、最明部1108の撮像条件と、最暗部1109の撮像条件の変更を行う。制御部33は、主要部1110の撮像条件を変更することにより、最明部1108の撮像条件と最暗部1109の撮像条件を変更する。このとき、ユーザーにより変更された明るさの段階(例えばシャッタースピードの段数)と、最暗部1109や最明部1108において変更される明るさの段階(例えばシャッタースピードの段数)とを異ならせてもよい。
ただし、どのようなパターンであっても、最暗部1109において黒つぶれが生じるような撮像条件や、最明部1108において白飛びが生じるような撮像条件は禁止されるべきである。また、主要部1110の撮像条件の変更(例えば、主要部1110のシャッタースピードを1段上げる)に連動して、最暗部1109と最明部1108の両方の撮像条件に当該変更と同一の変更を加える(例えば、最暗部1109と最明部1108の両方のシャッタースピードを1段上げる)ようなパターンは避けることが望ましい。
(変形例2)
撮像条件が変更された際、液晶モニタ24に表示されている被写体画像に、その変更を反映することについて説明したが、主要部1110とそれ以外の部分(最暗部1109、最明部1108)とで、変更が反映されるタイミングに差を設けてもよい。例えば、撮像条件が変更されると、まず主要部1110にのみその変更が反映され、それから数秒後に、最暗部1109と最明部1108とに変更が反映されるようにしてもよい。
(変形例3)
撮像条件の変更において、最暗部1109の輝度の最頻値、最明部1108の輝度の最頻値、および、主要部1110の輝度の最頻値に基づく説明を行ったが、これらの各値は、最頻値でなくてもよい。例えば、輝度の中央値であってもよいし、平均値であってもよい。
(変形例4)
上述した(C)白飛びが存在し黒つぶれが存在しない場合において、最明部1108に位置する被写体の種類に応じて、撮像条件の変更量を異ならせてもよい。すなわち、制御部33は、主要部1110の撮像条件を変更する操作をユーザーから受け付けると、主要部1110の撮像条件と最明部1108の撮像条件の変更を行う。かかる場合、最明部1108の撮像条件を、主要部1110の撮像条件の変更量とは異なる変更量としてもよい。例えば、制御部33に、撮像距離等の情報から、最明部1108に位置する被写体を判別させる。ここで最明部1108に空があると判断された場合、主要部1110がより明るく撮像されるように主要部1110の撮像条件を変更する変更操作が為されたことに応じて、制御部33は、空の輝度、すなわち最明部1108の輝度がより小さく(暗く)撮像されるように、空の部分(最明部1108)の撮像条件を同じ量だけ変更する。
また、最明部1108に建物があると判断された場合にも、同様に、主要部1110がより明るく撮像されるように主要部1110の撮像条件を変更する変更操作が為されたことに応じて、制御部33は、建物の輝度、すなわち最明部1108の輝度がより小さく(暗く)撮像されるように、建物の部分(最明部1108)の撮像条件を変更する。このとき、その変更量は、主要部1110の変更量よりも小さくする。例えば、主要部1110のシャッタースピードを1段分遅くする操作が為された場合に、最明部1108のシャッタースピードを、1/3段速くする。ただし、最明部1108の撮像条件は、像ぶれが生じないように変更することが望ましい。つまり、像ぶれが生じる可能性が一定以上高くなる場合には、最明部1108の撮像条件の変更を禁止する。
以上のようにすると、例えば空の青空がより強調された、鮮やかな撮像結果を得ることができる。
(変形例5)
上述した(B)黒つぶれが存在し白飛びが存在しない場合において、最暗部1109に位置する被写体の種類に応じて、撮像条件の変更量を異ならせてもよい。すなわち、制御部33は、主要部1110の撮像条件を変更する操作をユーザーから受け付けると、主要部1110の撮像条件と最暗部1109の撮像条件の変更を行う。かかる場合、最暗部1109の撮像条件を、主要部1110の撮像条件の変更量とは異なる変更量としてもよい。例えば、制御部33に、撮像距離等の情報から、最暗部1109に位置する被写体を判別させる。ここで最暗部1109に建物があると判断された場合、主要部1110がより明るく撮像されるように主要部1110の撮像条件を変更する変更操作が為されたことに応じて、制御部33は、建物の輝度、すなわち最暗部1109の輝度がより大きく(明るく)撮像されるように、建物の部分(最暗部1109)の撮像条件を同じ量だけ変更する。ただし、最暗部1109の撮像条件は、像ぶれが生じないように変更することが望ましい。つまり、像ぶれが生じる可能性が一定以上高くなる場合には、最暗部1109の撮像条件の変更を禁止する。
また、最暗部1109に空(夜空)があると判断された場合にも、同様に、主要部1110がより明るく撮像されるように主要部1110の撮像条件を変更する変更操作が為されたことに応じて、制御部33は、空の輝度、すなわち最暗部1109の輝度がより大きく(明るく)撮像されるように、空の部分(最暗部1109)の撮像条件を変更する。このとき、その変更量は、主要部1110の変更量よりも小さくする。例えば、主要部1110のシャッタースピードを1段分遅くする操作が為された場合に、最暗部1109のシャッタースピードを、1/3段遅くする。ただし、最暗部1109の撮像条件は、高感度ノイズや像ぶれが生じないように変更することが望ましい。つまり、高感度ノイズや像ぶれが生じる可能性が一定以上高くなる場合には、最暗部1109の撮像条件の変更を禁止する。
以上のようにすると、例えば夜空が明るくなりすぎた不自然な撮像画像となることを防止することができる。
(変形例6)
上述した実施形態では、被写体の主要部と、被写体の背景部である最暗部および最明部とを、被写体の輝度分布により判別し、主要部の撮像条件の変更に応じて背景部である最暗部および最明部の撮像条件を変更していた。被写体の主要部と被写体の背景部を、被写体の輝度分布以外の情報に基づき判別してもよい。例えば、被写体の速度分布(移動分布)に基づき被写体の主要部と背景部とを判別してもよい。
例えば、被写体のうち、速度が速い部分を主要部とし、速度が遅い部分を背景部とすることができる(乗り物を撮像する場合等)。この場合、制御部33は、主要部の撮像条件を変更する操作をユーザーから受け付けると、主要部の撮像条件と背景部の撮像条件の変更を行う。かかる場合、背景部の撮像条件を、主要部の撮像条件の変更量とは異なる変更量としてもよい。例えば、制御部33は、主要部のシャッタースピードを速くするように撮像条件を変更することにより、背景部のシャッタースピードも合わせて速くするが、その変化量は主要部に比べて少なくする。また、主要部のシャッタースピードを遅くするように撮像条件を変更することにより、背景部のシャッタースピードも合わせて遅くするが、その変化量は主要部に比べて多くする。
別の例として、被写体のうち、速度が遅い部分を主要部とし、速度が速い部分を背景部とすることができる。この場合、制御部33は、主要部の撮像条件を変更する操作をユーザーから受け付けると、主要部の撮像条件と背景部の撮像条件の変更を行う。かかる場合、背景部の撮像条件を、主要部の撮像条件の変更量とは異なる変更量としてもよい。例えば、制御部33は、主要部のシャッタースピードを速くする際、背景部のシャッタースピードも合わせて速くするが、その変化量は主要部に比べて少なくする。また、主要部のシャッタースピードを遅くする際には、背景部のシャッタースピードも合わせて遅くするが、その変化量は主要部に比べて多くする。
なお、いずれの場合であっても、像ぶれが発生しないよう、背景部のシャッタースピードの下限を設けることが望ましい。また、主要部のシャッタースピードと背景部のシャッタースピードの大小関係が入れ替わるような変更は禁止することが望ましい。
(変形例7)
上述した実施形態では、撮像条件の変更は、操作部材に対して所定の変更操作を受け付けることにより行っていたが、撮像条件の変更操作はこれに限られない。例えば、ユーザーからの入力操作を受け付けるタッチセンサを有する液晶モニタ24に撮像条件の変更に用いる操作画面を表示してもよい。具体的には、図23に示すように、液晶モニタ24に撮像条件の変更操作を受け付ける操作用画像1111を表示する。操作用画像1111は、調整用バー1112とスライダ1113を含む。撮像条件の設定は、調整用バー1112に対するスライダ1113の位置により決定される。撮像条件の変更操作は、ユーザーユーザーによるスライダ操作で行う。例えば、撮像条件の変更操作として、主要部の明るさを変更したい場合、調整用バー1112に対するスライダ1113の位置を移動させる。ユーザーによりスライダ1113を調整用バーの左端側に移動させた場合、主要部は現在の撮像条件よりも暗くなるように撮像条件が設定される。かかる場合、主要部以外の撮像領域は、主要部の撮像条件が変更されることにより、撮像条件も変更される。また、ユーザーによりスライダ1113を調整用バーの右端側に移動させた場合、主要部は現在の撮像条件よりも明るくなるように撮像条件が設定される。かかる場合、主要部以外の撮像領域は、主要部の撮像条件が変更されることにより、撮像条件も変更される。
(変形例8)
上述した実施形態では、被写体の主要部と被写体の背景部である最暗部および最明部について撮像条件の変更を行っていたが、撮像条件を変更する対象はこれに限られない。例えば、第1の実施の形態、第2の実施の形態および第3の実施の形態で示すように、物体認識部23aにより複数の被写体が抽出された場合において、複数の被写体のうち、選択された主要被写体とそれ以外の被写体について撮像条件の変更を行ってもよい。すなわち、物体認識部23aにより抽出された複数の被写体のうち、1つの被写体に対して撮像条件を変更することにより、その他の抽出された被写体の撮像条件の変更が行われてもよい。この場合、物体認識部23aで抽出された被写体のうち、選択された被写体とそれ以外の被写体で撮像条件を変更する変更量が異なっていてもよい。また、ユーザーにより1つの被写体が選択された場合において、選択された被写体に対して撮像条件の変更を行うことにより、被写体に含まれるその他の被写体(例えば、人物、顔、建物、空など)の撮像条件の変更を行ってもよい。このように、第4の実施の形態は、第1の実施の形態、第2の実施の形態および第3の実施の形態においても適用できる。これにより、複数の被写体が存在する場合であっても、1つの被写体について撮像条件の変更を行うことにより、他の被写体の撮像条件の変更を行うことができるため、撮像条件の変更操作を短縮できる。また、撮像条件の変更を行う被写体の選択操作を短縮できる。
(変形例9)
上述した各実施の形態では、撮像素子22と制御部33とを有する単一の電子機器である撮像装置について説明したが、本発明はこのような実施形態に限定されない。例えば、外部に設けられた撮像素子22を制御する電子機器にも本発明を適用することができる。以下、撮像素子22を外部に設ける形態について詳述する。
図24は、変形例9に係る撮像システムの構成を模式的に示すブロック図である。図24に示す撮像システム4000は、撮像ユニット4001と、電子機器4002とから成る。撮像ユニット4001は、第4の実施の形態で説明した撮像光学系21と撮像素子22とを備え、更に、第1通信部4003を備えている。また、電子機器4002は、第4の実施の形態で説明した制御部33、液晶モニタ24、メモリカード25、操作部26、DRAM27、フラッシュメモリ28、および録音部34を備え、更に、第2通信部4004を備えている。第1通信部4003および第2通信部4004は、例えば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。
変形例9に係る撮像システム4000では、制御部33は、第2通信部4004および第1通信部4003を介したデータ通信により、撮像素子22の制御を行う。例えば、所定の制御データを撮像ユニット4001との間で送受信することにより、単位グループ32ごとに異なる撮像条件を設定したり、各々の単位グループ32から撮像信号を読み出したりする。
なお、本発明は、上述した実施の形態のものに何ら限定されず、複数の撮像領域ごとに所定の撮像条件で制御される撮像部によって撮像された被写体画像を表示部に表示させる表示制御部と、被写体画像を少なくとも一つの部分領域に分割する分割部と、を備え、表示制御部は、部分領域に対応する撮像領域の撮像部によって撮像された部分画像と被写体画像とを表示部に表示させる各種構造の電子機器を含むものである。
また、本発明は、上述した実施の形態のものに何ら限定されず、上記電子機器と、複数の撮像領域ごとに所定の撮像条件で制御される撮像部と、複数の撮像領域ごとに所定の撮像条件で制御する撮像制御部と、撮像部によって撮像された被写体画像を記録媒体に記録する記録部と、を備え、撮像制御部は、設定部によって設定される撮像条件で対応する撮像領域を制御して、被写体画像を生成し、記録部は、被写体画像を記録媒体に記録する各種構造の撮像装置を含むものである。
また、本発明は、上述した実施の形態のものに何ら限定されず、上記電子機器と、撮像装置と、を備え、電子機器は、撮像装置と通信可能な第1通信部をさらに備え、撮像装置は、複数の撮像領域ごとに所定の撮像条件で制御される撮像部と、複数の撮像領域ごとに所定の撮像条件で制御して、被写体画像を生成する撮像制御部と、電子機器と通信可能な第2通信部とをさらに備え、第2通信部は、被写体画像を第1通信部を介して電子機器に送信し、第1通信部は、表示制御部によって表示された被写体画像において、設定部によって部分領域ごとに設定された撮像条件を撮像装置に送信する各種構造の撮像システムを含むものである。
以上に述べたように、撮像システム4000において、単位グループ32ごとの制御を行っているのは、制御部33である。電子機器4002は、撮像素子22を備えていないが、電子機器4002の外部に設けられた撮像素子22(撮像ユニット4001)を制御することにより、第1の実施の形態と同様の制御を行う。つまり、本発明は、撮像素子22を有していない電子機器に適用することが可能である。
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2014年第202104号(2014年9月30日出願)
日本国特許出願2014年第202105号(2014年9月30日出願)