JPWO2017175802A1 - 画像処理装置、電子機器、再生装置、再生プログラムおよび再生方法 - Google Patents

Abstract

画像処理装置は、撮像素子の、第１撮像条件が設定された第１撮像領域および第２撮像条件が設定された第２撮像領域で撮像された被写体の画像と、前記第１撮像条件と、前記第２撮像条件とを読み出す読出部と、前記読出部により読み出された第１撮像条件と第２撮像条件とを用いて、前記画像から画像処理を行う被写体を特定する特定部とを備える。

Description

本発明は、画像処理装置、電子機器、再生装置、再生プログラムおよび再生方法に関する。

撮像領域毎に異なる露光時間で撮影を行う撮像装置が知られている（特許文献１参照）。しかし、撮像領域毎の撮影条件の記録については何も触れられていない。

日本国特開２００６−１９７１９２号公報

本発明の第１の態様によると、画像処理装置は、撮像素子の、第１撮像条件が設定された第１撮像領域および第２撮像条件が設定された第２撮像領域で撮像された被写体の画像と、前記第１撮像条件と、前記第２撮像条件とを読み出す読出部と、前記読出部により読み出された第１撮像条件と第２撮像条件とを用いて、前記画像から画像処理を行う被写体を特定する特定部とを備える。
本発明の第２の態様によると、画像処理装置は、撮像条件を設定可能な複数の撮像領域を有する撮像素子の第１撮像領域に設定された第１撮像条件と、第２撮像領域に設定された第２撮像条件とが記録された記録部から前記第１撮像条件と前記第２撮像条件とを読み出す読出部と、前記読出部により読み出された画像に前記第１撮像条件により撮像された被写体の領域と、前記第２撮像条件により撮像され被写体の領域とを設定する設定部とを備える。
本発明の第３の態様によると、画像処理装置は、撮像条件と画像とを記録部から読み出す読出部と、読み出された前記撮像条件を用いて、前記画像から画像処理を行う被写体を特定する特定部と、を備える。
本発明の第４の態様によると、画像処理装置は、撮像条件を設定可能な複数の撮像領域を有する撮像素子の複数の前記撮像領域に設定された撮像条件が記録された記録部から前記撮像条件を読み出す読出部と、前記読出部により読み出された画像から前記撮像条件に基づいて撮像された被写体の領域を設定する設定部と、を備える。
本発明の第５の態様によると、電子機器は、複数の撮像領域を有し、被写体を撮像して画像データを出力する撮像素子と、複数の前記撮像領域に異なる撮像条件を設定可能な設定部と、前記設定部により設定された撮像条件を用いて、前記撮像素子から出力された画像データから画像処理を行う領域を特定する画像処理部と、を備える。
本発明の第６の態様によると、電子機器は、異なる撮像条件を設定可能な複数の撮像領域を有する撮像部の前記複数の撮像領域の位置の情報と前記複数の撮像領域の前記撮像条件とを入力する入力部と、前記入力部から入力された前記位置の情報と前記撮像条件とから前記撮像領域に関する情報を生成する生成部とを備える。
本発明の第７の態様によると、再生装置は、複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部により生成された画像データと、前記撮像領域ごとの撮像条件とを入力する入力部と、前記入力部から入力された前記撮像条件から前記撮像領域に関する情報を生成し、生成された前記撮像領域に関する情報により前記画像データを再生する再生部とを備える。
本発明の第８の態様によると、再生プログラムは、複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部より生成された画像データと、前記撮像領域ごとの撮像条件とを入力させる入力ステップと、前記入力ステップで入力された、前記撮像条件から前記撮像領域に関する情報を生成し、生成された前記撮像領域に関する情報により前記画像データを再生する再生ステップとをコンピュータに実行させる。
本発明の第９の態様によると、再生方法は、複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部より生成された画像データと、前記撮像領域ごとの撮像条件とを入力し、入力された前記撮像条件から前記撮像領域に関する情報を生成し、生成された前記撮像領域に関する情報により前記画像データを再生する。

本発明の第１の実施の形態に係る撮像装置の構成を示すブロック図である。 撮像素子の撮像面を模式的に示す平面図である。 本実施の形態に係る画像ファイルの構成を示す模式図である。 静止画撮像機能Ａの説明図である。 静止画撮像機能Ａを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 動画撮像機能Ａの説明図である。 動画撮像機能Ａを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 静止画撮像機能Ｂの説明図である。 大グループのレイアウトの一例を示す図である。 静止画撮像機能Ｂを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 動画撮像機能Ｂの説明図である。 動画撮像機能Ｂの説明図である。 動画撮像機能Ｂを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 混合撮像機能の説明図である。 混合撮像機能を用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 第２の実施の形態に係るメモリカードのディレクトリ構造を模式的に示す図である。 第２の実施の形態に係る各ファイルの構造を模式的に示す図である。 第２の実施の形態に係る各ファイルの構造を模式的に示す図である。 変形例２の説明図である。 変形例３の説明図である。 変形例４の説明図である。 変形例７の説明図である。 積層型撮像素子の断面図である。 撮像チップの画素配列とブロックを説明する図である。 撮像チップのユニットに対応する回路図である。 変形例１における画像ファイルの構造を模式的に示す図である。 変形例１にける画像ファイルのうちデータ部の構造を模式的に示す図である。 変形例６の説明図である。 第３の実施の形態に係る画像ファイル（静止画）を一括保存形式（時系列型）にて記録した場合における構造を模式的に示す図である。 第３の実施の形態に係る画像ファイル（静止画、動画）を一括保存形式（時系列型）にて記録した場合における構造を模式的に示す図である。 第３の実施の形態に係る画像ファイルを一括保存形式（画像集合型）にて記録した場合における構造を模式的に示す図である。 第３の実施の形態におけるマスク情報とＨＤＲマスク情報とを模式的に示す図である。 第３の実施の形態に係る画像ファイルを分割保存形式にて記録した場合における構造を模式的に示す図である。

（第１の実施の形態）
始めに、実施の形態による電子機器（例えば撮像装置１０）に搭載する積層型撮像素子２２について説明する。なお、この積層型撮像素子２２は、本願出願人が先に出願したＷＯ２０１３／１６４９１５号公報に記載されているものである。図２３は、積層型撮像素子２２の断面図である。撮像素子２２は、入射光に対応した画素信号を出力する裏面照射型撮像チップ２１１１と、画素信号を処理する信号処理チップ２１１２と、画素信号を記憶するメモリチップ２１１３とを備える。これら撮像チップ２１１１、信号処理チップ２１１２およびメモリチップ２１１３は積層されており、Ｃｕ等の導電性を有する接続部２１０９により互いに電気的に接続される。

なお、図２３に示すように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２３の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮像チップ２１１１は、例えば、ＣＭＯＳイメージセンサである。撮像チップ２１１３は、具体的には、裏面照射型のＭＯＳイメージセンサである。撮像チップ２１１１は、マイクロレンズ層２１０１、カラーフィルタ層２１０２、パッシベーション層２１０３、半導体層２１０６、および配線層１０８を有する。撮像チップ２１１１は、Ｚ軸プラス方向に向かってマイクロレンズ層２１０１、カラーフィルタ層２１０２、パッシベーション層２１０３、半導体層２１０６、および配線層１０８の順に配置されている。

マイクロレンズ層２１０１は、複数のマイクロレンズＬを有する。マイクロレンズＬは、入射した光を後述する光電変換部２１０４に集光する。カラーフィルタ層２１０２は、複数のカラーフィルタＦを有する。カラーフィルタ層２１０２は、分光特性の異なる複数種類のカラーフィルタＦを有する。カラーフィルタ層２１０２は、具体的には、主に赤色成分の光を透過させる分光特性の第１フィルタ（Ｒ）と、主に緑色成分の光を透過させる分光特性の第２フィルタ（Ｇｂ、Ｇｒ）と、主に青色成分の光を透過させる分光特性の第３フィルタ（Ｂ）と、を有する。カラーフィルタ層１０２は、例えば、ベイヤー配列により第１フィルタ、第２フィルタおよび第３フィルタが配置されている。パッシベーション層２１０３は、窒素膜や酸化膜で構成され、半導体層２１０６を保護する。

半導体層２１０６は、光電変換部２１０４および読出回路２１０５を有する。半導体層２１０６は、光の入射面である第１面２１０６ａと第１面２１０６ａの反対側の第２面２１０６ｂとの間に複数の光電変換部２１０４を有する。半導体層２１０６は、光電変換部２１０４がＸ軸方向およびＹ軸方向に複数配列されている。光電変換部２１０４は、光を電荷に変換する光電変換機能を有する。また、光電変換部２１０４は、光電変換信号による電荷を蓄積する。光電変換部２１０４は、例えば、フォトダイオードである。半導体層２１０６は、光電変換部２１０４よりも第２面２１０６ｂ側に読出回路１０５を有する。半導体層２１０６は、読出回路２１０５がＸ軸方向およびＹ軸方向に複数配列されている。読出回路２１０５は、複数のトランジスタにより構成され、光電変換部２１０４によって光電変換された電荷により生成される画像データを読み出して配線層２１０８へ出力する。

配線層２１０８は、複数の金属層を有する。金属層は、例えば、Ａｌ配線、Ｃｕ配線等である。配線層２１０８は、読出回路２１０５により読み出された画像データが出力される。画像データは、接続部２１０９を介して配線層２１０８から信号処理チップ２１１２へ出力される。

なお、接続部２１０９は、光電変換部２１０４ごとに設けられていてもよい。また、接続部２１０９は、複数の光電変換部２１０４ごとに設けられていてもよい。接続部２１０９が複数の光電変換部２１０４ごとに設けられている場合、接続部２１０９のピッチは、光電変換部２１０４のピッチよりも大きくてもよい。また、接続部２１０９は、光電変換部２１０４が配置されている領域の周辺領域に設けられていてもよい。

信号処理チップ２１１２は、複数の信号処理回路を有する。信号処理回路は、撮像チップ２１１１から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路等である。信号処理回路は、光電変換部２１０４ごとに設けられていてもよい。

また、信号処理回路は、複数の光電変換部２１０４ごとに設けられていてもよい。信号処理チップ２１１２は、複数の貫通電極２１１０を有する。貫通電極２１１０は、例えばシリコン貫通電極である。貫通電極２１１０は、信号処理チップ２１１２に設けられた回路を互いに接続する。貫通電極２１１０は、撮像チップ２１１１の周辺領域、メモリチップ２１１３にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ２１１１に設けてもよい。例えば、アナログ／デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ１１１に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ２１１２に設けてもよい。

メモリチップ２１１３は、複数の記憶部を有する。記憶部は、信号処理チップ２１１２で信号処理が施された画像データを記憶する。記憶部は、例えば、ＤＲＡＭ等の揮発性メモリである。記憶部は、光電変換部２１０４ごとに設けられていてもよい。また、記憶部は、複数の光電変換部２１０４ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。

図２４は、撮像チップ２１１１の画素配列と単位領域２１３１を説明する図である。特に、撮像チップ２１１１を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上の画素がマトリックス状に配列されている。図２４の例では、隣接する２画素×２画素の４画素が一つの単位領域２１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域２１３１を形成する概念を示す。単位領域２１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×３２画素でもよいし、それ以上でもそれ以下でもよく、１画素であってもよい。

画素領域の部分拡大図に示すように、図２４の単位領域２１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタＦとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタＦとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタＦとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。

本実施形態において、１ブロックにつき単位領域２１３１を少なくとも１つ含むように複数のブロックが定義される。すなわち、１ブロックの最小単位は１つの単位領域２１３１となる。上述したように、１つの単位領域２１３１を形成する画素の数として取り得る値のうち、最も小さい画素の数は１画素である。したがって、１ブロックを画素単位で定義する場合、１ブロックを定義し得る画素の数のうち最小の画素の数は１画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域２１３１、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子２２は、行方向（撮像チップ２１１１のＸ軸方向）の間引きのみでなく、列方向（撮像チップ２１１１のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。

図２５は、単位領域２１３１における回路を説明する図である。図２５の例では、隣接する２画素×２画素の４画素により一つの単位領域２１３１を形成する。なお、上述したように単位領域２１３１に含まれる画素の数はこれに限られず、１０００画素以上でもよいし、最小１画素でもよい。単位領域２１３１の二次元的な位置を符号Ａ〜Ｄにより示す。

単位領域２１３１に含まれる画素のリセットトランジスタ（ＲＳＴ）は、画素ごとに個別にオンオフ可能に構成される。図２５において、画素Ａのリセットトランジスタをオンオフするリセット配線２３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線２３１０が、上記リセット配線２３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線２３２０が、上記リセット配線２３００、２３１０とは別個に設けられている。他の画素Ｄに対しても、リセットトランジスタをオンオフするための専用のリセット配線２３３０が設けられている。

単位領域２１３１に含まれる画素の転送トランジスタ（ＴＸ）についても、画素ごとに個別にオンオフ可能に構成される。図２５において、画素Ａの転送トランジスタをオンオフする転送配線２３０２、画素Ｂの転送トランジスタをオンオフする転送配線２３１２、画素Ｃの転送トランジスタをオンオフする転送配線２３２２が、別個に設けられている。他の画素Ｄに対しても、転送トランジスタをオンオフするための専用の転送配線２３３２が設けられている。

さらに、単位領域２１３１に含まれる画素の選択トランジスタ（ＳＥＬ）についても、画素ごとに個別にオンオフ可能に構成される。図２５において、画素Ａの選択トランジスタをオンオフする選択配線２３０６、画素Ｂの選択トランジスタをオンオフする選択配線２３１６、画素Ｃの選択トランジスタをオンオフする選択配線２３２６が、別個に設けられている。他の画素Ｄに対しても、選択トランジスタをオンオフするための専用の選択配線２３３６が設けられている。

なお、電源配線２３０４は、単位領域２１３１に含まれる画素Ａから画素Ｄで共通に接続されている。同様に、出力配線２３０８は、単位領域２１３１に含まれる画素Ａから画素Ｄで共通に接続されている。また、電源配線２３０４は複数の単位領域間で共通に接続されるが、出力配線２３０８は単位領域２１３１ごとに個別に設けられる。負荷電流源２３０９は、出力配線２３０８へ電流を供給する。負荷電流源２３０９は、撮像チップ２１１１側に設けられてもよいし、信号処理チップ２１１２側に設けられてもよい。

単位領域２１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域２１３１に含まれる画素Ａから画素Ｄに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域２１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｄの光電変換信号を共通の出力配線２３０８を介して出力することができる。

ここで、単位領域１３１に含まれる画素Ａから画素Ｄについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図２５の例では「ＡＢＣＤ」の順序で光電変換信号が出力される。

このように単位領域２１３１を基準として回路を構成することにより、単位領域２１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域２１３１間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ２１１１において一部のブロックに含まれる単位領域２１３１に電荷蓄積（撮像）を行わせる間に他のブロックに含まれる単位領域２１３１を休ませることにより、撮像チップ２１１１の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるブロック（蓄積制御の対象ブロック）を切り替えて、撮像チップ２１１１の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。

上記の通り、単位領域２１３１のそれぞれに対応して出力配線２３０８が設けられている。撮像素子２２は撮像チップ２１１１、信号処理チップ２１１２およびメモリチップ２１１３を積層しているので、これら出力配線２３０８に接続部２１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。

図１は、第１の実施の形態に係る撮像装置の構成を示すブロック図である。撮像装置１０は、レンズ一体型のカメラである。撮像装置１０は、撮像光学系２１と、撮像素子２２と、制御部２３と、液晶モニタ２４と、メモリカード２５と、操作部２６と、ＤＲＡＭ２７と、フラッシュメモリ２８と、録音部２９とを備える。

撮像光学系２１は、複数のレンズから構成され、撮像素子２２の撮像面に被写体像を結像させる。なお図１では、撮像光学系２１を１枚のレンズとして図示している。

撮像素子２２は例えばＣＭＯＳやＣＣＤ等の撮像素子であり、撮像光学系２１により結像された被写体像を撮像して撮像信号を出力する。制御部２３は、撮像装置１０の各部を制御する電子回路であり、ＣＰＵとその周辺回路とから構成される。不揮発性の記憶媒体であるフラッシュメモリ２８には、予め所定の制御プログラムが書き込まれている。制御部２３は、記録制御部と生成部と読出部と特定部と設定部とを有し、フラッシュメモリ２８から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるＤＲＡＭ２７を作業用領域として使用する。

液晶モニタ２４は、液晶パネルを利用した表示装置である。制御部２３は、所定周期（例えば６０分の１秒）ごとに撮像素子２２に繰り返し被写体像を撮像させる。そして、撮像素子２２から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ２４に表示する。液晶モニタ２４には、上記のスルー画以外に、例えば撮像パラメータ（撮像条件）を設定する設定画面等が表示される。

制御部２３の記録制御部は、撮像素子２２から出力され、不図示の入力部から入力した撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード２５に画像ファイルを記録する。操作部２６は、プッシュボタン等の種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部２３に操作信号を出力する。録音部２９は、例えばマイクロフォン等により構成され、環境音を音声信号に変換して制御部２３に入力する。なお、可搬性の記録媒体であるメモリカード２５に画像ファイル４０を記録するのではなく、撮像装置１０に内蔵された不図示の記録媒体であるハードディスク等に記録してもよい。

図２（ａ）は、撮像素子２２の撮像面３０を模式的に示す平面図であり、図２（ｂ）は撮像面３０の一部領域３０ａを拡大した平面図である。図２（ｂ）に示すように、撮像面３０には、撮像画素３１が二次元状に多数配列されている。撮像画素３１は、それぞれ不図示の色フィルタを有している。色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、図２（ｂ）における「Ｒ」、「Ｇ」、および「Ｂ」という表記は、撮像画素３１が有する色フィルタの種類を表している。図２（ｂ）に示すように、撮像素子２２の撮像面３０には、このような各色フィルタを備えた撮像画素３１が、いわゆるベイヤー配列に従って配列されている。

赤フィルタを有する撮像画素３１は、入射光のうち、赤色の波長帯の光を光電変換して受光信号（光電変換信号）を出力する。同様に、緑フィルタを有する撮像画素３１は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する撮像画素３１は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。

本実施形態の撮像素子２２は、隣接する２画素×２画素の計４つの撮像画素３１から成る単位グループ３２ごとに、制御部２３によって個別に制御可能に構成されている。例えば、互いに異なる２つの単位グループ３２について、同時に電荷蓄積を開始したときに、一方の単位グループ３２では電荷蓄積開始から１／３０秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方の単位グループ３２では電荷蓄積開始から１／１５秒後に電荷の読み出しを行うことができる。換言すると、撮像素子２２は、１回の撮像において、単位グループ３２ごとに異なる露光時間（電荷蓄積時間であり、いわゆるシャッタースピード）を設定することができる。

撮像素子２２は、上述した露光時間以外にも、撮像信号の増幅率（いわゆるＩＳＯ感度）を単位グループ３２ごとに異ならせることが可能である。撮像素子２２は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングを単位グループ３２ごとに変化させることができる。すなわち、撮像素子２２は、動画撮像時のフレームレートを単位グループ３２ごとに変化させることができる。

以上をまとめると、撮像素子２２は、単位グループ３２ごとに、露光時間、増幅率、フレームレート等の撮像条件を異ならせることが可能に構成されている。例えば、撮像画素３１が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、単位グループ３２ごとに設けられ、単位グループ３２ごとに独立して撮像信号を読み出し可能に構成すれば、単位グループ３２ごとに露光時間（シャッタースピード）を異ならせることができる。また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路を単位グループ３２ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、単位グループ３２ごとに信号の増幅率（ＩＳＯ感度）を異ならせることができる。

なお、単位グループ３２を構成する撮像画素３１の数は、上述した２×２の４画素でなくてもよい。単位グループ３２は、少なくとも１個の撮像画素３１を有していればよいし、逆に、４個より多くの撮像画素３１を有していてもよい。また、単位グループ３２ごとに異ならせることが可能な撮像条件は、上述したもの以外であってもよい。例えば、単位グループ３２ごとに独立して制御可能な区画（１区画が１つの単位グループ３２に対応する）を有する液晶パネルを撮像素子２２に設け、オンオフ可能な減光フィルタとして利用すれば、単位グループ３２ごとに明るさ（絞り値）を制御することが可能になる。

次に、制御部２３の記録制御部が作成しメモリカード２５に記録する画像ファイル４０について説明する。図３は、本実施の形態に係る画像ファイルの構成を示す模式図である。画像ファイル４０は、ヘッダ部４１と、データ部４２の２つのブロックから成る。

ヘッダ部４１は、画像ファイル４０の先頭に位置するブロックであり、ファイル基本情報部４３と、マスク部４４と、撮像情報部４５とが、以上に述べた順序で格納されている。ファイル基本情報部４３には、例えば画像ファイル４０内の各部（ヘッダ部４１、データ部４２、マスク部４４、撮像情報部４５等）のサイズやオフセットが記録される。マスク部４４には、後述する撮像条件情報やマスク情報（撮像領域に関する情報）等が記録される。撮像情報部４５には、例えば撮像装置１０の機種名や撮像光学系２１の情報（例えば収差等の光学特性に関する情報）等、撮像に関する情報が記録される。データ部４２は、ヘッダ部４１の後ろに
位置するブロックであり、画像情報や音声情報等が記録される。

次に、撮像装置１０が有する撮像機能と、各撮像機能により作成（記録）される画像ファイル４０について説明する。ユーザは、操作部２６が有する操作部材に対して所定の操作を行い、以下に説明する各撮像機能を切り替える（選択する）ことができる。制御部２３は、選択されている撮像機能に基づき撮像を行い、画像ファイル４０を作成してメモリカード２５に記録する。

（１）静止画撮像機能Ａ（単一の静止画）
静止画撮像機能Ａは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して静止画を撮像する機能である。

図４（ａ）に、撮像素子２２の撮像画面５０（撮像範囲）と被写体５１とを模式的に示す。図４（ａ）に示した被写体５１を、静止画撮像機能Ａにより撮像する手順について説明する。制御部２３は、本撮像前に、一度、被写体５１を撮像する。以下、この本撮像に先立って行われる撮像を、予備撮像と称する。なお、予備撮像は、例えばライブビュー画像（いわゆるスルー画）の作成のために行われる撮像を兼ねていてもよい。

制御部２３は、予備撮像により得られた被写体５１の画像（被写体５１が写り込んでいる画像）に対して、所定の画像解析処理を実行する。画像解析処理は、例えば周知の被写体検出技術（特徴量を演算して所定の被写体が存在する範囲を検出する技術）により、主要被写体部分と背景部分とを検出する処理である。画像解析処理によって、撮像画面５０は、主要被写体部分が存在する主要被写体領域５２と、背景部分が存在する背景領域５３とに分割される。

なお、図４（ａ）では、被写体５１を大まかに含む領域を主要被写体領域５２として図示しているが、主要被写体領域５２は、被写体５１の外形に沿った形状であってもよい。つまり、被写体５１以外のものをできるだけ含まないように主要被写体領域５２を設定してもよい。

制御部２３の設定部は、主要被写体領域５２内の各単位グループ３２と、背景領域５３内の各単位グループ３２とで、異なる撮像条件を設定する。例えば、前者の各単位グループ３２には、後者の各単位グループ３２に比べて高速なシャッタースピードを設定する。このようにすると、本撮像において、主要被写体領域５２では像ぶれが発生しにくくなる。

また、背景領域５３に存在する太陽等の光源の影響で、主要被写体領域５２が逆光状態となっている場合には、前者の各単位グループ３２に、相対的に高めのＩＳＯ感度を設定したり、低速なシャッタースピードを設定する。また、後者の各単位グループ３２に、相対的に低めのＩＳＯ感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、本撮像において、逆光状態の主要被写体領域５２の黒つぶれや、光量の大きい背景領域５３の白飛びを防止することができる。

なお、画像解析処理は、上述した主要被写体部分と背景部分とを検出する処理とは異なる処理であってもよい。例えば、撮像画面５０全体のうち、明るさが一定以上の部分（明るすぎる部分）や明るさが一定未満の部分（暗すぎる部分）を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部２３は、前者の領域に含まれる単位グループ３２について、露出値（Ｅｖ値）が他の領域に含まれる単位グループ３２よりも低くなるようにシャッタースピードやＩＳＯ感度を設定する。また、後者の領域に含まれる単位グループ３２については、露出値（Ｅｖ値）が他の領域に含まれる単位グループ３２よりも高くなるようにシャッタースピードやＩＳＯ感度を設定する。このようにすることで、本撮像により得られる画像のダイナミックレンジを、撮像素子２２の本来のダイナミックレンジよりも広げることができる。

図５は、静止画撮像機能Ａを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。マスク部４４には、識別情報６０と、撮像条件情報６１と、マスク情報６２ａが、以上に述べた順序で記録される。識別情報６０は、この画像ファイル４０が静止画撮像機能Ａによって作成されたものである旨を表す情報である。

撮像条件情報６１は、単位グループ３２にどのような用途（目的、役割）が存在するかを表す情報である。例えば、上述したように、撮像画面５０（図４（ａ））を主要被写体領域５２と背景領域５３とに分割する場合、各々の単位グループ３２は、主要被写体領域５２に属するか、背景領域５３に属するかのいずれかである。つまり、単位グループ３２は、「主要被写体部分を静止画撮像する」という用途か、「背景部分を静止画撮像する」という用途か、のいずれかの用途を有している。撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２に「主要被写体部分を静止画撮像する」、「背景部分を静止画撮像する」という２種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１という番号が「主要被写体部分を静止画撮像する」用途を、２という番号が「背景部分を静止画撮像する」用途にそれぞれ割り当てられる。

マスク情報６２ａは、各々の単位グループ３２の用途（目的、役割）を表す情報である。本実施形態では、マスク情報６２ａを、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」としている。つまり、二次元状に配列された単位グループ３２を２つの整数ｘ、ｙによる二次元座標（ｘ、ｙ）で特定するとき、（ｘ、ｙ）の位置に存在する単位グループ３２の用途は、マスク情報６２ａの（ｘ、ｙ）の位置に存在する番号により表現される。例えば、マスク情報６２ａの座標（３，５）の位置に「１」という番号が入っていた場合、座標（３，５）に位置する単位グループ３２には、「主要被写体部分を静止画撮像する」という用途が与えられたことがわかる。換言すると、座標（３，５）に位置する単位グループ３２は、主要被写体領域５２に属することがわかる。

図４（ａ）に示した撮像画面５０に対応するマスク情報６２ａの例を、図４（ｂ）に示す。主要被写体領域５２に属する単位グループ３２の位置には「１」が、背景領域５３に属する単位グループ３２の位置には「２」がそれぞれ格納されている。

データ部４２には、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とが、以上に述べた順序で格納される。マスク情報６２ｂは、マスク部４４に格納されるマスク情報６２ａと同一の情報である。ここで、マスク部４４とデータ部４２の両方に同一のマスク情報６２ａ、６２ｂを格納しているのは、画像ファイル４０の扱いが容易になるようにするためである。

詳細は後述するが、他の機能により作成される画像ファイル４０では、マスク部４４とデータ部４２に互いに異なるマスク情報６２ａ、６２ｂを格納することがある。静止画撮像機能Ａにおいて、例えばデータ部４２にマスク情報６２ｂを格納し、マスク部４４にはマスク情報６２ａを格納しないことにすると、機能ごとに画像ファイル４０の構造が変化することになる。このようにすると、画像ファイル４０の扱いが煩雑になるため、本実施形態では、あえてマスク部４４とデータ部４２の両方に同一のマスク情報６２ａ、６２ｂを入れ、機能ごとの画像ファイル４０の構造の違いを最小限にしている。なお、マスク情報６２ａ、６２ｂのいずれか一方を省略してもよく、その場合には、画像ファイル４０が占有する記憶領域のサイズを削減することが可能となる。また、マスク情報６２ａ、６２ｂの両方が記録されていた場合であっても、識別情報によりマスク情報６２ａ、６２ｂの両方を読み込む必要があるか否かがわかるので、一方が再生処理等に不要であると判断した場合には、その一方の読み込みをスキップすることで、ファイル読み込み時間を短縮することができる。

なお、以下の説明では、マスク部４４に格納されるマスク情報６２ａと、データ部４２に格納されるマスク情報６２ｂとを、マスク情報６２と総称する。

画像情報６４は、本撮像により撮像素子２２から出力された撮像信号を、種々の画像処理を施す前の形で記録した情報であり、いわゆるＲＡＷ画像データである。Ｔｖ値マップ６５は、単位グループ３２ごとに設定されたシャッタースピードを表すＴｖ値を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報である。例えば座標（ｘ、ｙ）に位置する単位グループ３２に設定されたシャッタースピードは、Ｔｖ値マップ６５の座標（ｘ、ｙ）に格納されているＴｖ値を調べることで判別可能である。

Ｓｖ値マップ６６は、単位グループ３２ごとに設定されたＩＳＯ感度を表すＳｖ値を、Ｔｖ値マップ６５と同様に二次元マップの形で表現した情報である。Ｂｖ値マップ６７は、本撮像に際して単位グループ３２ごとに測定された被写体輝度、すなわち、各々の単位グループ３２に入射した被写体光の輝度を表すＢｖ値を、Ｔｖ値マップ６５と同様に二次元マップの形で表現した情報である。Ａｖ値情報６８は、本撮像時の絞り値を表す情報である。本実施形態において、Ａｖ値は、Ｔｖ値、Ｓｖ値、Ｂｖ値とは異なり、単位グループ３２ごとに存在する値ではない。従って、Ｔｖ値、Ｓｖ値、Ｂｖ値とは違い、Ａｖ値は単一の値のみが格納され、複数の値を二次元状にマップした情報とはなっていない。

以上のように、制御部２３の記録制御部は、静止画撮像機能Ａによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式（時系列型）と呼ぶ。

なお上述の説明では、画像情報６４がＲＡＷ画像データであるものとして説明を行ったが、ＲＡＷ画像データではなく圧縮（現像）された画像データであってもよい。

（２）動画撮像機能Ａ（単一の動画）
動画撮像機能Ａは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して、動画を撮像する機能である。静止画撮像機能Ａとの違いは、静止画ではなく動画を撮像する点である。静止画ではなく動画を撮像するため、静止画撮像機能Ａで述べた「各々の単位グループ３２の用途」が、フレームごとに変化する可能性がある。

図６（ａ）に、撮像素子２２の撮像画面５０（撮像範囲）と、被写体５１とを模式的に示す。制御部２３は、本撮像前に予備撮像を行う。そして、予備撮像により得られた被写体５１の画像（被写体５１が写り込んでいる画像）に対して、所定の画像解析処理を実行する。画像解析処理によって、撮像画面５０は、主要被写体部分が存在する主要被写体領域５２と、背景部分が存在する背景領域５３とに分割される。制御部２３の生成部は、主要被写体領域５２内の各単位グループ３２と、背景領域５３内の各単位グループ３２とで、異なる撮像条件を設定して、１フレーム目の本撮像を行い、画像データを作成する。このときのマスク情報６２の例を、図６（ｂ）に示す。図６（ｂ）に示したマスク情報６２では一例として、主要被写体領域５２に属する単位グループ３２に「１」という番号を、背景領域５３に属する単位グループ３２に「２」という番号を割り振っている。

次に、制御部２３は、１フレーム目の画像データに対して、画像解析処理を実行し、主要被写体部分と背景部分とを検出する。これにより、１フレーム目の画像データは、図６（ｃ）に示すように、主要被写体領域５２と背景領域５３とに分割される。制御部２３の設定部は、主要被写体領域５２内の各単位グループ３２と、背景領域５３内の各単位グループ３２とで、異なる撮像条件を設定して、２フレーム目の本撮像を行い、画像データを作成する。このときのマスク情報６２の例を、図６（ｄ）に示す。

予備撮像の結果に対応するマスク情報６２（図６（ｂ））と、１フレーム目の本撮像の結果に対応するマスク情報６２（図６（ｄ））とでは、異なる時刻に撮像を行っている（時間差がある）ため、例えば被写体５１が移動している場合や、ユーザが撮像装置１０を動かした場合に、これら２つのマスク情報６２が異なる内容になる。換言すると、マスク情報６２は、時間経過に伴い変化する動的情報である。従って、ある単位グループ３２において、１フレーム目の本撮像時と２フレーム目の本撮像時とで、異なる撮像条件が設定されることになる。

制御部２３の記録制御部は、画像ファイル４０に、各フレームの画像情報６４と共に、各フレームのマスク情報６２ｂ、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を記録する。従って、撮像後に、画像ファイル４０から、撮像時の情報を余すところなく取得することができ、動画再生等にそれらの情報を有効活用することができる。

なお、３フレーム目以降の本撮像時の処理は、上述した２フレーム目の処理と同様であるので、説明を省略する。制御部２３は、撮像が完了するまで（例えば所定の時間が経過するか、ユーザが所定の撮像終了操作を行うまで）上述した処理を繰り返し実行する。

図７は、動画撮像機能Ａを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図５に示した静止画撮像機能Ａの場合との違いについて詳述する。

識別情報６０は、この画像ファイル４０が動画撮像機能Ａによって作成されたものである旨を表す。撮像条件情報６１は、静止画撮像機能Ａの撮像条件情報６１にフレームレートを付け加えたものである。つまり、撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２に例えば「主要被写体部分を６０ｆｐｓで動画撮像する」、「背景部分を３０ｆｐｓで動画撮像する」という２種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１という番号が「主要被写体部分を６０ｆｐｓで動画撮像する」用途を、２という番号が「背景部分を３０ｆｐｓで動画撮像する」用途にそれぞれ割り当てられる。

マスク情報６２ａは、上述した静止画撮像機能Ａと同様の情報である。ただし動画撮像の場合、前述の通り、マスク情報６２はフレームごとに変化する動的情報なので、どのフレームのマスク情報６２がヘッダ部４１に記録されるのかを決めなければならない。本実施形態では、１フレーム目の撮像の際に各単位グループ３２に設定された撮像条件を表すマスク情報６２ａ、すなわち、図６（ｂ）に例示したマスク情報６２を、ヘッダ部４１に記録する。このようにしたのは、静止画撮像機能Ａの説明でも述べた通り、画像ファイル４０の扱いが煩雑になることを防ぐためである。

データ部４２には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２と、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、データ部４２には、フレームごとのブロック７０と共に、音声情報７１が格納される。音声情報７１は、動画再生を行いやすいように、１フレーム分の情報ごとに分割され、ブロック７０と多重化されてデータ部４２に格納されている。なお、音声情報７１の多重化は、１フレーム分でなく、所定数のフレーム分ごとに行ってもよい。ブロック７０内の各情報は、１フレーム毎に記録されることを除き、静止画撮像機能Ａの場合と同様であるので説明を省略する。

なお、画像ファイル４０に、各フレームの画像情報と共に、各フレームのマスク情報６２ｂを記録するものに限定されない。例えば、監視カメラによる動画撮像の場合のように、同一の撮像シーンが連続するようなときには、撮像シーンの変化、即ちマスク情報６２に変化が生じるまで、初期フレームのマスク情報６２を使用する。この場合、制御部２３の記録制御部は、第１フレーム目の撮像の際に設定されたマスク情報６２ａをヘッダ部４１に記録する。第２フレーム目の撮像の際に設定されたマスク情報６２が第１フレーム目のマスク情報６２ａと同一の場合には、制御部２３の記録制御部は、データ部４２の第２フレーム目のブロック７０にはマスク情報６２ｂを記録せず、かつ、マスク情報６２ｂが無いことを示す情報（マスク有無情報）を付与する。マスク有無情報として、例えば「１」という番号が付与されている場合にはデータ部４２にマスク情報６２ｂが記録されていることを示し、「０」という番号が付与されている場合にはデータ部４２にマスク情報６２ｂが付与されていないことを示す。即ち、上記の第２フレーム目のブロック７０にはマスク有無情報として「０」が付与される。

以後のフレームについても、撮像されたシーンが第１フレーム目と同一の場合には、データ部４２のそれぞれのブロック７０には、マスク情報６２ｂは記録されず、上記のマスク有無情報として「０」が付与される。撮像されたシーンが第１フレーム目で撮像されたシーンから変化した場合には、制御部２３の記録制御部は、データ部４２の当該フレームのブロック７０に、マスク有無情報として「１」を付与し、シーンの変化に応じて設定されたマスク情報６２ｂを記録する。これにより、同一の撮像シーンが連続するような場合には、データ部４２のマスク情報６２ｂを削減して、記憶領域のサイズを削減することが可能となる。

さらには、撮像シーンが直前のフレームと同一の場合には、直前のマスク情報６２を使用するようにしても良い。この場合、制御部２３の記録制御部は、第１フレーム目の撮像の際に設定されたマスク情報６２ａをヘッダ部４１に記録する。第２フレーム目の撮像の際に設定されたマスク情報６２が第１フレーム目のマスク情報６２ａと同一の場合には、制御部２３の記録制御部は、データ部４２の第２フレーム目のブロック７０にはマスク情報６２ｂを記録せず、かつ、マスク情報６２ｂが直前のフレームのマスク情報６２ａと同一であることを示す情報（マスク同一情報）を付与する。このマスク同一情報として、例えば「１」という番号が付与されている場合には、直前のフレームと撮像シーンが異なるためデータ部４２にマスク情報６２ｂが記録されていることを示す。「０」という番号が付与されている場合には、直前のフレームと撮像シーンが同一のためデータ部４２にマスク情報６２ｂが付与されていないことを示す。即ち、第２フレーム目のブロック７０にはマスク同一情報として「０」が付与される。

第３フレーム目の撮像シーンが第２フレーム目の撮像シーンと異なる場合には、制御部２３の記録制御部は、第３フレーム目のマスク情報６２を設定し、データ部４２の第３フレーム目のブロック７０に、マスク同一情報として「１」を付与し、マスク情報６２ｂを記録する。以後のフレームにおいても、制御部２３の記録制御部は、直前のフレームの撮像シーンと異なる撮像シーンが得られた場合にはデータ部４２の当該フレームのブロック７０にマスク同一情報として「１」を付与した上でマスク情報６２ｂを記録し、同一の撮像シーンが得られた場合にはマスク同一情報として「０」を付与しマスク情報６２ｂを記録しない。これにより、同一の撮像シーンが連続するような場合には、データ部４２のマスク情報６２ｂを削減して、記憶領域のサイズを削減することが可能となる。

以上のように、制御部２３の記録制御部は、動画撮像機能Ａによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式（時系列型）と呼ぶ。

（３）静止画撮像機能Ｂ（複数の静止画）
静止画撮像機能Ｂは、１回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画を同時に複数枚撮像する機能である。

図８（ａ）に、撮像素子２２の撮像面３０を模式的に示す。また、図８（ｂ）に、撮像面３０の一部領域３０ｂを拡大した模式図を示す。静止画撮像機能Ｂでは、二次元状に配置された複数の単位グループ３２を、更に複数の大グループ８１に分類する。このとき、ある大グループ８１に属する単位グループ３２が、撮像面８０全体に一様に配置されるように単位グループ３２を分類する。例えば図８（ｂ）では、全ての単位グループ３２を、２×２の４つの単位グループ３２から成るブロック８２に分割し、各ブロック８２の左上の単位グループ３２を１つ目の大グループ８１１に、左下の単位グループ３２を２つ目の大グループ８１２に、右上の単位グループ３２を３つ目の大グループ８１３に、右下の単位グループ３２を４つ目の大グループ８１４に分類している。なお図８（ｂ）では、模式的に図示した四角形１つが１つの単位グループ３２を表しており、四角形の中に記載した数字は、その単位グループ３２が属する大グループ８１の種類を表している。

制御部２３は、本撮像の際、１つ目の大グループ８１１に属する単位グループ３２と、２つ目の大グループ８１２に属する単位グループ３２と、３つ目の大グループ８１３に属する単位グループ３２と、４つ目の大グループ８１４に属する単位グループ３２とで、撮像条件を異ならせる。例えば、シャッタースピードやＩＳＯ感度を互いに異なる値に設定して本撮像を行う。制御部２３の記録制御部は、このようにして撮像した画像情報を画像ファイル４０に記録する。ここで記録される画像情報は、図８（ｃ）に模式的に示すように、各画素値を大グループ８１ごとに集約して利用することを意図したものである。

例えば、図８（ｃ）に示すように、１つ目の大グループ８１１に属する単位グループ３２に対応する画素値だけを画像情報６４から抽出して二次元状に並べると、撮像素子２２の画素数の１／４の画素値から成る第１の画像情報６４１が得られる。同様に、２つ目の大グループ８１に属する単位グループ３２に対応する画素値だけを画像情報６４から抽出して二次元状に並べると、撮像素子２２の画素数の１／４の画素値から成り、上述した第１の画像情報６４１とは異なる撮像条件で撮像された、第１の画像情報６４１と同一の被写体５１が写っている第２の画像情報６４２が得られる。同様に、第３の画像情報６４３、第４の画像情報６４４が得られる。これら４つの画像情報６４１、６４２、６４３、６４４は、全て、同一の被写体５１を撮像した画像であり、且つ、互いに撮像条件が異なる画像である。つまり、最初に述べたように、１回の撮像で、互いに撮像条件が異なる、同一の被写体５１に関する４つの静止画が同時に撮像されたといえる。

なお、画像ファイル４０内の画像情報６４は、撮像素子２２の各撮像画素３１からの画素出力を、撮像画素３１の位置通りに配列した画像である。つまり、上述した４つの画像情報６４１、６４２、６４３、６４４を作成する処理は、メモリカード２５から画像ファイル４０を読み出す再生時や現像時に行われることになる。また、その画像情報６４は、必ずしも４つの画像情報６４１、６４２、６４３、６４４を作成するためだけのものではない。画像情報６４をそのまま利用（再生等）してしまうと、隣接する単位グループ３２ごとに撮像条件が異なっているため、例えば市松模様が現れた不自然な画像になってしまう。しかしながら、画像ファイル４０には、単位グループ３２ごとの撮像条件（例えばＴｖ値、Ｓｖ値等）が記録されているので、それらの撮像条件と画像情報６４とを組み合わせて現像すれば、そのような不自然な画像となることを防ぐことができる。例えば、他の単位グループ３２よりも露出値（Ｅｖ値）が高い単位グループ３２では、他の単位グループ３２よりも明るさを抑えて現像を行えばよい。

以上では単位グループ３２を４つの大グループ８１１、８１２、８１３、８１４に分類した例について説明したが、４つに限らず、任意の数の大グループ８１に分類し、任意の数の静止画を同時に撮像してよい。また、大グループ８１のレイアウト（単位グループ３２の分類方法）も、２×２の単位グループ３２を１つずつ異なる大グループ８１に分類するというものに限らない。

この点について、図９（ａ）、（ｂ）に例を挙げる。図９（ａ）では、全ての単位グループ３２を、３×３の計９個の組に区切り、各々の組において、前記組に含まれる９個の単位グループ３２を、それぞれ１〜９番目の大グループ８１に割り当てている。このようなレイアウトを採用することで、１回の撮像で、撮像条件が異なる９つの画像６４１〜６４９を同時に撮像することができる。また、図９（ｂ）では、全ての単位グループ３２を、３×３の計９個の組に区切り、各々の組において、左上隅の単位グループ３２を１つ目の大グループ８１に割り当て、右下の２×２の計４個の単位グループ３２を、２つ目の大グループ８１に割り当てている。残りの４個の単位グループ３２は、撮像に利用しないものとしている。このようにすると、１回の撮像で、撮像条件が異なる２つの画像６４１、６４２を同時に撮像することができるが、２つ目の大グループ８１に対応する画像６４２は、１つ目の大グループ８１に対応する画像６４１に比べて、４倍の画素数を有する画像になる。つまり、１回の撮像で、撮像条件が異なる２つの画像６４１、６４２を同時に撮像することができ、且つ、それら２つの画像６４１、６４２は、互いに画素数が異なるものとなる。

図１０は、静止画撮像機能Ｂを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図５に示した静止画撮像機能Ａの場合との違いについて詳述する。

識別情報６０は、この画像ファイル４０が静止画撮像機能Ｂによって作成されたものである旨を表す。撮像条件情報６１は、単位グループ３２にどのような用途が存在するかを表す情報である。静止画撮像機能Ｂにおいては、各々の単位グループ３２は、例えば「第１の画像情報６４１を構成する」という用途か、「第２の画像情報６４２を構成する」という用途か、「第３の画像情報６４３を構成する」という用途か、「第４の画像情報６４４を構成する」という用途か、のいずれかの用途を有している。撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２にそれら４種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１〜４の番号が、それぞれ「第１〜第４の画像情報６４１〜６４４を構成する」用途に割り当てられる。

静止画撮像機能Ｂにおけるマスク情報６２ａは、静止画撮像機能Ａの場合と同様に、各々の単位グループ３２の用途を表す情報である。すなわち、マスク情報６２ａは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報６２ａの座標（３，５）に「１」という番号が入っていた場合、座標（３，５）の単位グループ３２は１番目の大グループ８１１に属する、すなわち、第１の画像情報６４１を構成することがわかる。

なお、本実施形態において、「０」という番号を持つ大グループ８１は、撮像に利用されなかった単位グループ３２を表す特別な大グループ８１である。つまり、マスク情報６２ａにおいて「０」という番号が割り振られている単位グループ３２は、撮像に利用されておらず（本撮像時に撮像信号が読み出されておらず）、データ部４２に記録されている画像情報６４には、その単位グループ３２に関する情報が含まれていない（または、その単位グループ３２に関する情報として、有効でないダミーの情報が記録されている）ことを表す。

例えば、同時に３通りの撮像条件で撮像できれば十分であり、４通りの撮像条件で撮像する必要がない場合には、図８（ｂ）に示した単位グループ３２のうち、「４」と書かれた単位グループ３２のマスク情報６２ａに「０」という番号を割り当てればよい。

データ部４２の構成は、静止画撮像機能Ａと同一である。すなわち、データ部４２には、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とが格納される。また、マスク情報６２ｂは、マスク部４４に格納されるマスク情報６２ａと同一の情報である。

なお、マスク情報６２ｂとして、マスク部４４のマスク情報６２ａと同一の情報ではなく、単位グループ３２の各々の有効・無効を表す情報を格納してもよい。例えば、撮像に利用されていない（撮像時に撮像信号が読み出されていない）単位グループ３２に数値「０」、撮像に利用された（撮像時に撮像信号が読み出された）単位グループ３２に数値「１」を割り当て、それを単位グループ３２の位置に合わせて二次元状に配列したマップをマスク情報６２ｂとしてデータ部４２に格納してもよい。後述する動画撮像機能Ｂや混合撮像機能においても同様である。

以上のように、制御部２３の記録制御部は、静止画撮像機能Ｂによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式（画像集合型）と呼ぶ。

（４）動画撮像機能Ｂ（複数の動画）
動画撮像機能Ｂは、１回の撮像で、互いに撮像条件が異なる、同一の被写体に関する動画を同時に撮像する機能である。静止画撮像機能Ｂとの違いは、静止画ではなく動画を撮像する点である。動画の撮像ではあるものの、動画撮像機能Ａのように、ある大グループ８１に分類された単位グループ３２が、フレームごとに異なる大グループ８１に分類されることはない。ただし、フレームレートの設定によっては、あるフレームに含まれていた（あるフレームで有効であった）単位グループ３２が、別のフレームには含まれていない（別のフレームでは無効である）ことがある。以下、フレームレートの設定別に、動画撮像機能Ｂについて説明する。

（４−１）全ての大グループ８１でフレームレートが統一されている場合
図１１は、全ての大グループ８１において、フレームレートが同一の場合の動画撮像機能Ｂの説明図である。この場合、大グループ８１ごとに異なる撮像条件とは、フレームレート以外の撮像条件（例えばシャッタースピードやＩＳＯ感度等）である。露出時間は異なるとしても、フレームレート、すなわち信号読み出しの周期は同一であるため、全ての大グループ８１において、撮像信号の読み出しはフレームレートに対応する所定周期Ｔ１ごとに行われる。

全ての単位グループ３２において同一のフレームレートで撮像が行われるので、全てのフレームにおいて、全ての単位グループ３２が撮像に利用されている。換言すると、全てのフレームにおいて、全ての単位グループ３２から撮像信号が読み出され、全てのフレームの画像情報６４に、全ての単位グループ３２から読み出された撮像信号が含まれている。例えば、撮像開始時刻ｔ０から所定周期Ｔ１だけ後の時刻ｔ１に、１つ目の画像情報６４が作成される。この画像情報６４には、１番目の大グループ８１における１フレーム目（図１１で＃１と表記したフレーム。以下同様）の画像と、２番目の大グループ８１における１フレーム目の画像と、３番目の大グループ８１における１フレーム目の画像と、４番目の大グループ８１における１フレーム目の画像と、が含まれる。２つ目以降の画像情報６４についても同様である。

（４−２）大グループ８１ごとにフレームレートが統一されていない場合
図１２は、全ての大グループ８１に、互いに異なるフレームレートが設定されている場合の動画撮像機能Ｂの説明図である。この例において、１番目の大グループ８１１には６０ｆｐｓ、２番目の大グループ８１２には５０ｆｐｓ、３番目の大グループ８１３には２４ｆｐｓ、４番目の大グループ８１４には２５ｆｐｓのフレームレートがそれぞれ設定されている。

このように、大グループ８１同士でフレームレートが異なる場合、制御部２３の記録制御部は、もっとも早いフレームレートを基準として各フレームを記録する。つまり、６０ｆｐｓに対応する所定周期Ｔ２（約１６．７ミリ秒）ごとに、画像情報６４が記録される。例えば、撮像開始時刻ｔ０から所定周期Ｔ２だけ後の時刻ｔ１１には、１番目の大グループ８１１に属する単位グループ３２から読み出された撮像信号に基づく画像情報６４が作成され、画像ファイル４０に記録される。時刻ｔ１１の時点では、他の大グループ８１２、８１３、８１４において１フレーム目の撮像信号の読み出しが為されていないため、この画像情報６４には、それらの撮像信号は含まれていない。なお図１２では、特定の単位グループ３２から撮像信号が読み出されておらず、画像情報６４にその撮像信号が含まれていないことを、「Ｘ」という記号で表記している。

時刻ｔ１１から所定周期Ｔ２だけ後の時刻ｔ１２では、１番目の大グループ８１１の２回目（２フレーム目）の本撮像だけでなく、２番目の大グループ８１２（５０ｆｐｓ）の１回目（１フレーム目）の本撮像も完了している。そこで、制御部２３の記録制御部は、１番目の大グループ８１１に属する単位グループ３２と２番目の大グループ８１２に属する単位グループ３２から読み出した撮像信号を、画像ファイル４０に記録する。３番目の大グループ８１３に属する単位グループ３２や４番目の大グループ８１４に属する単位グループ３２からは撮像信号が読み出されず、画像ファイル４０にも記録されない。

このように、大グループ８１同士でフレームレートが異なる場合、画像情報６４の一部が欠落している（無効になっている）ことがある。制御部２３の記録制御部は、フレームごとに記録するマスク情報６２ｂによって、特定の単位グループ３２に対応する撮像信号が画像情報６４に含まれていないことを示す。具体的なマスク情報６２ｂの構成については後に述べる。

図１３は、動画撮像機能Ｂを用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図７に示した動画撮像機能Ａや図１０に示した静止画撮像機能Ｂの場合との違いについて詳述する。

識別情報６０は、この画像ファイル４０が動画撮像機能Ｂによって作成されたものである旨を表す。撮像条件情報６１は、単位グループ３２にどのような用途が存在するかを表す情報である。動画撮像機能Ｂにおける撮像条件情報６１は、静止画撮像機能Ｂの撮像条件情報６１にフレームレートを付け加えたものである。つまり、撮像条件情報６１は、この画像ファイル４０の作成に際し、単位グループ３２に例えば「６０ｆｐｓの動画である第１の画像情報６４１を構成する」、「５０ｆｐｓの動画である第２の画像情報６４２を構成する」、「２４ｆｐｓの動画である第３の画像情報６４３を構成する」、「２５ｆｐｓの動画である第４の画像情報６４４を構成する」という４種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１〜４の番号が、それぞれ「第１〜第４の画像情報６４１〜６４４を構成する」用途に割り当てられる。

動画撮像機能Ｂにおけるマスク情報６２ａは、静止画撮像機能Ｂの場合と同様に、各々の単位グループ３２の用途を表す情報である。すなわち、マスク情報６２ａは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報６２ａの座標（３，５）に「１」という番号が入っていた場合、座標（３，５）の単位グループ３２は１番目の大グループ８１１に属する、すなわち、第１の画像情報６４１を構成することがわかる。

データ部４２の構成は、動画撮像機能Ａと同一である。すなわち、データ部４２には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、データ部４２には、フレームごとのブロック７０と共に、音声情報７１が格納される。

マスク情報６２ｂには、上述した撮像条件情報６１により特定される番号（例えば１〜４の番号）だけでなく、「０」という番号が格納されることがある。この「０」という番号は、対応するフレームにおいて、単位グループ３２が、撮像に利用されていない（撮像時に撮像信号が読み出されていない）ことを表す。上述のように、フレームレートが異なる複数の動画を撮像する場合、あるフレームの画像情報６４には、特定の単位グループ３２に対応する撮像信号が格納されていないことがある。このような場合、制御部２３は、前記フレームにおいて、その単位グループ３２に対応するマスク情報６２の数値を「０」に設定する。ここで、マスク情報６２ｂの数値が「０」に設定された単位グループ３２については、画像情報６４以外の情報、すなわち、Ｔｖ値マップ６５内のＴｖ値、Ｓｖ値マップ６６内のＳｖ値、Ｂｖ値マップ６７内のＳｖ値についても、有効な値が記録されない。

なお、マスク情報６２ｂの数値が「０」に設定された単位グループ３２について、その単位グループ３２の前フレームにおける撮像信号を、画像情報６４に記録するようにしてもよい。Ｔｖ値マップ６５内のＴｖ値、Ｓｖ値マップ６６内のＳｖ値、Ｂｖ値マップ６７内のＳｖ値についても同様に、前フレームにおける値を記録するようにしてもよい。後述する混合撮像機能についても同様である。

また、上述した（４−２）のように大グループ８１同士でフレームレートが異なる場合であっても、データ部４２にマスク情報６２ｂを記録しなくても良い。例えば、上述した、１番目の大グループ８１１には６０ｆｐｓ、２番目の大グループ８１２には５０ｆｐｓ、３番目の大グループ８１３には２４ｆｐｓ、４番目の大グループ８１４には２５ｆｐｓのフレームレートがそれぞれ設定されている場合であっても、所定の周期で全ての大グループ８１を構成する単位グループ３２から撮像信号が読み出される。即ち、所定の周期ごとに、何れの単位グループ３２にもマスク情報６２として「０」が格納されないフレームが規則性を有して現れる。制御部２３の記録制御部は、この規則性を示す情報を生成してヘッダ部４１に記録し、データ部４２にマスク情報６２ｂを記録しない。この場合、制御部２３の記録制御部は、規則性を示す情報として、図１２に示す場合を例に挙げると、第１フレームは大グループ８１１が有効かつ大グループ８１２〜８１４が無効、第２フレームは大グループ８１１、８１２が有効かつ大グループ８１３、８１４が無効、第３フレームは大グループ８１１〜８１４が有効を示す情報をヘッダ部４１に記録すれば良い。規則性を有する情報が記録されることにより、各フレーム毎にマスク情報６２ｂを記録する必要がなくなり、画像ファイル４０が占有する記録領域のサイズを削減できる。

以上のように、制御部２３の記録制御部は、動画撮像機能Ｂによる撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式（画像集合型）と呼ぶ。

（５）混合撮像機能（動画と静止画）
混合撮像機能は、静止画撮像機能Ｂと動画撮像機能Ｂを組み合わせた機能であり、１回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画と動画を同時に撮像する機能である。

混合撮像機能において、制御部２３は、静止画撮像機能Ｂや動画撮像機能Ｂと同様に、二次元状に配置された複数の単位グループ３２を、更に複数の大グループ８１に分類する。制御部２３は、一部の大グループ８１について、動画撮像機能Ｂと同様に動画撮像を行う。制御部２３は、その動画撮像中に、残りの大グループ８１を用いて、静止画撮像機能Ｂと同様に静止画撮像を行う。この静止画撮像は、例えば一定周期で繰り返し行ってもよいし（自動撮像）、ユーザにより特定の操作が為されたことに応じて行ってもよい（手動撮像）。

図１４は、混合撮像機能の説明図である。ここでは４つの大グループ８１１〜８１４を仮定し、そのうち１番目の大グループ８１１で６０ｆｐｓの動画撮像を、２番目の大グループ８１２で５０ｆｐｓの動画撮像を、３番目と４番目の大グループ８１３、８１４で静止画を撮像するものとしている。

制御部２３は、動画撮像機能Ｂと同様に、もっとも早いフレームレート（例えば６０ｆｐｓ）を基準として、各フレームを記録する。静止画撮像が行われない間、３番目と４番目の大グループ８１３、８１４に属する単位グループ３２については、常に撮像信号の読み出しが行われない。つまり、フレームごとに記録される画像情報６４には、静止画に対応する３番目と４番目の大グループ８１３、８１４に属する単位グループ３２の撮像信号が含まれない。制御部２３は、静止画撮像を行った場合、静止画撮像が完了したタイミング（３番目と４番目の大グループ８１３、８１４に属する単位グループ３２から撮像信号を読み出したタイミング）で、直後のフレームに対応する画像情報６４に、静止画撮像により読み出した撮像信号を含ませる。

図１５は、混合撮像機能を用いて撮像した場合に作成される画像ファイル４０の構成を模式的に示す図である。以下、図１３に示した動画撮像機能Ｂの場合との違いについて詳述する。

識別情報６０は、この画像ファイル４０が混合撮像機能によって作成されたものである旨を表す。撮像条件情報６１は、単位グループ３２にどのような用途が存在するかを表す情報である。混合撮像機能における撮像条件情報６１は、例えばこの画像ファイル４０の作成に際し、単位グループ３２に「６０ｆｐｓの動画である第１の画像情報６４１を構成する」、「３０ｆｐｓである動画である第２の画像情報６４２を構成する」、「静止画である第３の画像情報６４３を構成する」、「静止画である第４の画像情報６４４を構成する」という４種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、１〜４の番号が、それぞれ「第１〜第４の画像情報６４１〜６４４を構成する」用途に割り当てられる。

混合撮像機能におけるマスク情報６２ａは、動画撮像機能Ｂの場合と同様に、各々の単位グループ３２の用途を表す情報である。すなわち、マスク情報６２ａは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報６２ａの座標（３，５）に「１」という番号が入っていた場合、座標（３，５）の単位グループ３２は１番目の大グループ８１１に属する、すなわち、第１の画像情報６４１を構成することがわかる。

混合撮像機能では、ヘッダ部４１に、更にインデックス部７３が追加されている。インデックス部７３には、データ部４２に記録されている複数のブロック７０（複数のフレームにそれぞれ対応する）のうち、どのブロック７０に静止画が格納されているかを表すインデックス情報７４が記録されている。インデックス情報７４には、例えば、「５フレーム目の画像情報６４に含まれる第３の画像情報６４３に静止画が含まれている」というような情報が１つ乃至複数（静止画撮像の回数分だけ）含まれている。インデックス部７３は、多数のブロック７０の中から、静止画を素早く検索できるように設けられている。

なお、インデックス情報７４は、フレーム数に基づき静止画の記録位置を特定するものでなくてもよい。例えば、動画の再生時刻に基づき静止画の記録位置を特定することもできる。この場合、インデックス情報７４は、例えば「３分１５秒時点の画像情報６４に含まれる第３の画像情報６４３に静止画が含まれている」というような情報となる。

制御部２３の記録制御部は、混合撮像機能による撮像中に静止画の撮像を行う度に、静止画の撮像を行ったフレーム番号や時刻をインデックス部７３にインデックス情報７４として追記する。なお、メモリカード２５内の画像ファイル４０のインデックス部７３に直接追記するのではなく、ＤＲＡＭ２７に一時記憶しておき、混合撮像機能の終了時に、メモリカード２５内の画像ファイル４０のインデックス部７３にＤＲＡＭ２７内の情報を転送するようにしてもよい。

データ部４２の構成は、動画撮像機能Ｂと同一である。すなわち、データ部４２には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２と、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、データ部４２には、フレームごとのブロック７０と共に、音声情報７１が格納される。

以上のように、制御部２３の記録制御部は、混合撮像機能による撮像を行うことにより、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とが関連付けられた画像ファイル４０を、メモリカード２５に記録する。このような画像ファイルの保存形式を、本明細書では一括保存形式（画像集合型）と呼ぶ。

次に、制御部２３による画像の再生処理について説明する。画像の再生処理は、上述した種々の撮像機能によってメモリカード２５に記録された画像ファイル４０から、被写体の画像を作成する処理である。制御部２３は、作成した画像を、例えば液晶モニタ２４に表示したり、メモリカード２５に上述した画像ファイル４０とは別のファイルとして記録したりする。

制御部２３の読出部は、画像ファイル４０（図５、図７、図１０、図１３、図１５）を開き、まずファイル基本情報部４３を不図示の入力部を介して読み出す。これにより、画像ファイル４０のマスク部４４やデータ部４２等のオフセットおよびサイズが判明する。次に制御部２３の読出部は、画像ファイル４０のマスク部４４から、識別情報６０を不図示の入力部を介して読み出す。これにより、制御部２３は、この画像ファイル４０がどの撮像機能により作成されたファイルであるかを認識する。以降の処理は、撮像機能毎に異なる。そこで、以下、画像の再生処理を、上述した撮像機能ごとに説明する。

（１）静止画撮像機能Ａ（単一の静止画）
画像ファイル４０が、図５に示す、静止画撮像機能Ａにより作成されたファイルであると認識すると、制御部２３の読出部は、マスク部４４から、撮像条件情報６１およびマスク情報６２ａを不図示の入力部を介して読み出す。これにより、制御部２３の特定部は、撮像画面全体のうち、どの範囲（どの単位グループ３２）が主要被写体部分なのか、あるいは背景部分なのかを識別することができ、主要被写体部分と背景部分とで画作りを変化させることができる。例えば、主要被写体部分はより先鋭になるようにエッジ強調処理を施し、背景部分にはぼかし処理を施して主要被写体部分を強調することができる。

次に制御部２３の読出部は、データ部４２から、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出す。そして、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８に基づいて、画像情報６４にいわゆる現像処理を実行する。画像情報６４がＲＡＷデータである場合は、制御部２３の生成部は、例えば、色情報を有していない画像情報６４に対して、周知のデモザイク処理を実行し、色情報を有する画像を作成する。また、制御部２３は、Ｓｖ値マップ６６等に基づき、色彩や明るさ等の調整、ノイズ軽減等の画像処理を行う。例えば、Ｓｖ値が大きい（感度が高い）単位グループ３２には、他の単位グループ３２に比べてノイズが乗りやすい。そこで、制御部２３は、Ｓｖ値が大きいほど、ノイズ軽減の強度を高く（強く）する。制御部２３は、以上のようにして作成された画像を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。

以上のように、制御部２３の読出部は、静止画撮像機能Ａにより作成された画像ファイル４０を再生するに際し、画像情報６４等のデータ部４２に記録されている情報よりも先に、マスク部４４に記録されている撮像条件情報６１およびマスク情報６２ａを読み出す。マスク部４４はデータ部４２よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。

なお、前述の通り、データ部４２には、ヘッダ部４１に格納されているマスク情報６２ａと同一のマスク情報６２ｂが格納されている。そこで、制御部２３の読出部は、マスク情報６２ａの代わりに、データ部４２からマスク情報６２ｂを読み出してもよい。

（２）動画撮像機能Ａ（単一の動画）
画像ファイル４０が、図７に示す、動画撮像機能Ａにより作成されたファイルであると認識すると、制御部２３は、マスク部４４からマスク情報６２ａを読み出す。制御部２３は、撮像画面全体のうち、どの範囲（どの単位グループ３２）が主要被写体部分なのか、あるいは背景部分なのかを判別する。次に、制御部２３の読出部は、マスク部４４から撮像条件情報６１を読み出す。これにより、制御部２３は、主要被写体部分と背景部分のフレームレートを認識する。次に制御部２３の読出部は、データ部４２の先頭のブロック７０から順に、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出して、動画を構成する各フレームを作成する。

制御部２３の読出部は、各フレームを作成するに際し、ブロック７０から、まずマスク情報６２ｂを読み出す。そして、前記フレームにおいて、どの範囲（どの単位グループ３２）が主要被写体部分なのか、あるいは背景部分なのかを識別する。その後、制御部２３は、静止画撮像機能Ａの説明で述べたように、主要被写体部分と背景部分とで異なる画像処理を実行する。制御部２３は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。

以上のように、制御部２３は、動画撮像機能Ａにより作成された画像ファイル４０を再生するに際し、ブロック７０内に記録されている画像情報６４等の情報よりも先に、マスク情報６２ｂを読み出す。マスク情報６２ｂは画像情報６４等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。

なお、データ部４２の先頭ブロックのマスク情報６２ｂとマスク部４４に記録されたマスク情報６２ａとが同じ情報であるため、制御部２３の読出部は、マスク部４４からマスク情報６２ａを読み出さないようしてもよい。

（３）静止画撮像機能Ｂ（複数の静止画）
画像ファイル４０が、図１０に示す、静止画撮像機能Ｂにより作成されたファイルであると認識すると、制御部２３の読出部は、マスク部４４から、撮像条件情報６１およびマスク情報６２ａを読み出す。これにより、制御部２３は、同時に何種類の静止画が撮像されたのか、また、どの単位グループ３２がどの静止画を構成しているのかを識別する。すなわち、大グループ８１が何個存在し、各単位グループ３２がどの大グループ８１に属しているのかを識別する。

次に制御部２３の読出部は、データ部４２から、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出す。そして、制御部２３の生成部は、大グループ８１ごとに、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８に基づいて、画像情報６４にいわゆる現像処理を実行し静止画を作成する。これにより、複数の静止画（例えば４つの静止画）が作成される。制御部２３は、以上のようにして作成された画像を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。

以上のように、制御部２３は、静止画撮像機能Ｂにより作成された画像ファイル４０を再生するに際し、画像情報６４等のデータ部４２に記録されている情報よりも先に、マスク部４４に記録されている撮像条件情報６１およびマスク情報６２ａを読み出す。マスク部４４はデータ部４２よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。

なお、前述の通り、データ部４２には、ヘッダ部４１に格納されているマスク情報６２ａと同一のマスク情報６２ｂが格納されている。そこで、マスク情報６２ａの代わりに、データ部４２からマスク情報６２ｂを読み出してもよい。

（４）動画撮像機能Ｂ（複数の動画）
画像ファイル４０が、図１３に示す、動画撮像機能Ｂにより作成されたファイルであると認識すると、制御部２３の読出部は、マスク部４４からマスク情報６２ａと撮像条件情報６１を読み出す。これにより、制御部２３は、同時に何種類の動画が撮像されたのか、どの単位グループ３２がどの動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、大グループ８１が何個存在し、各単位グループ３２がどの大グループ８１に属しており、各大グループ８１はどのようなフレームレートで撮像されたのかを識別する。次に制御部２３は、データ部４２の先頭のブロック７０から順に、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出して、各動画を構成する各フレームを作成する。

制御部２３の読出部は、各フレームを作成するに際し、ブロック７０から、まずマスク情報６２ｂを読み出す。そして、制御部２３は、前記ブロック７０の画像情報６４にどの大グループ８１に対応する画素信号が含まれているのかを識別する。その後、制御部２３は、各大グループ８１に対応するフレームを作成するが、前記ブロック７０の画像情報６４に画素信号が含まれていない大グループ８１については、フレームを作成しない。制御部２３は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。

以上のように、制御部２３は、動画撮像機能Ｂにより作成された画像ファイル４０を再生するに際し、ブロック７０内に記録されている画像情報６４等の情報よりも先に、マスク情報６２ａ、６２ｂを読み出す。マスク情報６２ａ、６２ｂは画像情報６４等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。

なお、データ部４２の先頭ブロックのマスク情報６２ｂとマスク部４４に記録されたマスク情報６２ａとが同じ情報であるため、制御部２３の読出部は、マスク部４４からマスク情報６２ａを読み出さないようしてもよい。

（５）混合撮像機能（動画と静止画）
画像ファイル４０が、図１５に示す、混合撮像機能により作成されたファイルであると認識すると、制御部２３の読出部は、マスク部４４からマスク情報６２ａと撮像条件情報６１を読み出す。これにより、制御部２３は、同時に何種類の動画と何種類の静止画が撮像されたのか、どの単位グループ３２がどの静止画および動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、制御部２３は、大グループ８１が何個存在し、各大グループ８１は静止画なのか動画なのか、動画であればそのフレームレートはいくつか、各単位グループ３２がどの大グループ８１に属しているかを識別する。次に制御部２３の生成部は、データ部４２の先頭のブロック７０から順に、画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、およびＡｖ値情報６８を読み出して、各動画を構成する各フレーム、および、各静止画を作成する。

制御部２３は、動画の各フレームや静止画を作成するに際し、ブロック７０から、まずマスク情報６２ｂを読み出す。そして、前記ブロック７０の画像情報６４にどの大グループ８１に対応する画素信号が含まれているのかを識別する。その後、制御部２３は、各大グループ８１に対応するフレームや静止画を作成するが、前記ブロック７０の画像情報６４に画素信号が含まれていない大グループ８１については、フレームや静止画を作成しない。制御部２３は、以上のようにして作成したフレームから成る動画や静止画を、例えば液晶モニタ２４に表示したり、メモリカード２５に記録したりする。

以上のように、制御部２３の読出部は、混合撮像機能により作成された画像ファイル４０を再生するに際し、ブロック７０内に記録されている画像情報６４等の情報よりも先に、マスク情報６２ａ、６２ｂを読み出す。マスク情報６２ａ、６２ｂは画像情報６４等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。

なお、データ部４２の先頭ブロックのマスク情報６２ｂとマスク部４４に記録されたマスク情報６２ａとが同じ情報であるため、制御部２３の読出部は、マスク部４４からマスク情報６２ａを読み出さないようしてもよい。

画像の再生処理は、上述した種々の撮像機能によってメモリカード２５に記録された画像ファイル４０から、被写体の画像を作成する処理としたが、メモリカード２５に記録される前の画像ファイル４０に対して、静止画や動画を作成する処理であってもよい。制御部２３は、静止画や動画作成された後に、圧縮処理を施すようにしてもよい。

なお、撮像装置１０とは異なる電子機器（以後、再生装置と称する）が、上述した再生処理を実行するようにしてもよい。例えば、メモリカード２５を撮像装置１０から取り外し、撮像装置１０の外部に設けたＰＣ等の再生装置にメモリカード２５を装着すると、再生装置がメモリカード２５から画像ファイル４０を読み出して、上述した再生処理を実行し、画像を再生するようにしてもよい。また、撮像装置１０と再生装置との間で無線通信等のデータ通信を行うことにより、画像情報６４等の授受を行うようにしてもよい

上述した第１の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）撮像素子２２は、複数の単位グループ３２（撮像領域）を有しており、単位グループ３２毎に撮像条件が設定可能である。制御部２３の記録制御部は、撮像素子２２により生成された画像情報６４（画像データ）と、単位グループ３２毎の、撮像条件に関する撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等のデータ（撮像条件データ）とを関連付けて記録する。このようにしたので、各々の画素にどのような撮像条件が適用されているのかを、撮像結果である画像ファイル４０の再生時等に知ることができる、使い勝手のよい撮像装置１０を提供することができる。

（２）画像情報６４に関連づけて記録される、撮像条件に関する情報には、例えば撮像素子２２により被写体を撮像するときの露出に関する情報や、撮像素子２２により撮像された被写体の明るさに関する情報が含まれる。具体的には、撮像素子２２により撮像された被写体の輝度に関する情報であるＢｖ値マップ６７、不図示の光電変換部による電荷の蓄積時間であるＴｖ値マップ６５、不図示の増幅部による増幅率であるＳｖ値マップ６６等が含まれる。これらの情報は、いずれも、撮像素子２２の撮像動作に関する情報であると言うことができる。このようにしたので、画像ファイル４０の再生時に、より適切な画像処理を行うことができる。

（３）制御部２３の記録制御部は、画像情報６４に関連付けて、撮像の都度変化する撮像条件に関する情報を記録する。このようにしたので、画像ファイル４０ごとに適切な情報が付加され、再生時により適切な画像処理を行うことができる。

（４）制御部２３の記録制御部は、画像情報６４にそれぞれ対応する撮像条件に関する複数の情報を、単一の画像ファイル４０内に時系列順に記録する。このようにしたので、例えば画像ファイル４０に動画が記録されている場合に、それらの情報に基づく画像処理を容易に行うことができる。

（５）制御部２３の記録制御部は、ヘッダ部４１と画像情報６４を記録するデータ部４２（画像データ部）とを有する画像ファイル４０において、ヘッダ部４１及びデータ部４２のうち、少なくともいずれか一方に、撮像条件に関する情報を記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。

（６）制御部２３の記録制御部は、複数の単位グループ３２毎の用途に関する撮像条件情報６１およびマスク情報６２を、画像情報６４に関連付けて記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。

（７）マスク情報６２は、時間経過に伴い変化する動的情報を含んでいる。具体的には、画像情報６４に、単位グループ３２に属する撮像画素３１から読み出された画素信号に対応する画素値が含まれるか否かを表す情報か、もしくは、複数の単位グループ３２の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル４０の再生時に、動的情報を利用した画像処理を行うことができる。

（８）マスク情報６２は、時間経過に伴い変化しない静的情報を含んでいる。具体的には、複数の単位グループ３２の役割を表す情報を含んでいる。また、マスク情報６２ａは、撮像当初において、複数の単位グループ３２の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル４０の再生時に、静的情報を利用した画像処理を行うことができる。

（９）制御部２３の記録制御部は、複数の画像情報６４にそれぞれ対応する複数のマスク情報６２ｂを、単一の画像ファイル４０内に時系列順に記録する。このようにしたので、例えば画像ファイル４０の再生時に、撮像条件を時系列順に追跡することができる。

（１０）制御部２３の記録制御部は、ヘッダ部４１と画像情報６４を記録するデータ部４２（画像データ部）とを有する画像ファイル４０において、ヘッダ部４１及びデータ部４２のうち、少なくともいずれか一方に、マスク情報６２を記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。

（１１）複数の単位グループ３２には、第１のフレームレートで撮像される単位グループ３２と、第１のフレームレートより遅い第２のフレームレートで撮像される単位グループ３２とが含まれ、制御部２３の記録制御部は、第１のフレームレートに基づき、複数の画像情報６４を記録する。このようにしたので、全てのフレームに関する情報を漏れなく確実に記録することができる。

（１２）制御部２３の記録制御部は、複数の画像情報６４の撮像期間に対応する音声情報７１（音声データ）を、複数の画像情報６４に関連づけて記録する。このようにしたので、音声も含めた動画再生を行うことが可能となる。

（１３）制御部２３の記録制御部は、画像情報６４の撮像パターンに関する情報と、画像情報６４の保存方式に関する情報と、単位グループ３２ごとの撮像条件に関する情報と、の少なくとも１つを、ヘッダ部４１とデータ部４２との２つのブロックから成る画像ファイル４０のヘッダ部４１に記録する。このようにしたので、例えば画像ファイル４０の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。

（第２の実施の形態）
第２の実施の形態に係る撮像装置は、第１の実施の形態に係る撮像装置１０と同様の構成を有しているが、静止画撮像機能Ｂ、動画撮像機能Ｂ、混合撮像機能における画像ファイル４０の記録方式が、第１の実施の形態とは異なっている。以下、この点について詳述する。

前述の通り、静止画撮像機能Ｂ、動画撮像機能Ｂ、および混合撮像機能は、一回の撮像で、同一の被写体に関する静止画や動画を、同時に複数撮像する機能である。本実施形態において、制御部２３の記録制御部は、このようにして複数撮像された静止画や動画を、単一の画像ファイル４０ではなく、複数の画像ファイル４０に分割して記録する。このとき、制御部２３の記録制御部は、分割して記録されたそれぞれの画像ファイル４０同士を、関連付けて記録する。従って、それら複数の画像ファイル４０は、便宜上別々のファイルとして記録されるものの、第１の実施の形態と同様に、単一の撮像により得られたファイルであるという情報は損なわれない。換言すると、後からそれら複数の画像ファイル４０を扱う際に、第１の実施の形態と同様に、単一の撮像により得られたものであると認識して扱うことができる。

図１６は、メモリカード２５のディレクトリ構造を模式的に示す図である。メモリカード２５のルートディレクトリ９０には、ＤＣＩＭディレクトリ９１ａが存在する。また、ＤＣＩＭディレクトリ９１ａ内には、更に、画像保存用のサブディレクトリ９１ｂが存在する。静止画撮像機能Ｂ、動画撮像機能Ｂ、および混合撮像機能による１回の撮像の都度、制御部２３は、このサブディレクトリ９１ｂ内に、撮像セットディレクトリ９２を１つ作成する。つまり、１つの撮像セットディレクトリ９２が、１回の撮像に対応している。

撮像セットディレクトリ９２には、１つの管理データファイル９３と、単位グループ３２の用途ごとに、サブディレクトリ９４が作成される。例えば、単位グループ３２の用途が４つ存在する場合には、サブディレクトリ９４が４つ作成される。各々のサブディレクトリ９４には、単位グループ３２の用途に応じた画像ファイル４０が少なくとも１つ作成される。例えば、単位グループ３２の用途が動画撮像である場合、その用途に対応するサブディレクトリ９４内には、動画ファイル４０１が１つだけ記録される。また、単位グループ３２の用途が静止画撮像である場合、その用途に対応するサブディレクトリ９４内には、静止画ファイル４０２が撮像回数分だけ記録される。なお、静止画撮像機能Ｂの場合、１回の撮像では用途ごとに１つの静止画ファイル４０２のみが記録されることになるので、各サブディレクトリ９４内には、１つの静止画ファイル４０２が記録されることになる。

図１７（ａ）は、管理データファイル９３の構造を模式的に示す図である。管理データファイル９３は、各サブディレクトリ９４内に記録されている画像ファイル４０同士を関連付ける情報が記録されたファイルであり、ファイル基本情報部４３と、マスク部４４と、インデックス部７３と、撮像情報部４５とから成る。ファイル基本情報部４３、マスク部４４、および撮像情報部４５は、図１５等で説明した画像ファイル４０における同名の各部と同一である。インデックス部７３には、各々のサブディレクトリ９４が単位グループ３２のどの用途に対応するのかを表すレイアウト情報９６が記録される。

図１７（ｂ）は、サブディレクトリ９４内に記録される静止画ファイル４０２の構造を模式的に示す図である。静止画ファイル４０２には、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とが記録される。Ａｖ値情報６８については、図１０で説明したものと同様であるため、説明を省略する。

マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７は、それぞれ、図１０で説明した同名の情報から、１つの大グループ８１に対応する値だけを抽出して二次元状に配列した情報である。例えば、図１０で説明した画像ファイル４０において、マスク情報６２ｂは、「撮像条件情報６１に割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報」であり、マスク情報６２ｂに含まれる値の個数は、単位グループ３２の個数と同一であった。これに対し、静止画ファイル４０２におけるマスク情報６２ｂは、それら全ての値から、本サブディレクトリ９４に対応する大グループ８１に対応する値のみを抽出して二次元マップの形で表現した情報である。画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７についても同様に、１つの静止画ファイル４０２には、１つの大グループ８１に対応する値のみが含まれている。

図１８は、サブディレクトリ９４内に記録される動画ファイル４０１の構造を模式的に示す図である。動画ファイル４０１には、１フレームごとに、１フレーム分のブロック７０が撮像順に格納される。１つのブロック７０は、マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とから成る。また、動画ファイル４０１には、フレームごとのブロック７０と共に、音声情報７１が格納される。Ａｖ値情報６８については、図１３で説明したものと同様であるため、説明を省略する。

マスク情報６２ｂと、画像情報６４と、Ｔｖ値マップ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７は、それぞれ、図１３で説明した同名の情報から、１つの大グループ８１に対応する値だけを抽出して二次元状に配列した情報である。この点については、上述した静止画ファイル４０２の場合と同様であるので、説明を省略する。

以上のように、制御部２３の記録制御部は、単位グループ３２ごとに撮像条件が設定可能な撮像素子２２により生成された画像情報６４と、単位グループ３２ごとの撮像条件に関するデータ（撮像条件情報６１、マスク情報６２、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７等）とを関連付けてメモリカード２５に記録する。第１の実施の形態とは異なり、単一の画像ファイル４０という形ではないものの、メモリカード２５に記録される管理データファイル９３と、動画ファイル４０１と、静止画ファイル４０２は、管理データファイル９３内のレイアウト情報９６によって互いに関連付けられている。このような画像ファイルの保存形式を、本明細書では分割保存形式と呼ぶ。

上述した第２の実施の形態による撮像装置によれば、第１の実施の形態と同様の作用効果が得られる。

（第３の実施の形態）
第３の実施の形態に係る撮像装置は、第１の実施の形態に係る撮像装置１０と同様の構成を有している。第３の実施の形態の撮像装置は、上述した第１の実施の形態や第２の実施の形態にて説明した一括保存形式（時系列型）、一括保存形式（画像集合型）および分割保存形式において単位グループが広いダイナミックレンジにて本撮像を行うハイダイナミックレンジ（以後、ＨＤＲと呼ぶ）の対象であることを示す情報を記録する点が第１の実施の形態とは異なっている。以下、一括保存形式（時系列型）、一括保存形式（画像集合型）および分割保存形式に分けて説明を行う。

＜一括保存形式（時系列型）＞
まず、一括保存形式（時系列型）として、１枚の静止画が撮像された（すなわち静止画撮像機能Ａ）場合における画像ファイル４０の構成について説明する。以下の説明では、静止画撮像機能Ａを用いて、各々の単位グループ３２のうち、第１の画像情報６４１〜第４の画像情報６４４を構成する単位グループ３２ごとに異なる撮像条件が設定されて撮像されたものとして説明を行う。例えば、第１の画像情報６４１を構成する単位グループ３２ではシャッタースピードを表すＴｖ値が１／５００に設定され、第２の画像情報６４２を構成する単位グループ３２ではＴｖ値が１／２０００に設定され、第３の画像情報６４３を構成する単位グループ３２ではＴｖ値が１／８０００に設定され、第４の画像情報６４４を構成する単位グループ３２ではＨＤＲに設定されたものとする。ＨＤＲが設定された第４の画像情報６４４を構成する単位グループ３２は、Ｔｖ値が１／２０００に設定された第１ＨＤＲ領域と、Ｔｖ値が１／５００に設定された第２ＨＤＲ領域との一方に含まれるものとする。

図２９に、作成された画像ファイル４０の構成を模式的に示す。なお、以下では、図１０に示す第１の実施の形態において静止画撮像機能Ａを用いて作成された画像ファイル４０との相違点を主に説明を行う。撮像条件情報６１は、第１の実施の形態にて説明したように、単位グループ３２ごとに設定された用途とその用途ごとに割り当てられた一意な番号とを表す情報（以後、領域分割情報６１ａと呼ぶ）に加えて、ＨＤＲが設定された単位グループ３２がどのＨＤＲ領域に含まれるかを示すＨＤＲ情報６１ｂを有する。ＨＤＲ情報６１ｂは、画像ファイル４０を作成するに際し、ＨＤＲが設定された単位グループ３２が、どのＨＤＲ領域ごとに割り当てられた一意な番号を表す情報である。例えば、１〜２の番号が、それぞれ「Ｔｖ値が１／２０００の第１ＨＤＲ領域」、「Ｔｖ値が１／５００の第２ＨＤＲ領域」に割り当てられる。なお、ＨＤＲ情報６１ｂとして、番号「０」は、ＨＤＲが設定されていない単位グループ３２、すなわち第１〜第３の画像情報６４１〜６４３の単位グループ３２に割り当てられる。

ヘッダ部４１のマスク情報６２ａは、第１の実施の形態の場合と同様に、各々の単位グループ３２の用途を表す情報、すなわち撮像条件情報６１の領域分割情報６１ａに割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報である。なお、本実施の形態においても、マスク情報６２ａにおいて「０」という番号が割り当てられている単位グループ３２は、撮像に利用されておらず（本撮像時に撮像信号が読み出されておらず）、データ部４２に記録されている画像情報６４には、その単位グループ３２に関する情報が含まれていない（または、その単位グループ３２に関する情報として、有効でないダミーの情報が記録されている）ことを表す。

データ部４２の構成は、第１の実施の形態の場合と同様の構成に加えて、ＨＤＲが設定された単位グループ３２の分布を表すＨＤＲマスク情報６２ｃをさらに有する。すなわち、データ部４２には、マスク情報６２ｂと、ＨＤＲマスク情報６２ｃと、画像情報６４と、Ｔｖ値マップＰ６５と、Ｓｖ値マップ６６と、Ｂｖ値マップ６７と、Ａｖ値情報６８とが格納される。

ＨＤＲマスク情報６２ｃは、ＨＤＲ情報６１ｂに割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報である。たとえば、ＨＤＲマスク情報６２ｃの座標（１，４）に「１」という番号が入っていた場合、座標（１，４）の単位グループ３２は、第１ＨＤＲ領域に属することがわかる。また、「０」という番号が割り振られている単位グループ３２は、ＨＤＲが設定されずに撮像された単位グループ３２、すなわち第１〜第３の画像情報６４１〜６４３に属する単位グループ３２、またはマスク情報６２ｂにおいて「０」という番号が割り振られている単位グループ３２を表す。

なお、マスク情報６２ｂとＨＤＲマスク情報６２ｃとを統合した１つのマスク情報としてもよい。この場合、マスク情報の各セルを８ｂｉｔとした場合、たとえば上位の４ｂｉｔにマスク情報６２ｂと同様に領域分割情報６１ａと有効・無効に関する情報とが書き込まれ、下位の４ｂｉｔにＨＤＲマスク情報６２ｃと同様にＨＤＲ領域に関する情報が書き込まれるように構成することができる。

また、マスク情報６２ｂとして、ヘッダ部４１のマスク情報と同一の情報ではなく、単位グループ３２の各々の有効・無効を表す情報を格納してもよい。例えば、撮像に利用されていない（撮像時に撮像信号が読み出されていない）単位グループ３２に数値「０」、撮像に利用された（撮像時に撮像信号が読み出された）単位グループ３２に数値「１」を割り当て、それを単位グループ３２の位置に合わせて二次元状に配列したマップをマスク情報６２ｂとしてデータ部４２に格納しても良い。なお、マスク情報６２ｂとＨＤＲマスク情報６２ｃとを統合した１つのマスク情報としてもよい。この場合、マスク情報の各セルを８ｂｉｔとした場合、たとえば上位の４ｂｉｔに有効・無効に関する情報が書き込まれ、下位の４ｂｉｔにＨＤＲマスク情報６２ｃと同様にＨＤＲ領域に関する情報が書き込まれるように構成することができる。

なお、上述した説明では、ヘッダ部４１にはマスク情報６２ａが記録されるものとしたが、これに限定されるものではない。たとえば、ヘッダ部４１にマスク情報６２ａに加えて、ＨＤＲマスク情報６２ｃを記録してもよい。または、ヘッダ部４１に、マスク情報６２ａとＨＤＲマスク情報６２ｃとを統合したマスク情報を記録してもよい。この場合、上述したように、マスク情報の各セルを８ｂｉｔとした場合、たとえば上位の４ｂｉｔにマスク情報６２ｂと同様に領域分割情報６１ａと有効・無効に関する情報とが書き込まれ、下位の４ｂｉｔにＨＤＲ領域に関する情報が書き込まれるように構成することができる。

なお、１つのＨＤＲマスク情報６２ｃを作成するものに代えて、第１の画像情報６４１〜第４の画像情報６４４ごとにＨＤＲマスク情報を作成してもよい。すなわち、第１の画像情報６４１を構成する単位グループ３２に対応する第１ＨＤＲマスク情報と、第２の画像情報６４２を構成する単位グループ３２に対応する第２ＨＤＲマスク情報と、第３の画像情報６４３を構成する単位グループ３２に対応する第３ＨＤＲマスク情報と、第４の画像情報６４４を構成する単位グループ３２に対応する第４ＨＤＲマスク情報とを作成する。この場合、第１ＨＤＲマスク情報〜第３ＨＤＲマスク情報には、単位グループ３２の位置に番号「０」が割り当てられる。第４ＨＤＲマスク情報には、単位グループ３２の位置に番号「１」または「２」が割り当てられる。

また、第４ＨＤＲマスク情報を、第１ＨＤＲ領域を表すＨＤＲマスク情報と、第２ＨＤＲ領域を表すＨＤＲマスク情報とに分割してもよい。この場合、第１ＨＤＲ領域を表すＨＤＲマスク情報には、第１ＨＤＲ領域に含まれる単位グループ３２の位置に番号「１」が割り当てられ、第２ＨＤＲ領域に含まれる単位グループ３２の位置に番号「０」が割り当てられる。第２ＨＤＲ領域を表すＨＤＲマスク情報には、第１ＨＤＲ領域に含まれる単位グループ３２の位置に番号「０」が割り当てられ、第２ＨＤＲ領域に含まれる単位グループ３２の位置に番号「２」が割り当てられる。

次に、一括保存形式（時系列型）として、静止画と動画とが撮像された場合における画像ファイル４０の構成について説明する。以下の説明では、第１の画像情報６４１を構成する単位グループ３２では３０ｆｐｓの動画がＩＳＯ４００で撮像され、第２の画像情報６４２を構成する単位グループ３２では静止画がＩＳ０４００で撮像され、第３の画像情報６４３を構成する単位グループ３２では３０ｆｐｓの動画がＩＳＯ１６００で撮像され、第４の画像情報６４４を構成する単位グループ３２では３０ｆｓｐの動画がＨＤＲにて撮像されたものとして説明を行う。ＨＤＲが設定された第４の画像情報６４４を構成する単位グループ３２は、ＩＳＯ４００に設定された第１ＨＤＲ領域と、ＩＳＯ１６００に設定された第２ＨＤＲ領域との一方に含まれるものとする。

図３０に、この場合に作成された画像ファイル４０の構成を模式的に示す。上述した静止画が撮像されて作成された画像ファイル４０と同様に、ヘッダ部４１の撮像条件情報６１は、領域分割情報６１ａとＨＤＲ情報６１ｂとが記録される。図３０に示す例では、ＨＤＲ情報６１ｂにおいて、１〜２の番号が、それぞれ「ＩＳＯ４００の第１ＨＤＲ領域」、「ＩＳＯ１６００の第２ＨＤＲ領域」に割り当てられることを示す。なお、ＨＤＲ情報６１ｂとして、番号「０」は、ＨＤＲが設定されていない単位グループ３２に割り当てられる。

ヘッダ部４１のマスク情報６２ａには、単位グループ３２の有効・無効を示す情報が格納される。マスク情報６２ａにおいて、「０」という番号が割り当てられている単位グループ３２は、撮像に利用されておらず（本撮像時に撮像信号が読み出されておらず）、データ部４２に記録されている画像情報６４には、その単位グループ３２に関する情報が含まれていない（または、その単位グループ３２に関する情報として、有効でないダミーの情報が記録されている）ことを表す。

データ部４２は、マスク情報６２ｂと、ＨＤＲが設定された単位グループの分布を表すＨＤＲマスク情報６２ｃとを有する。ＨＤＲマスク情報６２ｃは、上述した静止画撮像の場合と同様に、ＨＤＲ情報６１ｂに割り当てられた番号を、単位グループ３２に位置に合わせて二次元マップの形で表現した情報である。

図３０に示す例では、第１フレームでは第２の画像情報６４２を構成する単位グループ３２においては静止画が撮像されていないものとする。この場合、第１フレームに対応するブロック７０のマスク情報６２ｂでは、第２の画像情報６４２を構成する単位グループ３２の位置には、番号「０」が割り当てられる。第１の画像情報６４１、第３の画像情報６４３および第４の画像情報６４４を構成する単位グループ３２には、それぞれ番号「１」が割り当てられる。また、第１フレームに対応するブロック７０のＨＤＲマスク情報６２ｃは、静止画撮像機能Ｂの場合と同様に、ＨＤＲ情報６１ｂに割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現する。

図３０に示す例においては、第２フレームでは第２の画像情報６４２を構成する単位グループ３２においては静止画が撮像されたものとする。この場合、第２フレームに対応するブロック７０のマスク情報６２ｂでは、第１の画像情報〜第４の画像情報６４４を構成する各々の単位グループ３２の位置に、それぞれ番号「１」が割り当てられる。第２フレームに対応するブロック７０では、ＨＤＲマスク情報６２ｃにおいても、ＨＤＲ情報６１ｂに割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現する。動画の撮像中に被写体の移動等によって第１ＨＤＲ領域と第２ＨＤＲ領域とに位置の変化が生じた場合には、この変化に応じて、ＨＤＲマスク情報６１ｂ上の座標上で割り当てられる番号も変化する。

なお、マスク情報６２ｂとＨＤＲマスク情報６２ｃとを統合した１つのマスク情報としてもよい。この場合も、マスク情報の各セルを８ｂｉｔとした場合、たとえば上位の４ｂｉｔにマスク情報６２ｂと同様の有効・無効に関する情報とが書き込まれ、下位の４ｂｉｔにＨＤＲマスク情報６２ｃと同様のＨＤＲ領域に関する情報が書き込まれるように構成することができる。

なお、マスク情報６２ａに、各々の単位グループ３２の用途を表す情報、すなわち撮像条件情報６１の領域分割情報６１ａに割り当てられた番号を、単位グループ３２の位置に合わせて二次元マップの形で表現した情報であってもよい。この場合も、マスク情報６２ｂとＨＤＲマスク情報６２ｃとを統合した１つのマスク情報としてもよい。すなわち、マスク情報の各セルを８ｂｉｔとした場合、上位の４ｂｉｔにマスク情報６２ｂの領域分割情報６１ａに関する情報と同様の情報が書き込まれ、下位の４ｂｉｔにＨＤＲマスク情報６２ｃと同様のＨＤＲ領域に関する情報が書き込まれるように構成することができる。

＜一括保存形式（画像集合型）＞
まず、一括保存形式（画像集合型）として、１枚の静止画が撮像された（すなわち静止画撮像機能Ｂ）場合における画像ファイル４０の構成について説明する。この場合、生成された画像ファイル４０のデータ部４２には、各大グループ８１ごとのマスク情報とＨＤＲマスク情報とが記録される。以下の説明では、一括保存形式（時系列型）の説明の際に例示した撮像条件と同一の撮像条件により静止画が撮像された場合を例に挙げる。

図３１に生成された画像ファイル４０の構造を模式的に示す。第１の画像情報６４１に対応する大グループ８１のマスク情報６２ｂには、各単位グループ３２の位置に番号「１」が割り当てられ、ＨＤＲマスク情報６２ｃには、各単位グループ３２の位置に番号「０」が割り当てられる。第２の画像情報６４２に対応する大グループ８１のマスク情報６２ｂには、各単位グループ３２の位置に番号「２」が割り当てられ、ＨＤＲマスク情報６２ｃには、各単位グループ３２の位置に番号「０」が割り当てられる。第３の画像情報６４３に対応する大グループ８１のマスク情報６２ｂには、各単位グループ３２の位置に番号「３」が割り当てられ、ＨＤＲマスク情報６２ｃには、各単位グループ３２の位置に番号「０」が割り当てられる。第４の画像情報６４４に対応する大グループ８１のマスク情報６２ｂには、各単位グループ３２の位置に番号「４」が割り当てられ、ＨＤＲマスク情報６２ｃには、各単位グループ３２の位置に番号「１」または「２」が割り当てられる。

この場合、データ部４４に、各大グループ８１ごとにマスク情報６２ｂとＨＤＲマスク情報６２ｃとを記録するものに代えて、マスク情報６２ｂとＨＤＲマスク情報６２ｃとを統合した統合マスク情報を記録してもよい。この場合、一括保存形式（時系列型）にて説明したように、マスク情報の各セルを８ｂｉｔとした場合、たとえば上位の４ｂｉｔに領域分割情報６１ａと有効・無効に関する情報とが書き込まれ、下位の４ｂｉｔにＨＤＲ領域に関する情報が書き込まれるように構成することができる。

または、データ部４４に、各大グループ８１ごとにマスク情報６２ｂとＨＤＲマスク情報６２ｃとを記録するものに代えて、領域分割を表す単一の値とＨＤＲマスク情報６２ｃとを記録してもよい。すなわち、領域分割情報を表す単一の値は、二次元状のマップにした情報となっていない。この場合、第１の画像情報６４１に対応する大グループ８１の領域分割情報として番号「１」が割り当てられ、ＨＤＲマスク情報６２ｃには、各単位グループ３２の位置に番号「０」が割り当てられる。第２の画像情報６４２に対応する大グループ８１の領域分割情報として番号「２」が割り当てられ、ＨＤＲマスク情報６２ｃには、各単位グループ３２の位置に番号「０」が割り当てられる。第３の画像情報６４３に対応する領域分割情報として番号「３」が割り当てられ、ＨＤＲマスク情報には、各単位グループ３２の位置に番号「０」が割り当てられる。第４の画像情報６４４に対応する大グループ８１の領域分割情報として番号「４」が割り当てられ、ＨＤＲマスク情報６２ｃには、各単位グループ３２の位置に番号「１」または「２」が割り当てられる。

また、各大グループ８１に含まれる単位グループ３２の個数が同一ではない場合には、各大グループ８１においてマスク情報およびＨＤＲマスク情報６２ｃのデータサイズが異なる。この場合、各大グループ８１のマスク情報およびＨＤＲマスク情報６２ｃのデータサイズが同一となるようにしてもよい。

図３２に、この場合のマスク情報６２ｂとＨＤＲマスク情報６２ｃとを模式的に示す。図３２（ａ）は、上述した第４の画像情報６４４に対応する大グループ８１のマスク情報６２ｂ（たとえば、４×６）として、各単位グループ３２の位置に番号「４」が割り当てられ、ＨＤＲマスク情報６２ｃ（たとえば、４×６）として、各単位グループ３２の位置に番号「１」または「２」が割り当てられた場合を示す。このマスク情報６２ｂとＨＤＲマスク情報６２ｃとを、他のマスク情報とＨＤＲマスク情報のデータサイズと同一とさせた場合を、図３２（ｂ）と図３２（ｃ）とに示す。なお、図３２（ｂ）と図３２（ｃ）とは、たとえば撮像素子２２の撮像画面５０に含まれる全単位グループ３２の個数（たとえば、９×１２）にマスク情報６２ｂとＨＤＲマスク情報６２ｃのサイズを合わせた場合を示す。

図３２（ｂ）は、全単位グループ（９×１２）のうち、例えば、一部の領域（図の例では左上端部）に図３２（ａ）のマスク情報６２ｂとＨＤＲマスク情報６２ｃとに示す番号が割り当てられ、他の領域には番号「０」が割り当てられる。図３２（ｃ）は、マスク情報６２ｂには、第４の画像情報６４４に対応する単位グループ３２の位置に番号「４」が割り当てられ、他の単位グループ３２の位置に番号「０」が割り当てられる。また、ＨＤＲマスク情報６２ｃには、第４の画像情報６４４に対応する単位グループ３２の位置に番号「１」または「２」が割り当てられる。

なお、図３２（ｃ）に示すＨＤＲマスク情報６２ｃを、第１ＨＤＲ領域を表すＨＤＲマスク情報６２ｃ１と、第２ＨＤＲ領域を表すＨＤＲマスク情報６２ｃ２とに分割してもよい。図３２（ｄ）に、この場合のＨＤＲマスク情報を模式的に示す。第１ＨＤＲ領域を表すＨＤＲマスク情報６２ｃ１には、第１ＨＤＲ領域に含まれる単位グループ３２の位置に番号「１」が割り当てられ、他の単位グループ３２の位置に番号「０」が割り当てられる。第２ＨＤＲ領域を表すＨＤＲマスク情報６２ｃ２には、第２ＨＤＲ領域に含まれる単位グループ３２の位置に番号「２」が割り当てられ、他の単位グループ３２の位置に番号「０」が割り当てられる。
静止画と動画とが撮像された場合における一括保存形式（画像集合型）の画像ファイル４０では、１枚の静止画が撮像された場合と同様に、生成された画像ファイル４０のデータ部４２に各大グループ８１ごとのマスク情報とＨＤＲマスク情報とが記録される。

なお、上述した一括保存形式（画像集合型）にて静止画や動画を記録する場合には、ＨＤＲマスク情報６２ｃをデータ部４２の最後部に記録してもよい。この場合、マスク情報６２ｂはデータ部４２の最前部に記録する。なお、マスク情報６２ｂに代えて領域情報を示す単一の値をデータ部４２の最前部に記録してもよい。この場合、ヘッダ部４１のマスク部４４には、ＨＤＲマスク情報６２ｃが記録された位置を示すアドレス情報が記録されるとよい。

または、ＨＤＲマスク情報６２ｃを、画像ファイル４０とは異なる別ファイルに記録してもよい。この場合、マスク情報６２ｂは画像データ４０のデータ部４２に記録される。マスク情報６２ｂに代えて領域情報を示す単一の値を記録するものであってもよい。この場合、画像ファイル４０のヘッダ部４１のマスク部４４には、ＨＤＲマスク情報６２ｃが記録されたファイルの位置を示すファイルパス情報が記録されるとよい。

＜分割保存形式＞
まず、分割保存形式として、１枚の静止画が撮像された場合における画像ファイル４０の構成について説明する。この場合、サブディレクトリ９４内に記録される静止画ファイル４０２には、各大グループ８１ごとのマスク情報とＨＤＲマスク情報とが記録される。以下の説明では、一括保存形式（時系列型）の説明の際に例示した撮像条件と同一の撮像条件により静止画が撮像された場合を例に挙げる。

図３３に生成された静止画ファイル４０２の構造を模式的に示す。第１の画像情報６４１に対応する大グループ８１の単位グループ３２を集約したファイルには、マスク情報６２ｂに各単位グループ３２の位置に番号「１」が割り当てられ、ＨＤＲマスク情報６２ｃに各単位グループ３２の位置に番号「０」が割り当てられる。第２の画像情報６４２に対応する大グループ８１の単位グループ３２を集約したファイルには、マスク情報６２ｂに各単位グループ３２の位置に番号「２」が割り当てられ、ＨＤＲマスク情報６２ｃに各単位グループ３２の位置に番号「０」が割り当てられる。第３の画像情報６４３に対応する大グループ８１の単位グループ３２を集約したファイルには、マスク情報６２ｂには各単位グループ３２の位置に番号「３」が割り当てられ、ＨＤＲマスク情報６２ｃに各単位グループ３２の位置に番号「０」が割り当てられる。第４の画像情報６４４に対応する大グループ８１の単位グループ３２を集約したファイルには、マスク情報６２ｂに各単位グループ３２の位置に番号「４」が割り当てられ、ＨＤＲマスク情報６２ｃに各単位グループ３２の位置に番号「１」または「２」が割り当てられる。

なお、この場合も、各ファイルごとにマスク情報６２ｂとＨＤＲマスク情報６２ｃとを記録するものに代えて、一括保存形式（画像集合型）にて説明したようにして、マスク情報６２ｂとＨＤＲマスク情報６２ｃとを統合した統合マスク情報を記録してもよい。また、各ファイルごとに、領域分割を表す単一の値とＨＤＲマスク情報６２ｃとを記録してもよい。すなわち、マスク情報を記録しなくてもよい。
また、分割保存形式の場合も一括保存形式（画像集合型）にて図３２を用いて説明したように、マスク情報６２ｂとＨＤＲマスク情報６２ｃとのデータサイズを同一となるようにしてもよい。
静止画と動画とが撮像された場合における分割保存形式の画像ファイル４０では、１枚の静止画が撮像された場合と同様に、サブディレクトリ９４内に記録される静止画ファイル４０２と動画ファイル４０１に、各大グループ８１ごとのマスク情報とＨＤＲマスク情報とが記録される。

上述した第３の実施の形態による撮像装置によれば、第１の実施の形態と同様の作用効果に加えて、以下の作用効果が得られる。
制御部２３の記録制御部は、ＨＤＲが設定された場合に、マスク情報６２ｂと、ＨＤＲマスク情報６２ｃとの少なくとも一方をヘッダ部４１とデータ部４２のうちの一方に記録する。このようにしたので、各画素のうちどの画素にＨＤＲが設定されているかを、画像ファイル４０の再生時等に知ることができ、使い勝手の良い撮像装置１０を提供することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
第１の実施の形態では、第１の画像情報６４１や第２の画像情報６４２を、画像ファイル４０の再生時に作成すると説明したが、これを予め画像ファイル４０に記録するようにしてもよい。換言すると、第２の実施の形態では、大グループ８１ごとに別々のサブディレクトリ９４に別々のファイルとして記録していた動画や静止画を、単一の画像ファイル４０に記録するようにしてもよい。この場合、画像ファイル４０内に記録される１フレーム分のデータは、それぞれ１つの大グループ８１に対応するものとなる。

例えば、第２の実施の形態において２つのファイルに分けて記録されていた２つの動画（第１の動画と第２の動画）を、単一の画像ファイル４０に記録する場合を考える。このとき、データ部４２の先頭から順に、第１の動画の１フレーム目、２フレーム目、３フレーム目、…に関するデータを時系列順に記録し、その後に、第２の動画の１フレーム目、２フレーム目、３フレーム目、…に関するデータを時系列順に記録することができる。このようにすると、再生処理の負荷を低減することができる。

また、これとは異なる記録方法として、第１の動画の各フレームに関するデータと、第２の動画の各フレームに関するデータとを、各フレームの時系列順に記録することもできる。つまり、第１の動画の１フレーム目、第２の動画の１フレーム目、第１の動画の２フレーム目、…のように、２つの動画の各フレームが撮像の時系列順に配列された形で記録されていてもよい。このようにすると、記録処理の負荷を低減することができる。

上記のように、第１の画像情報６４１や第２の画像情報６４２等をそれぞれ画像ファイル４０に記録する場合には、以下のような記録方式とすることにより、マスク情報６２ｂを削減することができる。なお、以下の説明においては、図１４に示すようにして混合撮像機能にて画像ファイル４０が生成された場合を例に挙げて説明を行う。また、図２６に、このときに生成される画像ファイル４０の構造を模式的に示す。なお、１フレーム分のデータ、即ち１つのブロック７０と１つの音声情報との組を、便宜上、フレームデータ７と呼ぶ。

画像ファイル４０には、１〜４の大グループ８１に対応する画像情報６４を含むフレームデータ７が、時系列順に個別に記録される。なお、各々のフレームデータ７に含まれるＴｖ値マップ６５等についても、当然に、各々の画像情報に対応する状態であるものとする。図１４に示す混合撮像機能にて撮像が行われた場合では、第１フレーム目で撮像された画像情報６４（即ち第1の画像情報６４１）が１番目のフレームデータ７としてデータ
部４２に記録される。第２フレーム目で撮像された画像情報６４（即ち第1の画像情報６４１と第２の画像情報６４２）とがそれぞれ２番目、３番目のフレームデータ７として記録される。第３フレーム目で撮像された画像情報６４（即ち第１の画像情報６４１、第２の画像情報６４２、第３の画像情報６４３）がそれぞれ４番目、５番目、６番目のフレームデータ７として記録される。

図２６に、生成された画像ファイル４０の構造を模式的に示す。上記のようにして画像情報６４が記録される際に、各フレームデータ７にはマスク情報６２ｂに代えて、上述したヘッダ部４１のマスク部４４に記録された識別情報６０として割り当てられた一意な番号に対応する画像識別情報６２１と、次フレームデータ７の記録位置を示す次画像アドレス６２２とが記録される。即ち、図２７に画像ファイル４０のデータ部４２のみを模式的に示した場合のように、第１番目および第２番目のフレームデータ７の画像識別情報６２１には第１の画像情報６４１であることを表す「１」の番号が記録される。第３番目のフレームデータ７の画像識別情報６２１には、第２の画像情報６４２であることを表す「２」の番号が記録される。この結果、実施の形態の場合のように、マスク情報６２ｂをデータ部４２に記録する場合と比較して、記録領域のサイズを削減することができる。
なお、次画像アドレス６２２として、次フレームデータ７の記録位置を示すものに代えて、同一の画像識別情報６２１を有する次画像が記録されたフレームデータ７の記録位置を示すものでも良い。

上記のような画像ファイル４０を再生する場合には、制御部２３は、データ部４２の画像識別情報６２１と次画像アドレス６２２とを参照しながら、再生すべき画像情報６４を検索する。図２７において、画像情報６４２を検索する場合には、制御部２３は、第１番目のフレームデータ７の画像識別情報６２１を参照して画像情報６４２ではないことを判断し、次画像アドレス６２２を参照して第２番目のフレームデータ７にスキップする。第２番目のフレームデータ７における画像識別情報６２１も画像情報６４２ではないことを示しているので、制御部２３は、次画像アドレス６２２を参照して第３番目のフレームデータ７にスキップする。第３番目のフレームデータ７の画像識別情報６２１には画像情報６４２が記録されていることを示す番号「２」が記録されているので、制御部２３の読出部は、このフレームデータ７から画像情報６４２を読み込む。従って、画像を読み出す際に、所望の画像とは異なる画像情報６４、Ｔｖ値マップ６５、Ｓｖ値マップ６６、Ｂｖ値マップ６７、Ａｖ値情報６８をスキップできるので、所望の画像を検索するために要する時間を短縮できる。

（変形例２）
第１の実施の形態の説明において、動画撮像機能Ｂ、および混合撮像機能により作成される画像ファイル４０のデータ部４２には、画像情報６４や各種のマップ情報が、撮像素子２２における単位グループ３２の配列通りに記録されると述べた。これを、単位グループ３２の配列とは異なる配列にして記録してもよい。以下、この点について詳述する。

図１９は、変形例２の説明図である。ここでは、図８（ｂ）と同様に、単位グループ３２を４つの大グループ８１に分類している。ただし、その後に制御部２３が生成する画像情報６４は、単位グループ３２の配列通りに撮像信号を配列したものではない。具体的には、大グループ８１ごとに撮像信号を集約した後に、それらを連結することにより、画像情報６４を生成している。例えば、画像情報６４を２×２の４つの領域に区切ったとき、左上の領域には、１番目の大グループ８１に属する単位グループ３２からの撮像信号が集約され、左下の領域には、２番目の大グループ８１に属する単位グループ３２からの撮像信号が集約され、右上の領域には、３番目の大グループ８１に属する単位グループ３２からの撮像信号が集約され、右下の領域には、４番目の大グループ８１に属する単位グループ３２からの撮像信号が集約されている。

なお、以上のように、画像情報６４における撮像信号の配列を変更する場合には、Ｔｖ値マップ６５やＳｖ値マップ６６、マスク情報６２等の配列も、これに合わせて変更する必要がある。

また、これ以外の方法で、画像情報６４の配列を変更してもよい。つまり、画像ファイル４０内において、画像情報６４内の配列と、その他の撮像条件に関する情報（マスク情報６２等）内の配列とが対応してさえいれば、その配列自体はどのようなものであってもよい。

（変形例３）
動画撮像機能Ｂ乃至混合撮像機能において、フレームごとに単位グループ３２の用途を変化させてもよい。例えば図２０に示すように、奇数フレームでは単位グループ３２が１〜４番目の大グループ８１にそれぞれ分類されるようにし、撮像条件が異なる４つの画像情報６４１、６４２、６４３、６４４を含む画像情報６４が得られるようにする。そして、偶数フレームでは単位グループ３２が５番目の大グループ８１にのみ分類されるようにし、単一の画像情報６４のみが得られるようにする。つまり、撮像条件が異なり画素数が相対的に少ない複数の画像と、画素数が相対的に多い単一画像とを、時分割的に撮像してもよい。また、上述した変形例１や変形例２にこの変形例３を適用することもできる。

（変形例４）
動画撮像機能Ｂ乃至混合撮像機能において、１つの単位グループ３２が複数の用途を有するようにしてもよい。例えば図２１に示すように、単位グループ３２が１〜４番目の大グループ８１にそれぞれ分類され、且つ、全ての単位グループ３２が５番目の大グループ８１にも分類されるようにしてもよい。この場合、前者の分類に従って画像ファイル４０の再生（現像等）を行うと、４つの画像情報６４１、６４２、６４３、６４４を含む画像情報６４が得られ、後者の分類に従って画像ファイル４０の再生（現像等）を行うと、より画素数が多い単一の画像情報６４が得られることになる。

（変形例５）
静止画撮像機能Ｂの説明において、マスク情報６２上で「０」という番号が割り振られている単位グループ３２は、撮像に利用されておらず、データ部４２に記録されている画像情報６４には、その単位グループ３２に関する情報が含まれていないことを表すと述べたが、静止画撮像機能Ａや動画撮像機能Ａにおいても、「０」という番号が同様の意味を持つようにしてもよい。

また、ヘッダ部４１のマスク情報６２において、「０」という番号が撮像に利用されていないことを表すものとしてもよい。例えば、静止画撮像機能Ｂや動画撮像機能Ｂにおいて、撮像画面全体を２×２の４つの単位グループ３２で区切って、それら４つの単位グループ３２にそれぞれ異なる用途を割り当てる場合、単位グループ３２の縦方向の数（行数）が奇数であれば、１行だけ余りの行が生じることになる。このような場合に、その余りの１行を撮像に用いないこととして、ヘッダ部４１に記録するマスク情報６２では、その余りの１行に「０」という番号を割り当てることとしてもよい。

なお、上述した「０」という番号は一例であって、他の番号を、上述した「０」という番号と同様の扱いとしてもよい。

（変形例６）
画像ファイル４０の構造は、上述した各実施の形態と異なっていてもよい。また、画像ファイル４０に記録される撮像条件に関する情報は、第１の実施の形態等で説明した情報と異なっていてもよい。例えば、Ｓｖ値マップ６６など、一部の情報の記録を省略してもよい。逆に、上述したものとは別の情報を更に追加してもよい。また、記録形態は上述した実施形態と異なっていてもよい。例えば、Ａｖ値情報６８を、Ｔｖ値やＳｖ値等と同様に、単位グループ３２ごとのＡｖ値を二次元状に配列したＡｖ値マップとして記録してもよい。
データ部４２に、上述した種々の情報とは異なる情報を更に記録してもよい。例えば、周知の測距技術により測定された被写体までの距離情報をデータ部４２に記録してもよい。また、この距離情報は、単位グループ３２ごとに測定された被写体までの距離を二次元状に配列した、いわゆるデプスマップであってもよい。別の例としては、撮像光学系２１の状態（例えば焦点距離等）に関する情報を記録することもできる。また、これらの情報が動画の撮影中に変化することを考慮して、これらの情報をフレームごとに記録してもよい。

または、マスク情報６２の記録を省略しても良い。この場合、制御部２３は、再生時に、Ｔｖ値マップ６５や、Ｓｖ値マップ６６や、Ｂｖ値マップ６７を用いて、マスク情報６２に相当する各々の単位グループ３２の用途（目的、役割）を表す情報（マスク相当情報）を生成する。例えば、制御部２３は、Ｔｖ値マップ６５および／またはＳｖ値マップ６６を参照する。制御部２３は、参照したＴｖ値マップ６５上において、同一のシャッタースピードが格納された座標（ｘ、ｙ）を同一の領域と見なす。

例えば、図２８（ａ）に示すように、Ｔｖ値マップ６５において、シャッタースピードが互いに異なる領域Ｒ１とＲ２とが存在する場合、制御部２３は、領域Ｒ１とＲ２とに対応する撮像画面５０上のそれぞれの領域が主要被写体領域５２と背景領域５３とに相当すると判断する。例えば領域１におけるシャッタースピードが領域２のシャッタースピードよりも高速の場合には、制御部２３の特定部は、領域Ｒ１に対応する撮像画面５０上の領域を主要被写体領域５２と見なし、領域Ｒ２に対応する撮像画面５０上の領域を背景領域５３と見なす。そして、制御部２３は、図２８（ｂ）に示すマスク相当情報６３を生成する。図２８（ｂ）においては、主要被写体５２に含まれる単位グループ３２の位置には「１」が、背景領域５３に含まれる単位グループ３２の位置には「２」がそれぞれ格納される。

なお、Ｓｖ値マップ６６を用いる場合には、制御部２３の設定部は、同一のＩＳＯ感度が格納された座標（ｘ、ｙ）を同一の領域と見なして、同様にしてマスク相当情報６３を生成することができる。Ｔｖ値マップ６５およびＳｖ値マップ６６の両方を用いる場合には、制御部２３の設定部は、同一のシャッタースピードが格納された座標と同一のＩＳＯ感度が格納された座標とを同一の領域と見なすことができるので、領域の分割を詳細に行うことができる。また、制御部２３は、Ｔｖ値マップ６５および／またはＳｖ値マップ６６に加えてＢｖ値マップ６７を参照することにより、被写体輝度の分布を領域の分割に用いることができるので、さらに領域の分割精度を向上させることができる。

さらに、制御部２３は、Ｂｖ値マップ６７を参照してマスク相当情報６３を生成しても良い。この場合、制御部２３は、所定の範囲内の被写体輝度が格納された座標（ｘ、ｙ）を同一の領域と見なして、上述した場合と同様にしてマスク相当情報６３を生成する。上述した距離情報、即ちデプスマップが記録されている場合には、制御部２３は、デプスマップとＢｖ値マップ６７とを用いてマスク相当情報６３を生成することができる。この場合、制御部２３は、Ｂｖ値マップ６７を参照して同一の領域に分割された領域内のうち、同一の被写体距離が格納された座標（ｘ、ｙ）を同一の領域と見なして、マスク相当情報６３を生成する。例えば、被写体輝度が低い領域について、黒い色をした被写体自体に対応する領域とその被写体の影に対応する領域とを分割することができる。

以上のようにして、制御部２３は、画像ファイル４０にマスク情報６２が記録されていない場合であっても、再生時に撮像条件に基づいてマスク相当情報を生成することができる。従って、画像ファイル４０にマスク情報６２を記録する必要が無くなり、画像ファイル４０が占有する記録領域を削減できる。
なお、以上の説明では、Ｔｖ値マップ６５や、Ｓｖ値マップ６６や、Ｂｖ値マップ６７を用いて、静止画撮像機能Ａや動画撮像機能Ａのときに生成されたマスク情報６２に相当するマスク相当情報６３を生成する場合を説明したが、この例に限定されない。例えば、制御部２３は、Ｔｖ値マップ６５やＳｖ値マップ６６を参照して、同一のシャッタースピードが格納された座標と同一のＩＳＯ感度が格納された座標とに対応する単位グループ３２が同一の画像情報６４を構成するものとし見なして、静止画撮像機能Ｂや動画撮像機能Ｂや混合撮像機能の際に生成されたマスク情報６２に相当するマスク相当情報６３を生成できる。
なお、撮像条件が同一である単位グループの領域が複数ある場合は、それらを合わせて１つの領域としてもよい。また、撮像条件が同一である単位グループの領域が複数ある場合に、各領域の間隔（距離）により、間隔が狭い時はそれらを１つの領域とし、間隔が広い時はそれらを別の領域としてもよい。

（変形例７）
上述した各実施の形態では、撮像素子２２と制御部２３とを有する単一の電子機器である撮像装置について説明したが、本発明はこのような実施形態に限定されない。例えば、外部に設けられた撮像素子２２を制御する電子機器にも本発明を適用することができる。以下、撮像素子２２を備えた撮像ユニット１００１を、外部機器から制御する形態について詳述する。

図２２は、変形例７に係る撮像システムの構成を模式的に示すブロック図である。図２２に示す撮像システム１０００は、撮像ユニット１００１と、電子機器１００２とから成る。撮像ユニット１００１は、第１の実施の形態で説明した撮像光学系２１と撮像素子２２とを備え、更に、第１通信部１００３を備えている。また、電子機器１００２は、第１の実施の形態で説明した制御部２３、液晶モニタ２４、メモリカード２５、操作部２６、ＤＲＡＭ２７、フラッシュメモリ２８、および録音部２９を備え、更に、第２通信部１００４を備えている。第１通信部１００３および第２通信部１００４は、例えば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。また、撮像ユニット１００１と電子機器１００２とが有線ケーブル等による有線接続により、第１通信部１００３および第２通信部１００４は、双方向のデータ通信を行う構成であってもよい。

変形例７に係る撮像システム１０００では、制御部２３は、第２通信部１００４および第１通信部１００３を介したデータ通信により、撮像素子２２の制御を行う。例えば、所定の制御データを撮像ユニット１００１との間で送受信することにより、単位グループ３２ごとに異なる撮像条件を設定したり、各々の単位グループ３２から撮像信号を読み出したりする。

以上に述べたように、撮像システム１０００において、単位グループ３２ごとの制御を行っているのは、制御部２３である。電子機器１００２は、撮像素子２２を備えていないが、電子機器１００２の外部に設けられた撮像素子２２（撮像ユニット１００１）を制御することにより、第１の実施の形態と同様の制御を行う。つまり、本発明は、撮像素子２２を有していない電子機器に適用することが可能である。

（変形例８）
画像情報６４のデータ量を削減するために、画像情報６４を周知の可逆圧縮技術により圧縮して記録してもよい。また、画像情報６４を、隣接する画素との差分値の形で記録してもよい。例えば、ある画素の画素値（撮像信号）を記録する位置に、その左隣の画素との差分値を記録するようにしてもよい。または、所定領域内の全画素の画素値の平均値との差分値を記録するようにしたり、全画素の平均値との差分値を記録するようにしてもよい。

また、動画の場合には、前のフレームの同じ位置の画素値との差分値を記録するようにすれば、更にデータ量を削減することができる。あるいは、前のフレームの同じ位置の画素値と値が異なるときだけ画素値を記録するようにし、前フレームと画素値が同一である場合にはその画素値を記録しないようにしてもよい。これは撮像条件（Ｓｖ値やＴｖ値等）について適用することも可能である。例えば、ある単位グループ３２について、前フレームとＳｖ値が同一である場合、そのＳｖ値を記録しないようにしてもよい。

なお、以上で述べたような形で画像情報６４を記録する場合、再生時（現像時）に、それらの形から元の画素値を復元する処理を実行する必要がある。

（変形例９）
動画撮像機能Ｂや混合撮像機能の際に、大グループ８１同士でフレームレートが異なる場合、制御部２３の記録制御部は最も早いフレームレートを基準として各フレームを記録するものとしたが、この例に限定されない。例えば、制御部２３の記録制御部は、それぞれのフレームレートの最小公倍数に相当するフレームレートにて各フレームを記録しても良い。図１４に示すように、１番目の大グループ８１１で６０ｆｐｓの動画撮像を、２番目の大グループ８１２で５０ｆｐｓの動画撮像をする場合に、６０ｆｐｓと５０ｆｐｓの最小公倍数である３００コマ／秒でフレームを記録する。即ち、６０ｆｐｓに設定された大グループ８１１からの撮像信号に基づく画像情報６４は５コマごとに記録し、５０ｆｐｓに設定された第グループ８１２からの撮像信号に基づく画像情報６４については６コマごとに記録すれば良い。

（変形例１０）
上述した各実施の形態では、本発明をレンズ一体型カメラに適用した例について説明を行ったが、例えばレンズ交換型カメラに本発明を適用することも可能である。また、本発明はカメラに限らず、ＰＣ、携帯電話、スマートフォン、タブレット等のカメラ付き電子機器にも適用可能である。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

次の優先権基礎出願および公報の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１６年第７６５２７号（２０１６年４月６日出願）
ＷＯ２０１３／１６４９１５号公報

１０…撮像装置、２１…撮像光学系、２２…撮像素子、２３…制御部、２４…液晶モニタ、２５…メモリカード、２６…操作部、２７…ＤＲＡＭ、２８…フラッシュメモリ、２９…録音部

Claims (35)

1. 撮像素子の、第１撮像条件が設定された第１撮像領域および第２撮像条件が設定された第２撮像領域で撮像された被写体の画像と、前記第１撮像条件と、前記第２撮像条件とを読み出す読出部と、
   前記読出部により読み出された第１撮像条件と第２撮像条件とを用いて、前記画像から画像処理を行う被写体を特定する特定部と
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記第１撮像条件は前記第１撮像領域の露出条件であり、前記第２撮像条件は前記第２撮像領域の露出条件である画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記第１撮像領域の露出条件は前記第１撮像領域に入射した光を光電変換する光電変換部の電荷蓄積時間であり、前記第２撮像領域の露出条件は前記第２撮像領域に入射した光を光電変換する光電変換部の電荷蓄積時間である画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記第１撮像領域の電荷蓄積時間が前記第２撮像領域の電荷蓄積時間より短いと、前記特定部は、前記第１撮像領域で撮像された被写体を画像処理を行う被写体として特定する画像処理装置。
5. 撮像条件を設定可能な複数の撮像領域を有する撮像素子の第１撮像領域に設定された第１撮像条件と、第２撮像領域に設定された第２撮像条件とが記録された記録部から前記第１撮像条件と前記第２撮像条件とを読み出す読出部と、
   前記読出部により読み出された画像に前記第１撮像条件により撮像された被写体の領域と、前記第２撮像条件により撮像され被写体の領域とを設定する設定部と
   を備える画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記第１撮像条件は前記第１撮像領域の露出条件であり、前記第２撮像条件は前記第２撮像領域の露出条件である画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記第１撮像領域の露出条件は前記第１撮像領域に入射した光を光電変換する光電変換部の電荷蓄積時間であり、前記第２撮像領域の露出条件は前記第２撮像領域に入射した光を光電変換する光電変換部の電荷蓄積時間である画像処理装置。
8. 請求項２または６に記載の画像処理装置において、
   前記第１撮像領域の露出条件は、前記第１撮像領域に入射した光が光電変換部で光電変換された電荷に基づく信号を増幅する増幅部の増幅率であり、前記第２撮像領域の露出条件は、前記第２撮像領域に入射した光が光電変換部で光電変換された電荷に基づく信号を増幅する増幅部の増幅率である画像処理装置。
9. 撮像条件と画像とを記録部から読み出す読出部と、
   読み出された前記撮像条件を用いて、前記画像から画像処理を行う被写体を特定する特定部と、
   を備える画像処理装置。
10. 撮像条件を設定可能な複数の撮像領域を有する撮像素子の複数の前記撮像領域に設定された撮像条件が記録された記録部から前記撮像条件を読み出す読出部と、
    前記読出部により読み出された画像から前記撮像条件に基づいて撮像された被写体の領域を設定する設定部と、
    を備える画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前記撮像条件は、前記撮像領域の露出条件である画像処理装置。
12. 複数の撮像領域を有し、被写体を撮像して画像データを出力する撮像素子と、
    複数の前記撮像領域に異なる撮像条件を設定可能な設定部と、
    前記設定部により設定された撮像条件を用いて、前記撮像素子から出力された画像データから画像処理を行う領域を特定する画像処理部と、
    を備える電子機器。
13. 請求項１２に記載の電子機器において、
    前記撮像条件は、前記撮像領域の露出条件である電子機器。
14. 異なる撮像条件を設定可能な複数の撮像領域を有する撮像部の前記複数の撮像領域の位置の情報と前記複数の撮像領域の前記撮像条件とを入力する入力部と、
    前記入力部から入力された前記位置の情報と前記撮像条件とから前記撮像領域に関する情報を生成する生成部とを備える電子機器。
15. 請求項１４に記載の電子機器において、
    前記生成部は、前記撮像領域に関する情報として、前記撮像条件が同じである前記撮像領域の位置に関する情報を生成する電子機器。
16. 請求項１４または１５に記載の電子機器において、
    前記撮像条件は、前記撮像部の露出条件である電子機器。
17. 請求項１６に記載の電子機器において、
    前記撮像領域は、光電変換された電荷を蓄積する光電変換部を有し、
    前記露出条件は、前記光電変換部による電荷の蓄積時間である電子機器。
18. 請求項１７に記載の電子機器において、
    前記生成部は、前記蓄積時間に基づき前記複数の撮像領域をグループ化したデータを生成する電子機器。
19. 請求項１８に記載の電子機器において、
    前記生成部は、同一の前記蓄積時間を有する前記撮像領域を同一のグループにグループ化したデータを生成する電子機器。
20. 請求項１６に記載の電子機器において、
    前記撮像部は、光電変換された電荷により生成された信号を増幅する増幅部を前記撮像領域ごとに有し、
    前記露出条件は、前記増幅部による増幅率である電子機器。
21. 請求項２０に記載の電子機器において、
    前記生成部は、前記増幅率に基づき前記複数の撮像領域をグループ化したデータを生成する電子機器。
22. 請求項２１に記載の電子機器において、
    前記生成部は、同一の前記増幅率を有する前記撮像領域を同一のグループにグループ化したデータを生成する電子機器。
23. 請求項１４または１５に記載の電子機器において、
    前記撮像条件は、前記撮像部により撮像された被写体の輝度である電子機器。
24. 請求項２３に記載の電子機器において、
    前記生成部は、前記被写体の輝度に基づき前記複数の撮像領域をグループ化したデータを生成する電子機器。
25. 請求項２４に記載の電子機器において、
    前記生成部は、同一の前記被写体の輝度を有する前記撮像領域を同一のグループにグループ化したデータを生成する電子機器。
26. 請求項１４または１５に記載の電子機器において、
    前記撮像領域は、光電変換された電荷を蓄積する光電変換部を有し、
    前記撮像部は、光電変換された電荷により生成された信号を増幅する増幅部を前記撮像領域ごとに有し、
    前記撮像条件は、前記撮像部により撮像された被写体の輝度に関する情報と、前記光電変換部による電荷の蓄積時間と、前記増幅部による増幅率とのうちの少なくとも１つであり、
    前記生成部は、前記光電変換部による電荷の蓄積時間と、前記増幅部による増幅率と、前記撮像部により撮像された被写体の輝度に関する情報とのうちの少なくとも１つから前記撮像領域に関する情報を生成する電子機器。
27. 請求項２６に記載の電子機器において、
    被写体の距離情報を測定する測距部と、
    前記被写体の距離情報を記録部に記録する記録制御部とを備え、
    前記生成部は、前記光電変換部による電荷の蓄積時間と、前記増幅部による増幅率と、前記撮像部により撮像された被写体の輝度に関する情報とのうちの少なくとも１つと、前記被写体の距離情報とから前記撮像領域に関する情報を生成する電子機器。
28. 請求項１４に記載の電子機器において、
    前記生成部は、前記撮像領域に関する情報として、前記撮像領域の用途に関する情報を生成する電子機器。
29. 請求項１４から２８の何れか一項に記載の電子機器において、
    前記入力部により入力された前記撮像領域ごとの撮像条件を、前記撮像領域に関連付けて記録部に記録する記録制御部を備える電子機器。
30. 請求項２９に記載の電子機器において、
    前記記録制御部は、前記撮像部により生成された画像データを前記撮像領域に関連付けて前記記録部に記録する電子機器。
31. 請求項２９に記載の電子機器において、
    前記記録制御部は、前記撮像部により生成された画像データを前記撮像条件に関連付けて前記記録部に記録する電子機器。
32. 複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部により生成された画像データと、前記撮像領域ごとの撮像条件とを入力する入力部と、
    前記入力部から入力された前記撮像条件から前記撮像領域に関する情報を生成し、生成された前記撮像領域に関する情報により前記画像データを再生する再生部とを備える再生装置。
33. 複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部より生成された画像データと、前記撮像領域ごとの撮像条件とを入力させる入力ステップと、
    前記入力ステップで入力された、前記撮像条件から前記撮像領域に関する情報を生成し、生成された前記撮像領域に関する情報により前記画像データを再生する再生ステップとをコンピュータに実行させる再生プログラム。
34. 複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部より生成された画像データと、前記撮像領域ごとの撮像条件とを入力し、
    入力された前記撮像条件から前記撮像領域に関する情報を生成し、生成された前記撮像領域に関する情報により前記画像データを再生する再生方法。
35. 請求項１４に記載の電子機器において、
    前記入力部は、前記撮像領域に関する情報と、ハイダイナミックレンジに設定された領域の分布を示すデータとを入力する電子機器。

Images