WO2016052437A1 - 電子機器および画像処理方法 - Google Patents

電子機器および画像処理方法 Download PDF

Info

Publication number
WO2016052437A1
WO2016052437A1 PCT/JP2015/077384 JP2015077384W WO2016052437A1 WO 2016052437 A1 WO2016052437 A1 WO 2016052437A1 JP 2015077384 W JP2015077384 W JP 2015077384W WO 2016052437 A1 WO2016052437 A1 WO 2016052437A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
unit
image
information
electronic device
Prior art date
Application number
PCT/JP2015/077384
Other languages
English (en)
French (fr)
Inventor
嘉明 宮川
直樹 山肩
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to US15/509,629 priority Critical patent/US20170318209A1/en
Priority to EP15847223.3A priority patent/EP3203722A4/en
Priority to CN201580064774.3A priority patent/CN107005637A/zh
Publication of WO2016052437A1 publication Critical patent/WO2016052437A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof

Definitions

  • the output wiring 2309 is provided corresponding to each of the unit groups 32. Since the image pickup element 22 has an image pickup chip 2113, a signal processing chip 2111 and a memory chip 2112 stacked, by using electrical connection between the chips using bumps 2109 for these output wirings 2309, each chip is arranged in the plane direction. Wiring can be routed without increasing the size.
  • the image pickup device 22 is an image pickup device such as a CMOS or a CCD, for example, and picks up a subject image formed by the image pickup optical system 21 and outputs an image pickup signal.
  • the control unit 23 is an electronic circuit that controls each unit of the imaging apparatus 10 and includes a CPU and its peripheral circuits. A predetermined control program is written in advance in the flash memory 28 which is a nonvolatile storage medium. The control unit 23 controls each unit by reading and executing a control program from the flash memory 28. This control program uses the DRAM 27, which is a volatile storage medium, as a work area.
  • the imaging pixel 31 having a red filter photoelectrically converts light in the red wavelength band out of incident light and outputs a light reception signal (photoelectric conversion signal).
  • the imaging pixel 31 having a green filter photoelectrically converts light in the green wavelength band out of incident light and outputs a light reception signal.
  • the imaging pixel 31 having a blue filter photoelectrically converts light in the blue wavelength band out of incident light and outputs a light reception signal.
  • an area where whiteout or blackout occurs is detected by the control unit 23, and imaging is performed under an imaging condition that eliminates whiteout or blackout in the detected area. In an area where whiteout or blackout does not occur, imaging is performed without changing the imaging conditions.
  • the control unit 23 may record address information of an area where whiteout or blackout occurs.
  • the control unit 23 may be configured to set a plurality of exposure values for main imaging within the imaging screen 100. When the Bv value map 67 in the shooting screen 100 is detected, a threshold value of the Bv value is determined, and the Sv value is changed so that the region where the Bv value equal to or higher than the threshold value is detected becomes the first exposure value. The Sv value may be changed so that the region where the Bv value less than the threshold is detected becomes the second exposure value.
  • the threshold value is not limited to one, but may be two or more, and the number of exposure values set is determined by the number of threshold values.
  • the control unit 23 records, for each unit group 32, information indicating whether the unit group 32 is included in the main subject region 52 or the background region 53 in the image file 40. This information can be used for image processing executed at the time of reproduction, for example. For example, the subject 51 can be highlighted or only the subject 51 can be extracted from the image.
  • control unit 23 performs image capturing using the moving image capturing function A, whereby the image information 64 generated by the image sensor 22 that can set the image capturing condition for each unit group 32 and the image capturing for each unit group 32.
  • the image file 40 associated with data related to conditions (imaging condition information 61, mask information 62, Tv value map 65, Sv value map 66, Bv value map 67, etc.) is recorded in the memory card 25.
  • the configuration of the data unit 42 is the same as the still image capturing function A. That is, the data section 42 stores mask information 62b, image information 64, a Tv value map 65, an Sv value map 66, a Bv value map 67, and Av value information 68.
  • the mask information 62b is the same information as the mask information 62a stored in the mask unit 44.
  • the control unit 23 receives at least one of the information related to the imaging pattern of the image information 64, the information related to the storage method of the image information 64, and the information related to the imaging conditions for each unit group 32. It is recorded in the header part 41 of the image file 40 composed of two blocks with the part 42. Since this is done, it is possible to know what imaging conditions are applied to each pixel when the image file 40 is reproduced, for example.
  • the imaging apparatus according to the second embodiment has the same configuration as the imaging apparatus 10 according to the first embodiment, but the image in the still image imaging function B, the moving image imaging function B, and the mixed imaging function.
  • the recording method of the file 40 is different from that of the first embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

 電子機器は、複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部により生成された画像データと、前記撮像領域ごとの前記撮像条件のデータとを入力する入力部と、前記入力部から入力された前記画像データを前記撮像領域ごとの撮像条件に基づいて画像処理する画像処理部とを備える。

Description

電子機器および画像処理方法
 本発明は、電子機器および画像処理方法に関する。
 裏面照射型撮像チップと信号処理チップとが積層された撮像素子(以下、積層型撮像素子という)を備えた電子機器が提案されている(特許文献1参照)。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、所定の領域ごとにマイクロバンプを介して接続されるように積層されている。
日本国特開2006-49361号公報
 従来の積層型撮像素子を備えた電子機器において、1または2以上の上記領域を有する撮像領域に画像を分けて、該撮像領域ごとに撮像画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分とはいえなかった。 
 本発明の第1の態様によると、電子機器は、複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部により生成された画像データと、前記撮像領域ごとの前記撮像条件のデータとを入力する入力部と、前記入力部から入力された前記画像データを前記撮像領域ごとの撮像条件に基づいて画像処理する画像処理部とを備える。
 本発明の第2の態様では、第1の態様の電子機器において、前記画像処理部は、前記複数の撮像領域のうち第1の撮像領域の撮像条件と第2の撮像領域の撮像条件とが異なる場合に、前記第1の撮像領域から生成された画像データの画像処理と、前記第2の撮像領域から生成された画像データの画像処理とを異ならせることが好ましい。
 本発明の第3の態様では、第2の態様の電子機器において、前記画像処理部は、前記第1の撮像領域から生成された画像データの画像処理のパラメータと、前記第2の撮像領域から生成された画像データの画像処理のパラメータとを異ならせることが好ましい。
 本発明の第4の態様では、第1~第3のいずれか一つの態様の電子機器において、撮像部により生成された前記画像データと前記撮像領域ごとの前記撮像条件のデータとは記録部に記録され、前記入力部は、前記記録部から前記画像データと前記撮像領域の撮像条件のデータとを入力することが好ましい。
 本発明の第5の態様によると、電子機器は、複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部により生成された画像データと、前記撮像領域ごとに設定された前記撮像条件のデータとが、前記撮像部における前記撮像領域ごとの位置情報のデータにより関連付けて記録されている記録部から前記画像データと前記撮像領域の撮像条件のデータとを入力する入力部と、前記入力部から入力された前記画像データを前記撮像領域ごとの撮像条件で画像処理する画像処理部とを備える。
 本発明の第6の態様によると、電子機器は、複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部により生成された画像データと、前記撮像領域ごとに設定された前記撮像条件のデータとが前記撮像部における前記撮像領域ごとの位置情報のデータに対応した配置で記録されている記録部から前記画像データと前記撮像領域ごとに設定された前記撮像条件のデータとを入力する入力部と、前記入力部から入力された前記撮像領域の画像データを前記撮像領域ごとの撮像条件で画像処理する画像処理部と
を備える。
 本発明の第7の態様では、第1~第6のいずれか一つの態様の電子機器において、前記画像処理部は、デモザイク処理、ノイズ軽減処理、色彩調整処理、明るさ調整処理のうちの少なくとも1つを行うことが好ましい。
 本発明の第8の態様では、第7の態様の電子機器において、前記撮像部は、光電変換された電荷により生成された信号を増幅する増幅部を前記撮像領域ごとに有し、前記撮像条件は、前記増幅部による増幅率であり、前記画像処理部は、前記増幅率に基づいて、前記ノイズ軽減処理を行うことが好ましい。
 本発明の第9の態様では、第1~第8のいずれか一つの態様の電子機器において、前記撮像領域は少なくとも1つの画素を含む画素グループを有し、前記画素グループごとに撮像条件が設定可能であり、前記入力部から入力する前記撮像条件のデータは、前記画素グループごとの撮像条件のデータであり、前記画像処理部は、前記撮像領域ごとの撮像条件として前記画素グループごとの撮像条件のデータにより前記画像データの画像処理を行うことが好ましい。
 本発明の第10の態様では、第1の態様の電子機器において、前記画像データはRAWデータであり、前記画像処理部は、前記撮像領域ごとの撮像条件に基づいて、前記RAWデータを現像することが好ましい。
 本発明の第11の態様では、第10の態様の電子機器において、前記画像処理部は、前記撮像領域ごとの撮像条件を表す撮像条件の分布図に基づいて、前記RAWデータを現像することが好ましい。
 本発明の第12の態様では、第10の態様の電子機器において、前記画像処理部は、前記撮像条件の分布図に基づいて作成された補正量マップに基づいて前記RAWデータを現像することが好ましい。
 本発明の第13の態様では、第12の態様の電子機器において、前記撮像条件の分布図に基づいて、前記補正量マップを生成する生成部を更に備えることが好ましい。
 本発明の第14の態様では、第10~第13のいずれか一つの態様の電子機器において、前記RAWデータは、記録時に所定幅に収まるように補正さていることが好ましい。
 本発明の第15の態様では、第14の態様の電子機器において、前記所定幅に基づいて、前記RAWデータを補正することが好ましい。
 本発明の第16の態様では、第13の態様の電子機器において、前記複数の撮像領域ごとに前記撮像条件を測定する測定部を備え、前記生成部は、前記補正量マップとして、前記複数の撮像領域において、前記測定部により測定された前記撮像条件のうち少なくとも一つの測定値が所定範囲以内となるように算出された前記補正量マップを生成することが好ましい。
 本発明の第17の態様では、第1~第16のいずれか一つの態様の電子機器において、前記撮像条件のデータは、前記撮像部により被写体を撮像するときの露出に関する情報を含むことが好ましい。
 本発明の第18の態様では、第1~第17のいずれか一つの態様の電子機器において、前記撮像条件のデータは、前記撮像部により撮像された被写体の明るさに関する情報を含むことが好ましい。
 本発明の第19の態様では、第1~第17のいずれか一つの態様の電子機器において、前記撮像条件のデータは、前記撮像部の撮像動作に関する情報を含むことが好ましい。
 本発明の第20の態様では、第1~第19のいずれか一つの態様の電子機器において、前記撮像条件のデータは、前記撮像部により撮像された被写体の輝度に関する情報を含むことが好ましい。
 本発明の第21の態様では、第1~第20のいずれか一つの態様の電子機器において、前記撮像領域は、光電変換された電荷を蓄積する光電変換部を有し、前記撮像条件のデータは、前記光電変換部による電荷の蓄積時間を含むことが好ましい。
 本発明の第22の態様では、第1~第21のいずれか一つの態様の電子機器において、前記撮像部は、光電変換された電荷により生成された信号を増幅する増幅部を前記撮像領域ごとに有し、前記撮像条件のデータは、前記増幅部による増幅率を含むことが好ましい。
 本発明の第23の態様によると、画像処理方法は、複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部により生成された画像データと、前記撮像領域ごとの前記撮像条件のデータとを入力し、前記入力された前記画像データを前記撮像領域ごとの撮像条件で画像処理する。
 本発明の第24の態様によると、画像処理方法は、少なくとも1つの画素を含む画素グループを有し、前記画素グループごとに撮像条件が異なる撮像部により生成された画像データと、前記画素グループごとの前記撮像条件のデータとを入力し、前記入力された前記画像データを前記画素グループごとの撮像条件で画像処理する。
図1は、本発明の第1の実施の形態に係る撮像装置の構成を示すブロック図である。 図2は、撮像素子の撮像面を模式的に示す平面図である。 図3は、本実施の形態に係る画像ファイルの構成を示す模式図である。 図4は、静止画撮像機能Aの説明図である。 図5は、静止画撮像機能Aを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 図6は、動画撮像機能Aの説明図である。 図7は、動画撮像機能Aを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 図8は、静止画撮像機能Bの説明図である。 図9は、大グループのレイアウトの一例を示す図である。 図10は、静止画撮像機能Bを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 図11は、動画撮像機能Bの説明図である。 図12は、動画撮像機能Bの説明図である。 図13は、動画撮像機能Bを用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 図14は、混合撮像機能の説明図である。 図15は、混合撮像機能を用いて撮像した場合に作成される画像ファイルの構成を模式的に示す図である。 図16は、第2の実施の形態に係るメモリカードのディレクトリ構造を模式的に示す図である。 図17は、第2の実施の形態に係る各ファイルの構造を模式的に示す図である。 図18は、第2の実施の形態に係る各ファイルの構造を模式的に示す図である。 図18は、変形例2の説明図である。 図20は、変形例3の説明図である。 図21は、変形例4の説明図である。 図22は、変形例7の説明図である。 図23は、積層型撮像素子の断面図である。 図24は、撮像チップの画素配列とブロックを説明する図である。 図25は、撮像チップのユニットに対応する回路図である。 図26は、撮像素子の機能的構成を示すブロック図である。 図27は、制御部23による撮像処理の説明図である。
(第1の実施の形態)
 初めに、本発明の一実施の形態による電子機器(例えば撮像装置10)に搭載する積層型撮像素子22について説明する。なお、この積層型撮像素子22は、本願出願人が先に出願した特願2012-139026号に記載されているものである。図23は、積層型撮像素子22の断面図である。撮像素子22は、入射光に対応した画素信号を出力する裏面照射型撮像チップ2113と、画素信号を処理する信号処理チップ2111と、画素信号を記憶するメモリチップ2112とを備える。これら撮像チップ2113、信号処理チップ2111およびメモリチップ2112は積層されており、Cu等の導電性を有するバンプ2109により互いに電気的に接続される。
 なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ2113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図23の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
 撮像チップ2113の一例は、裏面照射型のMOSイメージセンサである。PD層2106は、配線層2108の裏面側に配されている。PD層2106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)2104、および、PD2104に対応して設けられたトランジスタ2105を有する。
 PD層2106における入射光の入射側にはパッシベーション膜2103を介してカラーフィルタ2102が設けられる。カラーフィルタ2102は、互いに異なる波長領域を透過する複数の種類を有しており、PD2104のそれぞれに対応して特定の配列を有している。カラーフィルタ2102の配列については後述する。カラーフィルタ2102、PD2104およびトランジスタ2105の組が、一つの画素を形成する。
 カラーフィルタ2102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ2101が設けられる。マイクロレンズ2101は、対応するPD2104へ向けて入射光を集光する。
 配線層2108は、PD層2106からの画素信号を信号処理チップ2111に伝送する配線2107を有する。配線2107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
 配線層2108の表面には複数のバンプ2109が配される。当該複数のバンプ2109が信号処理チップ2111の対向する面に設けられた複数のバンプ2109と位置合わせされて、撮像チップ2113と信号処理チップ2111とが加圧等されることにより、位置合わせされたバンプ2109同士が接合されて、電気的に接続される。
 同様に、信号処理チップ2111およびメモリチップ2112の互いに対向する面には、複数のバンプ2109が配される。これらのバンプ2109が互いに位置合わせされて、信号処理チップ2111とメモリチップ2112とが加圧等されることにより、位置合わせされたバンプ2109同士が接合されて、電気的に接続される。
 なお、バンプ2109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ2109は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ2109の大きさは、PD2104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ2109よりも大きなバンプを併せて設けてもよい。
 信号処理チップ2111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)2110を有する。TSV2110は、周辺領域に設けられることが好ましい。また、TSV2110は、撮像チップ2113の周辺領域、メモリチップ2112にも設けられてよい。
 図24は、撮像チップ113の画素配列を説明する図である。特に、撮像チップ2113を裏面側から観察した様子を示す。画素領域には、例えば800万個以上の画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する2画素×2画素の4画素で1つのブロック2131を形成する。そして、隣接する2ブロック×2ブロックの4ブロックで1つの単位グループ32を形成する。図の格子線は、隣接する画素をまとめてブロック2131および単位グループ32を形成する概念を示す。ブロック2131を形成する画素の数や、単位グループ32を形成するブロック2131の数は、上記例に限らず、それ以上でもそれ以下でもよい。
 画素領域の部分拡大図に示すように、ブロック2131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ2102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ2102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ2102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
 本実施形態において、1ブロック2131につきGb、Gr、BおよびRの4画素を少なくとも1つ含むように複数のブロック2131が定義される。各ブロック2131はそれぞれ、ブロック2131内の4画素をブロック2131ごとに定めた制御パラメータで制御できる。つまり、あるブロック2131に含まれる画素群と、別のブロック2131に含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
 図25は、撮像チップ2113における1つの単位グループ32に対応する回路図である。図25において、代表的に点線で囲む矩形が、1つの画素に対応する回路を表す。また、一点鎖線で囲む矩形が1つのブロック2131に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図23のトランジスタ2105に対応する。
 上述したように、単位グループ32は4つのブロック2131から形成される。単位グループ32に含まれる画素のリセットトランジスタ2303は、ブロック2131単位でオン/オフされる。また、単位グループ32に含まれる画素の転送トランジスタ2302も、ブロック2131単位でオン/オフされる。図25に示す例において、左上ブロック2131-1に対応する4つのリセットトランジスタ2303をオン/オフするためのリセット配線2300-1が設けられており、同ブロック2131-1に対応する4つの転送トランジスタ2302に転送パルスを供給するためのTX配線2307-1も設けられる。
 同様に、左下ブロック2131-3に対応する4つのリセットトランジスタ2303をオン/オフするためのリセット配線2300-3が、上記リセット配線2300-1とは別個に設けられる。また、同ブロック2131-3に対応する4つの転送トランジスタ2302に転送パルスを供給するためのTX配線2307-3が、上記TX配線2307-1と別個に設けられる。
 右上ブロック2131-2や右下ブロック2131-4についても同様に、それぞれリセット配線2300-2とTX配線2307-2、およびリセット配線2300-4とTX配線2307-4が、それぞれのブロック2131に設けられている。
 各画素に対応する16個のPD2104は、それぞれ対応する転送トランジスタ2302に接続される。各転送トランジスタ2302のゲートには、上記ブロック2131ごとのTX配線を介して転送パルスが供給される。各転送トランジスタ2302のドレインは、対応するリセットトランジスタ2303のソースに接続されるとともに、転送トランジスタ2302のドレインとリセットトランジスタ2303のソース間のいわゆるフローティングディフュージョンFDが、対応する増幅トランジスタ2304のゲートに接続される。
 各リセットトランジスタ2303のドレインは、電源電圧が供給されるVdd配線2310に共通に接続される。各リセットトランジスタ2303のゲートには、上記ブロック2131ごとのリセット配線を介してリセットパルスが供給される。
 各増幅トランジスタ2304のドレインは、電源電圧が供給されるVdd配線2310に共通に接続される。また、各増幅トランジスタ2304のソースは、対応する選択トランジスタ2305のドレインに接続される。各選択トランジスタ2305のゲートには、選択パルスが供給されるデコーダ配線2308に接続される。本実施形態において、デコーダ配線2308は、16個の選択トランジスタ2305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ2305のソースは、共通の出力配線2309に接続される。負荷電流源2311は、出力配線2309に電流を供給する。すなわち、選択トランジスタ2305に対する出力配線2309は、ソースフォロアにより形成される。なお、負荷電流源2311は、撮像チップ2113側に設けてもよいし、信号処理チップ2111側に設けてもよい。
 ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック2131ごとのリセット配線を通じてリセットパルスがリセットトランジスタ2303に印加され、同時に上記ブロック2131ごとのTX配線を通じて転送パルスが転送トランジスタ2302に印加されると、上記ブロック2131ごとに、PD2104およびフローティングディフュージョンFDの電位がリセットされる。
 各PD2104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線2308を通じて選択パルスが選択トランジスタ2305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ2304および選択トランジスタ2305を介して出力配線2309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線2309に出力される。
 上述したように、本実施形態においては、ブロック2131を形成する4画素に対して、リセット配線とTX配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック2131内の4画素に対して同時に印加される。したがって、あるブロック2131を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ2305に選択パルスが順次印加されることにより、選択的に出力配線2309から出力される。
 このように、本実施形態ではブロック2131ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック2131間では、異なったタイミングで撮像することができる。
 図26は、撮像素子22の機能的構成を示すブロック図である。アナログのマルチプレクサ2411は、単位グループ32を形成する16個のPD2104を順番に選択して、それぞれの画素信号を当該単位グループ32に対応して設けられた出力配線2309へ出力させる。マルチプレクサ2411は、PD2104と共に、撮像チップ2113に形成される。
 マルチプレクサ2411を介して出力された画素信号は、信号処理チップ2111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路2412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ2413に引き渡され、それぞれの画素に対応する画素メモリ2414に格納される。デマルチプレクサ2413および画素メモリ2414は、メモリチップ2112に形成される。
 演算回路2415は、画素メモリ2414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路2415は、信号処理チップ2111に設けられてもよいし、メモリチップ2112に設けられてもよい。なお、図26では1つの単位グループ32の分の接続を示すが、実際にはこれらが単位グループ32ごとに存在して、並列で動作する。ただし、演算回路2415は単位グループ32ごとに存在しなくてもよく、例えば、一つの演算回路2415がそれぞれの単位グループ32に対応する画素メモリ2414の値を順に参照しながらシーケンシャルに処理してもよい。
 上記の通り、単位グループ32のそれぞれに対応して出力配線2309が設けられている。撮像素子22は撮像チップ2113、信号処理チップ2111およびメモリチップ2112を積層しているので、これら出力配線2309にバンプ2109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
 図1は、本発明の第1の実施の形態に係る撮像装置の構成を示すブロック図である。撮像装置10は、レンズ一体型のカメラである。撮像装置10は、撮像光学系21と、撮像素子22と、制御部23と、液晶モニタ24と、メモリカード25と、操作部26と、DRAM27と、フラッシュメモリ28と、録音部29とを備える。
 撮像光学系21は、複数のレンズから構成され、撮像素子22の撮像面に被写体像を結像させる。なお図1では、撮像光学系21を1枚のレンズとして図示している。
 撮像素子22は例えばCMOSやCCD等の撮像素子であり、撮像光学系21により結像された被写体像を撮像して撮像信号を出力する。制御部23は、撮像装置10の各部を制御する電子回路であり、CPUとその周辺回路とから構成される。不揮発性の記憶媒体であるフラッシュメモリ28には、予め所定の制御プログラムが書き込まれている。制御部23は、フラッシュメモリ28から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるDRAM27を作業用領域として使用する。
 液晶モニタ24は、液晶パネルを利用した表示装置である。制御部23は、所定周期(例えば60分の1秒)ごとに撮像素子22に繰り返し被写体像を撮像させる。そして、撮像素子22から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ24に表示する。液晶モニタ24には、上記のスルー画以外に、例えば撮像パラメータ(撮像条件)を設定する設定画面等が表示される。
 制御部23は、撮像素子22から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード25に画像ファイルを記録する。操作部26は、プッシュボタン等の種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部23に操作信号を出力する。録音部29は、例えばマイクロフォン等により構成され、環境音を音声信号に変換して制御部23に入力する。なお、可搬性の記録媒体であるメモリカード25に画像ファイル40を記録するのではなく、撮像装置10に内蔵された不図示の記録媒体であるハードディスク等に記録してもよい。
 図2(a)は、撮像素子22の撮像面30を模式的に示す平面図であり、図2(b)は撮像面30の一部領域30aを拡大した平面図である。図2(b)に示すように、撮像面30には、撮像画素31が二次元状に多数配列されている。撮像画素31は、それぞれ不図示の色フィルタを有している。色フィルタは、赤(R)、緑(G)、青(B)の3種類からなり、図2(b)における「R」、「G」、および「B」という表記は、撮像画素31が有する色フィルタの種類を表している。図2(b)に示すように、撮像素子22の撮像面30には、このような各色フィルタを備えた撮像画素31が、いわゆるベイヤー配列に従って配列されている。
 赤フィルタを有する撮像画素31は、入射光のうち、赤色の波長帯の光を光電変換して受光信号(光電変換信号)を出力する。同様に、緑フィルタを有する撮像画素31は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する撮像画素31は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。
 本実施形態の撮像素子22は、隣接する2画素×2画素の計4つの撮像画素31から成る単位グループ32ごとに、制御部23によって個別に制御可能に構成されている。例えば、互いに異なる2つの単位グループ32について、同時に電荷蓄積を開始したときに、一方の単位グループ32では電荷蓄積開始から1/30秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方の単位グループ32では電荷蓄積開始から1/15秒後に電荷の読み出しを行うことができる。換言すると、撮像素子22は、1回の撮像において、単位グループ32ごとに異なる露光時間(電荷蓄積時間であり、いわゆるシャッタースピード)を設定することができる。
 撮像素子22は、上述した露光時間以外にも、撮像信号の増幅率(いわゆるISO感度)を単位グループ32ごとに異ならせることが可能である。撮像素子22は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングを単位グループ32ごとに変化させることができる。すなわち、撮像素子22は、動画撮像時のフレームレートを単位グループ32ごとに変化させることができる。
 以上をまとめると、撮像素子22は、単位グループ32ごとに、露光時間、増幅率、フレームレート等の撮像条件を異ならせることが可能に構成されている。例えば、撮像画素31が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、単位グループ32ごとに設けられ、単位グループ32ごとに独立して撮像信号を読み出し可能に構成すれば、単位グループ32ごとに露光時間(シャッタースピード)を異ならせることができる。また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路を単位グループ32ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、単位グループ32ごとに信号の増幅率(ISO感度)を異ならせることができる。
 なお、単位グループ32を構成する撮像画素31の数は、上述した2×2の4画素でなくてもよい。単位グループ32は、少なくとも1個の撮像画素31を有していればよいし、逆に、4個より多くの撮像画素31を有していてもよい。また、単位グループ32ごとに異ならせることが可能な撮像条件は、上述したもの以外であってもよい。例えば、単位グループ32ごとに独立して制御可能な区画(1区画が1つの単位グループ32に対応する)を有する液晶パネルを撮像素子22に設け、オンオフ可能な減光フィルタとして利用すれば、単位グループ32ごとに明るさ(絞り値)を制御することが可能になる。 
 次に、制御部23が作成しメモリカード25に記録する画像ファイルについて説明する。図3は、本実施の形態に係る画像ファイルの構成を示す模式図である。画像ファイル40は、ヘッダ部41と、データ部42の2つのブロックから成る。
 ヘッダ部41は、画像ファイル40の先頭に位置するブロックであり、ファイル基本情報部43と、マスク部44と、撮像情報部45とが、以上に述べた順序で格納されている。ファイル基本情報部43には、例えば画像ファイル40内の各部(ヘッダ部41、データ部42、マスク部44、撮像情報部45等)のサイズやオフセットが記録される。マスク部44には、後述する撮像条件情報やマスク情報等が記録される。撮像情報部45には、例えば撮像装置10の機種名や撮像光学系21の情報 (例えば収差等の光学特性に関する情報) 等、撮像に関する情報が記録される。データ部42は、ヘッダ部41の後ろに位置するブロックであり、画像情報や音声情報等が記録される。
 次に、制御部23による撮像処理について説明する。制御部23は、撮像処理において、単位グループ32ごとに撮像条件を制御して被写体像を撮像し、画像データ(画像情報)を作成する。制御部23は、一様な明るさの画素値から成る画像情報が作成されるように、単位グループ32ごとの撮像条件を設定(制御)する。以下、制御部23による撮像条件の設定方法について述べる。
 図27(a)に示す被写体を撮像するものとして説明する。図27(a)に示した撮像画面100には、地面101の上に建っている建物102が含まれる。背景には空103が広がっており、空103には雲104と太陽105が存在している。地面101のうち、建物102の手前の部分には、太陽105からの光が建物102によって遮られることにより、建物102の影106ができている。
 制御部23は、図27(a)に示す被写体の撮像に際し、まず単位グループ32ごとの撮像条件を同一にした状態で、予備的に被写体を撮像する。この撮像は、 撮像条件を決定するための撮像である。以下、この撮像条件を設定するための撮像を、予備撮像と称する。また、メモリカード25に記録するための画像情報を作成するための撮像を、本撮像を称し、予備撮像と区別する。なお、予備撮像は、例えばスルー画(ライブビュー画像)の作成のために行われる撮像を兼ねていてもよい。また、予備撮影で作成された画像情報をメモリカード25に記録するようにしてもよい。
 制御部23は、予備撮像を行うことで、撮像画面100のBv値マップを作成する。Bv値マップは、単位グループ32ごとの明るさ(輝度値すなわちBv値)を、単位グループ32の配列に合わせて二次元状に配列したマップである。換言すると、Bv値マップは、撮像画面100における撮像条件撮像の一種である明るさ(輝度値すなわちBv値)の分布図である。制御部23は、単位グループ32から読み出された撮像信号(不図示の光電変換部による光電変換信号)に基づき、撮像画面100のBv値マップを作成する。なお、制御部23は、予備撮像により、撮像画面100のBv値マップを作成したが、これに限定されない。撮像装置10が不図示の測光センサーを備え、測光センサーの出力値に基づいてBv値マップを作成するようにしてもよい。
 図27(a)に示した撮像画面100に対応するBv値マップの例を、図27(b)に示す。図27(b)に例示したBv値マップ67によれば、太陽105が位置する部分108の単位グループ32で測定されたBv値は8であり、撮像画面100全体で最も明るくなっていることがわかる。また、建物102の影106が位置する部分109の単位グループ32で測定されたBv値は4であり、撮像画面100全体で最も暗くなっていることがわかる。
 ここで、本撮像におけるシャッタースピード(電荷蓄積時間、露光時間)は、1/30秒であり、絞り値はF8であると仮定する。この場合、Tv値は5、Av値は6となり、露出値(Ev値)はTv値+Av値=5+6=11と求まる。なお、シャッタースピードや絞り値は、予めユーザが手動で設定しておくようにしてもよいし、制御部23が、画面全体の測光結果(図27(b)に例示したBv値マップ67等)に基づき適切な値を設定するようにしてもよい。また、制御部23が撮像画面100から主要被写体を検出し、検出されて主要被写体を含む領域の絞り値とシャッタースピードとに基づいて、本撮影の露出値を決定するようにしてもよい。なお、主要被写体の検出は、ユーザが手動で設定できるようにしてもよい。主要被写体を含む領域に限らず、ユーザが露出値を決定するための基準となる領域を予め手動で設定できるようにしてもよい。
 制御部23は、本撮像の露出値と図27(b)に示したBv値マップ67とに基づき、撮像画面100のSv値マップを作成する。Sv値マップは、単位グループ32ごとの本撮像時のSv値(不図示の増幅回路の増幅率を表す数値であり、いわゆるISO感度に対応する値)を、単位グループ32の配列に合わせて二次元状に配列したマップである。換言すると、Sv値マップは、撮像画面100における補正量の一種である増幅率の分布図である。
 制御部23は、全ての単位グループ32において、露出値(Ev値)が一様になるようにSv値マップを作成する。具体的には、Bv値マップ67に含まれる各々のBv値から、上述したEv値を引いた値を、その位置のSv値とする。
 図27(b)に例示したBv値マップ67に対応するSv値マップを、図27(c)に示す。図27(c)に示したSv値マップによれば、太陽105が位置する部分110の単位グループ32に設定されるSv値は、Ev値―Bv値=11-8=3である。また、建物102の影106が位置する部分111の単位グループ32に設定されるSv値は、11-4=7である。
 制御部23は、不図示の絞りをF8の絞り値に対応する量だけ絞り込み、単位グループ32の各々に、上述した1/30秒のシャッタースピードと、図27(c)に示したSv値マップ66により特定されるSv値とを設定して、本撮像を行う。換言すると、制御部23は、補正量の分布図であるSv値マップ66に基づく補正が為された画像情報(画像データ)を生成する。図27(d)に、本撮像により作成された画像情報の例を示す。図27(a)と比較すると、図27(d)に例示した画像情報64は、画面全体で画素値が均一に(一様に)なっていることがわかる。つまり、図27(a)に例示した撮像画面100とは異なり、画面全体で明暗の差が小さく、コントラストが低い画像が作成される。
 なお、ここで作成される画像情報64は、いわゆるRAW画像データである。つまり、種々の画像処理が施される前の、撮像画素31から読み出された撮像信号がそのまま二次元状に配列されたデータである。
 制御部23は、図27(d)に示した画像情報64をメモリカード25に記録すると共に、図27(b)に示したBv値マップ67と、図27(c)に示したSv値マップ66と、本撮像時のシャッタースピード(例えば30分の1秒)に関連する情報と、本撮像時の絞り値(例えばF8)に関連する情報とを、画像情報64に関連づけてメモリカード25に記録する。なお、制御部23は、画像情報64と、Bv値マップ67と、Sv値マップ66と、本撮影時のシャッタースピードに関連する情報と、本撮影時の絞り値に関連する情報とを、メモリカード25に記録するようにしたが、これに限定されない。制御部23は、画像情報64とSv値マップ66とをメモリカード25に保存するようにしてもよい。制御部23は、画像情報64とBv値マップ67とをメモリカード25に保存するようにしてもよい。制御部23は、画像情報64とBv値マップ67とSv値マップ66とをメモリカード25に保存するようにしてもよい。制御部23は、画像情報64と、Bv値マップ67と、本撮影時のシャッタースピードに関連する情報と、本撮影時の絞り値に関連する情報とを、メモリカード25に記録するようにしてもよい。制御部23は、画像情報64と、Sv値マップ66と、本撮影時のシャッタースピードに関連する情報と、本撮影時の絞り値に関連する情報とを、メモリカード25に記録するようにしてもよい。
 図27(d)に例示した画像情報64は、明るさが均一な、コントラストの低い画像であり、図27(a)に例示した撮像画面100を再現しているとは言いがたい画像となっている。これは、本実施形態では、メモリカード25に記録した画像情報64をそのまま(加工せずに)再生することを想定していないことに因る。
 本実施形態では、制御部23がBv値マップ67等の種々の撮像条件に関する情報を、画像情報64に関連づけてメモリカード25に記録する。撮像条件従って、それらの情報に基づいて、画像情報64に画像処理(例えば、いわゆる現像処理等)を施すことによって、図27(a)に例示した撮像画面100を忠実に再現した画像を作成することが可能である。
 従来のカメラでは、画面全体に一様なSv値を設定して撮像を行う。従って、例えば図27(a)のように、太陽105等の明るい部分を含み、且つ、影106等の暗い部分を含む被写体を撮像すると、太陽105の部分で白飛びが発生してしまうか、もしくは影106の部分で黒つぶれが発生してしまっていた。換言すると、画面内で白飛びかつ黒つぶれが発生している場合は、画面全体に一様なSv値を設定して撮像を行ったとしても、白飛びまたは黒つぶれのどちらか一方のみを解消して撮像を行うことは可能であるが、どちらも解消するように撮像を行うことはできない。
 これに対し、本実施形態の撮像装置10で撮像を行うと、単位グループ32ごとにBv値を測定し、単位グループ32ごとに測定結果に応じたSv値を設定するので、白飛びも黒つぶれも発生しない画像情報64を作成することができる。
 このようにして作成された画像情報64は、コントラストが低い画像ではあるものの、Bv値マップ67やSv値マップ66が共に記録されるので、最終的に、白飛びも黒つぶれも発生していない、ダイナミックレンジの広い鮮鋭な画像を容易に作成することができる。現像(再生)する機器のダイナミックレンジが撮像する機器のダイナミックレンジよりも狭い場合、現像する機器の制約により、Bv値マップ67やSv値マップ66に基づいて現像してしまうと白飛びや黒つぶれが発生してしまう場合がある。そのような場合は、現像機器(再生装置)は、領域毎のBv値の差やBv値の比率等を参照して、現像するようにしてもよい。つまり撮像時の領域毎の輝度値の差やその比率に基づいて、現像する機器に則した現像を行うことで、その現像機器において最もダイナミックレンジの広い鮮鋭な画像を作成することができる。
 なお、動画の撮像を行う場合には、連続するフレーム間において、前フレームの撮像を上述した予備撮像、次フレームの撮像を本撮像と置き換えて考えればよい。つまり、制御部23は、前フレームの撮像結果に基づいてBv値マップ67を作成し、それに基づいて次フレームの撮像を行う。
 本実施の形態では、白飛びかつ黒つぶれが発生している画像について説明を行ったが、これに限定されない。白飛びまたは黒つぶれのどちらか一方が発生している画像についても、画素値を一様とする制御を行うようしてもよい。また、白飛びおよび黒つぶれのどちらも発生していない画像についても、画素値を一様とする画像情報64を生成するようにしてもよい。
 制御部23は、画像データ白飛びおよび黒つぶれのどちらも発生していない画像についても画素値を一様とする制御を行うようにしてもよい。この場合、予備撮影で作成された画像情報と、Bv値マップ67と、Sv値マップ66と、本撮影時のシャッタースピードに関連する情報と、本撮影時の絞り値に関連する情報とを、メモリカード25に記録するようにしてもよい。撮影後に、予備撮影で作成された画像情報を画像情報64に現像するようにしてもよい。
 なお、以上の説明において、均一な画素値、一様な画素値と述べたが、これは撮像画面のあらゆる場所で画素値が完全に同一であることを意味しない。つまり、撮像画面のある一定範囲内で画素値がおおむね一定範囲(実用的な範囲内)に収まるようにSv値を設定すればよく、例えば視認が困難なほど微少な画素値の差を考慮する必要はない。均一な画素値、一様な画素値と述べたが、これに限定されず画素値が所定幅内に収まるように撮像条件を調整するようにしてもよい。つまり、撮像装置10のダイナミックレンジ内に画素値が収まっている状態、換言すると、白飛びもしくは黒つぶれが生じていない状態となるように、画素値を変更するようにしてもよい。この場合、制御部23により白飛びまたは黒つぶれが生じている領域を検出し、検出された領域においては白飛びまたは黒つぶれを解消するような撮像条件で撮像をする。白飛びまたは黒つぶれが発生していない領域においては、撮像条件を変更せず撮像する。この場合、制御部23は、白飛びまたは黒つぶれが生じている領域のアドレス情報を記録するようにしてもよい。制御部23は、撮影画面100内に複数個の本撮像の露出値を設定できるようにしてもよい。撮影画面100内のBv値マップ67を検出したときに、Bv値の閾値を定め、その閾値以上のBv値が検出された領域については第1の露出値となるようにSv値を変更し、閾値未満のBv値が検出された領域については第2の露出値となるようにSv値を変更するようにしてもよい。閾値は1個に限らず2個以上あってもよく、閾値の個数によって設定される露出値の数が決まる。
 制御部23は、予備撮像を行い、撮像画面100のBv値マップを作成したが、これに限定されない。制御部23は、たとえば、被写体の移動に関する情報、たとえば移動距離や移動速度等を検出するようにしてもよい。制御部23は、被写体の移動に関する情報を検出することで、たとえば、被写体毎もしくは領域毎に手ブレや被写体ブレなどが生じない最長のシャッタースピードを算出し、そのシャッタースピードに基づいたTv値マップを作成するようにしてもよい。Ev値が一様となるようにAv値を変更する制御を行うようにすればよい。 
 制御部23は、Sv値マップ66を作成したが、これに限定されない。ユーザがSv値を固定した場合、制御部23は、単位グループ32毎にシャッタースピードを変更して、画像全体のEv値を均一な画素値、一様な画素値とするような、Tv値マップを作成してもよい。制御部23は、単位グループ32毎に絞り値を変更して、画像全体のEv値を均一な画素値、一様な画素値とするような、Av値マップを作成してもよい。また、制御部23は、単位グループ32毎にシャッタースピードと絞り値とを変更して、画像全体のEv値を均一な画素値、一様な画素値とするような、Tv値マップとAv値マップとを作成してもよい。つまり、制御部23は、Sv値マップ66とTv値マップとAv値マップの少なくともいずれか1個のマップを作成すればよく、作成するマップは1個に限定されず、複数個のマップを作成するようにしてもよい。
 次に、撮像装置10が有する撮像機能と、各撮像機能により作成(記録)される画像ファイル40について説明する。ユーザは、操作部26が有する操作部材に対して所定の操作を行い、以下に説明する各撮像機能を切り替える(選択する)ことができる。制御部23は、選択されている撮像機能に基づき、前述した撮像処理による撮像を行い、画像ファイル40を作成してメモリカード25に記録する。
(1)静止画撮像機能A(単一の静止画)
 静止画撮像機能Aは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して静止画を撮像する機能である。
 図4(a)に、撮像素子22の撮像画面50(撮像範囲)と被写体51とを模式的に示す。図4(a)に示した被写体51を、静止画撮像機能Aにより撮像する手順について説明する。制御部23は、本撮像前に、一度、被写体51を予備撮像する。制御部23は、予備撮像により得られた被写体51の画像(被写体51が写り込んでいる画像)に対して、所定の画像解析処理を実行する。画像解析処理は、例えば周知の被写体検出技術(特徴量を演算して所定の被写体が存在する範囲を検出する技術)により、主要被写体部分と背景部分とを検出する処理である。画像解析処理によって、撮像画面50は、主要被写体部分が存在する主要被写体領域52と、背景部分が存在する背景領域53とに分割される。
 なお、図4(a)では、被写体51を大まかに含む領域を主要被写体領域52として図示しているが、主要被写体領域52は、被写体51の外形に沿った形状であってもよい。つまり、被写体51以外のものをできるだけ含まないように主要被写体領域52を設定してもよい。
 制御部23は、各々の単位グループ32について、その単位グループ32が主要被写体領域52に含まれるのか、あるいは背景領域53に含まれるのかを表す情報を、画像ファイル40に記録する。この情報は、例えば再生時に実行する画像処理に利用することが可能である。例えば、被写体51を強調表示したり、被写体51のみを画像から抽出したりすることができる。
 図5は、静止画撮像機能Aを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。マスク部44には、識別情報60と、撮像条件情報61と、マスク情報62aが、以上に述べた順序で記録される。識別情報60は、この画像ファイル40が静止画撮像機能Aによって作成されたものである旨を表す情報である。
 撮像条件情報61は、単位グループ32にどのような用途(目的、役割)が存在するかを表す情報である。例えば、上述したように、撮像画面50(図4(a))を主要被写体領域52と背景領域53とに分割する場合、各々の単位グループ32は、主要被写体領域52に属するか、背景領域53に属するかのいずれかである。つまり、単位グループ32は、「主要被写体部分を静止画撮像する」という用途か、「背景部分を静止画撮像する」という用途か、のいずれかの用途を有している。撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32に「主要被写体部分を静止画撮像する」、「背景部分を静止画撮像する」という2種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1という番号が「主要被写体部分を静止画撮像する」用途を、2という番号が「背景部分を静止画撮像する」用途にそれぞれ割り当てられる。
 マスク情報62aは、各々の単位グループ32の用途(目的、役割)を表す情報である。本実施形態では、マスク情報62aを、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」としている。つまり、二次元状に配列された単位グループ32を2つの整数x、yによる二次元座標(x、y)で特定するとき、(x、y)の位置に存在する単位グループ32の用途は、マスク情報62aの(x、y)の位置に存在する番号により表現される。例えば、マスク情報62aの座標(3,5)の位置に「1」という番号が入っていた場合、座標(3,5)に位置する単位グループ32には、「主要被写体部分を静止画撮像する」という用途が与えられたことがわかる。換言すると、座標(3,5)に位置する単位グループ32は、主要被写体領域52に属することがわかる。
 図4(a)に示した撮像画面50に対応するマスク情報62aの例を、図4(b)に示す。主要被写体領域52に属する単位グループ32の位置には「1」が、背景領域53に属する単位グループ32の位置には「2」がそれぞれ格納されている。
 データ部42には、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とが、以上に述べた順序で格納される。マスク情報62bは、マスク部44に格納されるマスク情報62aと同一の情報である。ここで、マスク部44とデータ部42の両方に同一のマスク情報62a、62bを格納しているのは、画像ファイル40の扱いが容易になるようにするためである。
 詳細は後述するが、他の機能により作成される画像ファイル40では、マスク部44とデータ部42に互いに異なるマスク情報62a、62bを格納することがある。静止画撮像機能Aにおいて、例えばデータ部42にマスク情報62bを格納し、マスク部44にはマスク情報62aを格納しないことにすると、機能ごとに画像ファイル40の構造が変化することになる。このようにすると、画像ファイル40の扱いが煩雑になるため、本実施形態では、あえてマスク部44とデータ部42の両方に同一のマスク情報62a、62bを入れ、機能ごとの画像ファイル40の構造の違いを最小限にしている。なお、マスク情報62a、62bのいずれか一方を省略してもよく、その場合には、画像ファイル40が占有する記憶領域のサイズを削減することが可能となる。また、マスク情報62a、62bの両方が記録されていた場合であっても、識別情報によりマスク情報62a、62bの両方を読み込む必要があるか否かがわかるので、一方が再生処理等に不要であると判断した場合には、その一方の読み込みをスキップすることで、ファイル読み込み時間を短縮することができる。
 なお、以下の説明では、マスク部44に格納されるマスク情報62aと、データ部42に格納されるマスク情報62bとを、マスク情報62と総称する。
 画像情報64は、本撮像により撮像素子22から出力された撮像信号を、種々の画像処理を施す前の形で記録した情報であり、いわゆるRAW画像データである。Tv値マップ65は、単位グループ32ごとに設定されたシャッタースピードを表すTv値を、単位グループ32の位置に合わせて二次元マップの形で表現した情報である。例えば座標(x、y)に位置する単位グループ32に設定されたシャッタースピードは、Tv値マップ65の座標(x、y)に格納されているTv値を調べることで判別可能である。本実施形態では、撮像画面全体で単一のTv値が設定される場合は、Tv値マップ65に含まれるTv値は全て同じ値となる。 
 Sv値マップ66は、単位グループ32ごとに設定されたISO感度を表すSv値を、Tv値マップ65と同様に二次元マップの形で表現した情報である。Bv値マップ67は、本撮像に際して単位グループ32ごとに測定された被写体輝度、すなわち、各々の単位グループ32に入射した被写体光の輝度を表すBv値を、Tv値マップ65と同様に二次元マップの形で表現した情報である。Av値情報68は、本撮像時の絞り値を表す情報である。本実施形態において、Av値は、Tv値、Sv値、Bv値とは異なり、単位グループ32ごとに存在する値ではない。従って、Tv値、Sv値、Bv値とは違い、Av値は単一の値のみが格納され、複数の値を二次元状にマップした情報とはなっていない。
 以上のように、制御部23は、静止画撮像機能Aによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。
(2)動画撮像機能A(単一の動画)
 動画撮像機能Aは、撮像画面を複数の部分領域に区切り、それら複数の部分領域に対して個別に撮像条件を設定して、動画を撮像する機能である。静止画撮像機能Aとの違いは、静止画ではなく動画を撮像する点である。静止画ではなく動画を撮像するため、静止画撮像機能Aで述べた「各々の単位グループ32の用途」が、フレームごとに変化する可能性がある。
 図6(a)に、撮像素子22の撮像画面50(撮像範囲)と、被写体51とを模式的に示す。制御部23は、本撮像前に予備撮像を行う。そして、予備撮像により得られた被写体51の画像(被写体51が写り込んでいる画像)に対して、所定の画像解析処理を実行する。画像解析処理によって、撮像画面50は、主要被写体部分が存在する主要被写体領域52と、背景部分が存在する背景領域53とに分割される。制御部23は、主要被写体領域52内の各単位グループ32と、背景領域53内の各単位グループ32とで、異なる撮像条件を設定して、1フレーム目の本撮像を行い、画像データを作成する。このときのマスク情報62の例を、図6(b)に示す。図6(b)に示したマスク情報62では一例として、主要被写体領域52に属する単位グループ32に「1」という番号を、背景領域53に属する単位グループ32に「2」という番号を割り振っている。
 次に、制御部23は、1フレーム目の画像データに対して、画像解析処理を実行し、主要被写体部分と背景部分とを検出する。これにより、1フレーム目の画像データは、図6(c)に示すように、主要被写体領域52と背景領域53とに分割される。このときのマスク情報62の例を、図6(d)に示す。
 予備撮像の結果に対応するマスク情報62(図6(b))と、1フレーム目の本撮像の結果に対応するマスク情報62(図6(d))とでは、異なる時刻に撮像を行っている(時間差がある)ため、例えば被写体51が移動している場合や、ユーザが撮像装置10を動かした場合に、これら2つのマスク情報62が異なる内容になる。換言すると、マスク情報62は、時間経過に伴い変化する動的情報である。
 制御部23は、画像ファイル40に、各フレームの画像情報64と共に、各フレームのマスク情報62b、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を記録する。従って、撮像後に、画像ファイル40から、撮像時の情報を余すところなく取得することができ、動画再生等にそれらの情報を有効活用することができる。
 なお、3フレーム目以降の本撮像時の処理は、上述した2フレーム目の処理と同様であるので、説明を省略する。制御部23は、撮像が完了するまで(例えば所定の時間が経過するか、ユーザが所定の撮像終了操作を行うまで)上述した処理を繰り返し実行する。
 図7は、動画撮像機能Aを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図5に示した静止画撮像機能Aの場合との違いについて詳述する。
 識別情報60は、この画像ファイル40が動画撮像機能Aによって作成されたものである旨を表す。撮像条件情報61は、静止画撮像機能Aの撮像条件情報61にフレームレートを付け加えたものである。つまり、撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32に例えば「主要被写体部分を60fpsで動画撮像する」、「背景部分を60fpsで動画撮像する」という2種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1という番号が「主要被写体部分を60fpsで動画撮像する」用途を、2という番号が「背景部分を60fpsで動画撮像する」用途にそれぞれ割り当てられる。
 マスク情報62aは、上述した静止画撮像機能Aと同様の情報である。ただし動画撮像の場合、前述の通り、マスク情報62はフレームごとに変化する動的情報なので、どのフレームのマスク情報62がヘッダ部41に記録されるのかを決めなければならない。本実施形態では、1フレーム目の撮像の際に各単位グループ32に設定された撮像条件を表すマスク情報62a、すなわち、図6(b)に例示したマスク情報62を、ヘッダ部41に記録する。このようにしたのは、静止画撮像機能Aの説明でも述べた通り、画像ファイル40の扱いが煩雑になることを防ぐためである。
 データ部42には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62と、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、データ部42には、フレームごとのブロック70と共に、音声情報71が格納される。音声情報71は、動画再生を行いやすいように、1フレーム分の情報ごとに分割され、ブロック70と多重化されてデータ部42に格納されている。なお、音声情報71の多重化は、1フレーム分でなく、所定数のフレーム分ごとに行ってもよい。ブロック70内の各情報は、1フレーム毎に記録されることを除き、静止画撮像機能Aの場合と同様であるので説明を省略する。
 以上のように、制御部23は、動画撮像機能Aによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。
(3)静止画撮像機能B(複数の静止画)
 静止画撮像機能Bは、1回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画を同時に複数枚撮像する機能である。
 図8(a)に、撮像素子22の撮像面30を模式的に示す。また、図8(b)に、撮像面30の一部領域30bを拡大した模式図を示す。静止画撮像機能Bでは、二次元状に配置された複数の単位グループ32を、更に複数の大グループ81 に分類する。このとき、ある大グループ81に属する単位グループ32が、撮像面80 全体に一様に配置されるように単位グループ32を分類する。例えば図8(b)では、全ての単位グループ32を、2×2の4つの単位グループ32から成るブロック82に分割し、各ブロック82の左上の単位グループ32を1つ目の大グループ811に、左下の単位グループ32を2つ目の大グループ812に、右上の単位グループ32を3つ目の大グループ813に、右下の単位グループ32を4つ目の大グループ814に分類している。なお図8(b)では、模式的に図示した四角形1つが1つの単位グループ32を表しており、四角形の中に記載した数字は、その単位グループ32が属する大グループ81の種類を表している。
 制御部23は、本撮像の際、1つ目の大グループ811に属する単位グループ32と、2つ目の大グループ812に属する単位グループ32と、3つ目の大グループ813に属する単位グループ32と、4つ目の大グループ814に属する単位グループ32とで、撮像条件を異ならせる。例えば、シャッタースピードを互いに異なる値に設定して本撮像を行う。撮像処理の説明において、制御部23は、画面全体で明るさが均一になるように画像情報64を作成すると説明したが、この場合、制御部23は、同一の大グループ81に属する単位グループ32同士で明るさが均一になるように画像情報64を作成することになる。制御部23は、このようにして撮像した画像情報を画像ファイル40に記録する。ここで記録される画像情報は、図8(c)に模式的に示すように、各画素値を大グループ81ごとに集約して利用することを意図したものである。
 例えば、図8(c)に示すように、1つ目の大グループ811に属する単位グループ32に対応する画素値だけを画像情報64から抽出して二次元状に並べると、撮像素子22の画素数の1/4の画素値から成る第1の画像情報641が得られる。同様に、2つ目の大グループ81に属する単位グループ32に対応する画素値だけを画像情報64から抽出して二次元状に並べると、撮像素子22の画素数の1/4の画素値から成り、上述した第1の画像情報641とは異なる撮像条件で撮像された、第1の画像情報641と同一の被写体51が写っている第2の画像情報642が得られる。同様に、第3の画像情報643、第4の画像情報644が得られる。これら4つの画像情報641、642、643、644は、全て、同一の被写体51を撮像した画像であり、且つ、互いに撮像条件が異なる画像である。つまり、最初に述べたように、1回の撮像で、互いに撮像条件が異なる、同一の被写体51に関する4つの静止画が同時に撮像されたといえる。
 なお、画像ファイル40内の画像情報64は、撮像素子22の各撮像画素31からの画素出力を、撮像画素31の位置通りに配列した画像である。つまり、上述した4つの画像情報641、642、643、644を作成する処理は、メモリカード25から画像ファイル40を読み出す再生時や現像時に行われることになる。また、その画像情報64は、必ずしも4つの画像情報641、642、643、644を作成するためだけのものではない。画像情報64をそのまま利用(再生等)してしまうと、隣接する単位グループ32ごとに撮像条件が異なっているため、例えば市松模様が現れた不自然な画像になってしまう。しかしながら、画像ファイル40には、単位グループ32ごとの撮像条件(例えばTv値、Sv値等)が記録されているので、それらの撮像条件と画像情報64とを組み合わせて現像すれば、そのような不自然な画像となることを防ぐことができる。例えば、他の単位グループ32よりも露出値(Ev値)が高い単位グループ32では、他の単位グループ32よりも明るさを抑えて現像を行えばよい。
 以上では単位グループ32を4つの大グループ811、812、813、814に分類した例について説明したが、4つに限らず、任意の数の大グループ81に分類し、任意の数の静止画を同時に撮像してよい。また、大グループ81のレイアウト(単位グループ32の分類方法)も、2×2の単位グループ32を1つずつ異なる大グループ81に分類するというものに限らない。
 この点について、図9(a)、(b)に例を挙げる。図9(a)では、全ての単位グループ32を、3×3の計9個の組に区切り、各々の組において、当該組に含まれる9個の単位グループ32を、それぞれ1~9番目の大グループ81に割り当てている。このようなレイアウトを採用することで、1回の撮像で、撮像条件が異なる9つの画像641~649を同時に撮像することができる。また、図9(b)では、全ての単位グループ32を、3×3の計9個の組に区切り、各々の組において、左上隅の単位グループ32を1つ目の大グループ81に割り当て、右下の2×2の計4個の単位グループ32を、2つ目の大グループ81に割り当てている。残りの4個の単位グループ32は、撮像に利用しないものとしている。このようにすると、1回の撮像で、撮像条件が異なる2つの画像641、642を同時に撮像することができるが、2つ目の大グループ81に対応する画像642は、1つ目の大グループ81に対応する画像641に比べて、4倍の画素数を有する画像になる。つまり、1回の撮像で、撮像条件が異なる2つの画像641、642を同時に撮像することができ、且つ、それら2つの画像641、642は、互いに画素数が異なるものとなる。
 図10は、静止画撮像機能Bを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図5に示した静止画撮像機能Aの場合との違いについて詳述する。
 識別情報60は、この画像ファイル40が静止画撮像機能Bによって作成されたものである旨を表す。撮像条件情報61は、単位グループ32にどのような用途が存在するかを表す情報である。静止画撮像機能Bにおいては、各々の単位グループ32は、例えば「第1の画像情報641を構成する」という用途か、「第2の画像情報642を構成する」という用途か、「第3の画像情報643を構成する」という用途か、「第4の画像情報644を構成する」という用途か、のいずれかの用途を有している。撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32にそれら4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1~4の番号が、それぞれ「第1~第4の画像情報641~644を構成する」用途に割り当てられる。
 静止画撮像機能Bにおけるマスク情報62aは、静止画撮像機能Aの場合と同様に、各々の単位グループ32の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が入っていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
 なお、本実施形態において、「0」という番号を持つ大グループ81は、撮像に利用されなかった単位グループ32を表す特別な大グループ81である。つまり、マスク情報62aにおいて「0」という番号が割り振られている単位グループ32は、撮像に利用されておらず(本撮像時に撮像信号が読み出されておらず)、データ部42に記録されている画像情報64には、その単位グループ32に関する情報が含まれていない(または、その単位グループ32に関する情報として、有効でない情報が記録されている)ことを表す。
 例えば、同時に3通りの撮像条件で撮像できれば十分であり、4通りの撮像条件で撮像する必要がない場合には、図8(b)に示した単位グループ32のうち、「4」と書かれた単位グループ32のマスク情報62aに「0」という番号を割り当てればよい。
 データ部42の構成は、静止画撮像機能Aと同一である。すなわち、データ部42には、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とが格納される。また、マスク情報62bは、マスク部44に格納されるマスク情報62aと同一の情報である。
 なお、マスク情報62bとして、マスク部44のマスク情報62aと同一の情報ではなく、単位グループ32の各々の有効・無効を表す情報を格納してもよい。例えば、撮像に利用されていない(撮像時に撮像信号が読み出されていない)単位グループ32に数値「0」、撮像に利用された(撮像時に撮像信号が読み出された)単位グループ32に数値「1」を割り当て、それを単位グループ32の位置に合わせて二次元状に配列したマップをマスク情報62bとしてデータ部42に格納してもよい。後述する動画撮像機能Bや混合撮像機能においても同様である。
 以上のように、制御部23は、静止画撮像機能Bによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。
(4)動画撮像機能B(複数の動画)
 動画撮像機能Bは、1回の撮像で、互いに撮像条件が異なる、同一の被写体に関する動画を同時に撮像する機能である。静止画撮像機能Bとの違いは、静止画ではなく動画を撮像する点である。動画の撮像ではあるものの、動画撮像機能Aのように、ある大グループ81に分類された単位グループ32が、フレームごとに異なる大グループ81に分類されることはない。ただし、フレームレートの設定によっては、あるフレームに含まれていた(あるフレームで有効であった)単位グループ32が、別のフレームには含まれていない(別のフレームでは無効である)ことがある。以下、フレームレートの設定別に、動画撮像機能Bについて説明する。
(4-1)全ての大グループ81でフレームレートが統一されている場合
 図11は、全ての大グループ81において、フレームレートが同一の場合の動画撮像機能Bの説明図である。この場合、大グループ81ごとに異なる撮像条件とは、フレームレート以外の撮像条件(例えばシャッタースピード等)である。露出時間は異なるとしても、フレームレート、すなわち信号読み出しの周期は同一であるため、全ての大グループ81において、撮像信号の読み出しはフレームレートに対応する所定周期T1ごとに行われる。
 全ての単位グループ32において同一のフレームレートで撮像が行われるので、全てのフレームにおいて、全ての単位グループ32が撮像に利用されている。換言すると、全てのフレームにおいて、全ての単位グループ32から撮像信号が読み出され、全てのフレームの画像情報64に、全ての単位グループ32から読み出された撮像信号が含まれている。例えば、撮像開始時刻t0から所定周期T1だけ後の時刻t1に、1つ目の画像情報64が作成される。この画像情報64には、1番目の大グループ81における1フレーム目(図11で#1と表記したフレーム。以下同様)の画像と、2番目の大グループ81における1フレーム目の画像と、3番目の大グループ81における1フレーム目の画像と、4番目の大グループ81における1フレーム目の画像と、が含まれる。2つ目以降の画像情報64についても同様である。
(4-2)大グループ81ごとにフレームレートが統一されていない場合
 図12は、全ての大グループ81に、互いに異なるフレームレートが設定されている場合の動画撮像機能Bの説明図である。この例において、1番目の大グループ811には60fps、2番目の大グループ812には50fps、3番目の大グループ813には24fps、4番目の大グループ814には25fpsのフレームレートがそれぞれ設定されている。
 このように、大グループ81同士でフレームレートが異なる場合、制御部23は、もっとも早いフレームレートを基準として各フレームを記録する。つまり、60fpsに対応する所定周期T2(約16.7ミリ秒)ごとに、画像情報64が記録される。例えば、撮像開始時刻t0から所定周期T2だけ後の時刻t11には、1番目の大グループ811に属する単位グループ32から読み出された撮像信号に基づく画像情報64が作成され、画像ファイル40に記録される。時刻t11の時点では、他の大グループ812、813、814において1フレーム目の撮像信号の読み出しが為されていないため、この画像情報64には、それらの撮像信号は含まれていない。なお図12では、特定の単位グループ32から撮像信号が読み出されておらず、画像情報64にその撮像信号が含まれていないことを、「X」という記号で表記している。
 時刻t11から所定周期T2だけ後の時刻t12では、1番目の大グループ811の2回目(2フレーム目)の本撮像だけでなく、2番目の大グループ812(50fps)の1回目(1フレーム目)の本撮像も完了している。そこで、制御部23は、1番目の大グループ811に属する単位グループ32と2番目の大グループ812に属する単位グループ32から読み出した撮像信号を、画像ファイル40に記録する。3番目の大グループ813に属する単位グループ32や4番目の大グループ814に属する単位グループ32からは撮像信号が読み出されず、画像ファイル40にも記録されない。
 このように、大グループ81同士でフレームレートが異なる場合、画像情報64の一部が欠落している(無効になっている)ことがある。制御部23は、フレームごとに記録するマスク情報62bによって、特定の単位グループ32に対応する撮像信号が画像情報64に含まれていないことを示す。具体的なマスク情報62bの構成については後に述べる。
 図13は、動画撮像機能Bを用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図7に示した動画撮像機能Aや図10に示した静止画撮像機能Bの場合との違いについて詳述する。
 識別情報60は、この画像ファイル40が動画撮像機能Bによって作成されたものである旨を表す。撮像条件情報61は、単位グループ32にどのような用途が存在するかを表す情報である。動画撮像機能Bにおける撮像条件情報61は、静止画撮像機能Bの撮像条件情報61にフレームレートを付け加えたものである。つまり、撮像条件情報61は、この画像ファイル40の作成に際し、単位グループ32に例えば「60fpsの動画である第1の画像情報641を構成する」、「50fpsの動画である第2の画像情報642を構成する」、「24fpsの動画である第3の画像情報643を構成する」、「25fpsの動画である第4の画像情報644を構成する」という4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1~4の番号が、それぞれ「第1~第4の画像情報641~644を構成する」用途に割り当てられる。
 動画撮像機能Bにおけるマスク情報62aは、静止画撮像機能Bの場合と同様に、各々の単位グループ32の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が入っていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
 データ部42の構成は、動画撮像機能Aと同一である。すなわち、データ部42には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、データ部42には、フレームごとのブロック70と共に、音声情報71が格納される。
 マスク情報62bには、上述した撮像条件情報61により特定される番号(例えば1~4の番号)だけでなく、「0」という番号が格納されることがある。この「0」という番号は、対応するフレームにおいて、単位グループ32が、撮像に利用されていない(撮像時に撮像信号が読み出されていない)ことを表す。上述のように、フレームレートが異なる複数の動画を撮像する場合、あるフレームの画像情報64には、特定の単位グループ32に対応する撮像信号が格納されていないことがある。このような場合、制御部23は、前記フレームにおいて、その単位グループ32に対応するマスク情報62の数値を「0」に設定する。ここで、マスク情報62bの数値が「0」に設定された単位グループ32については、画像情報64以外の情報、すなわち、Tv値マップ65内のTv値、Sv値マップ66内のSv値、Bv値マップ67内のSv値についても、有効な値が記録されない。
 なお、マスク情報62bの数値が「0」に設定された単位グループ32について、その単位グループ32の前フレームにおける撮像信号を、画像情報64に記録するようにしてもよい。Tv値マップ65内のTv値、Sv値マップ66内のSv値、Bv値マップ67内のSv値についても同様に、前フレームにおける値を記録するようにしてもよい。後述する混合撮像機能についても同様である。
 以上のように、制御部23は、動画撮像機能Bによる撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。
(5)混合撮像機能(動画と静止画)
 混合撮像機能は、静止画撮像機能Bと動画撮像機能Bを組み合わせた機能であり、1回の撮像で、互いに撮像条件が異なる、同一の被写体に関する静止画と動画を同時に撮像する機能である。
 混合撮像機能において、制御部23は、静止画撮像機能Bや動画撮像機能Bと同様に、二次元状に配置された複数の単位グループ32を、更に複数の大グループ81に分類する。制御部23は、一部の大グループ81について、動画撮像機能Bと同様に動画撮像を行う。制御部23は、その動画撮像中に、残りの大グループ81を用いて、静止画撮像機能Bと同様に静止画撮像を行う。この静止画撮像は、例えば一定周期で繰り返し行ってもよいし(自動撮像)、ユーザにより特定の操作が為されたことに応じて行ってもよい(手動撮像)。
 図14は、混合撮像機能の説明図である。ここでは4つの大グループ811~814を仮定し、そのうち1番目の大グループ811で60fpsの動画撮像を、2番目の大グループ812で50fpsの動画撮像を、3番目と4番目の大グループ813、814で静止画を撮像するものとしている。
 制御部23は、動画撮像機能Bと同様に、もっとも早いフレームレート(例えば60fps)を基準として、各フレームを記録する。静止画撮像が行われない間、3番目と4番目の大グループ813、814に属する単位グループ32については、常に撮像信号の読み出しが行われない。つまり、フレームごとに記録される画像情報64には、静止画に対応する3番目と4番目の大グループ813、814に属する単位グループ32の撮像信号が含まれない。制御部23は、静止画撮像を行った場合、静止画撮像が完了したタイミング(3番目と4番目の大グループ813、814に属する単位グループ32から撮像信号を読み出したタイミング)で、直後のフレームに対応する画像情報64に、静止画撮像により読み出した撮像信号を含ませる。
 図15は、混合撮像機能を用いて撮像した場合に作成される画像ファイル40の構成を模式的に示す図である。以下、図13に示した動画撮像機能Bの場合との違いについて詳述する。
 識別情報60は、この画像ファイル40が混合撮像機能によって作成されたものである旨を表す。撮像条件情報61は、単位グループ32にどのような用途が存在するかを表す情報である。混合撮像機能における撮像条件情報61は、例えばこの画像ファイル40の作成に際し、単位グループ32に「60fpsの動画である第1の画像情報641を構成する」、「30fpsである動画である第2の画像情報642を構成する」、「静止画である第3の画像情報643を構成する」、「静止画である第4の画像情報644を構成する」という4種類の用途が存在したこと、並びに、これらの用途ごとに割り当てられた一意な番号を表す情報である。例えば、1~4の番号が、それぞれ「第1~第4の画像情報641~644を構成する」用途に割り当てられる。
 混合撮像機能におけるマスク情報62aは、動画撮像機能Bの場合と同様に、各々の単位グループ32の用途を表す情報である。すなわち、マスク情報62aは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」である。例えば、マスク情報62aの座標(3,5)に「1」という番号が入っていた場合、座標(3,5)の単位グループ32は1番目の大グループ811に属する、すなわち、第1の画像情報641を構成することがわかる。
 混合撮像機能では、ヘッダ部41に、更にインデックス部73が追加されている。インデックス部73には、データ部42に記録されている複数のブロック70(複数のフレームにそれぞれ対応する)のうち、どのブロック70に静止画が格納されているかを表すインデックス情報74が記録されている。インデックス情報74には、例えば、「5フレーム目の画像情報64に含まれる第3の画像情報643に静止画が含まれている」というような情報が1つ乃至複数(静止画撮像の回数分だけ)含まれている。インデックス部73は、多数のブロック70の中から、静止画を素早く検索できるように設けられている。
 なお、インデックス情報74は、フレーム数に基づき静止画の記録位置を特定するものでなくてもよい。例えば、動画の再生時刻に基づき静止画の記録位置を特定することもできる。この場合、インデックス情報74は、例えば「3分15秒時点の画像情報64に含まれる第3の画像情報643に静止画が含まれている」というような情報となる。
 制御部23は、混合撮像機能による撮像中に静止画の撮像を行う度に、静止画の撮像を行ったフレーム番号や時刻をインデックス部73にインデックス情報74として追記する。なお、メモリカード25内の画像ファイル40のインデックス部73に直接追記するのではなく、DRAM27に一時記憶しておき、混合撮像機能の終了時に、メモリカード25内の画像ファイル40のインデックス部73にDRAM27内の情報を転送するようにしてもよい。
 データ部42の構成は、動画撮像機能Bと同一である。すなわち、データ部42には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62と、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、データ部42には、フレームごとのブロック70と共に、音声情報71が格納される。
 以上のように、制御部23は、混合撮像機能による撮像を行うことにより、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とが関連付けられた画像ファイル40を、メモリカード25に記録する。
 次に、制御部23による画像の再生処理(現像処理)について説明する。画像の再生処理は、上述した種々の撮影機能によってメモリカード25に記録された画像ファイル40から、被写体の画像を作成する処理である。制御部23は、作成した画像を、例えば液晶モニタ24に表示したり、メモリカード25に上述した画像ファイル40とは別のファイルとして記録したりする。
 制御部23は、画像ファイル40(図5、図7、図10、図13、図15)を開き、まずファイル基本情報部43を読み出す。これにより、画像ファイル40のマスク部44やデータ部42等のオフセットおよびサイズが判明する。次に制御部23は、画像ファイル40のマスク部44から、識別情報60を読み出す。これにより、制御部23は、この画像ファイル40がどの撮影機能により作成されたファイルであるかを認識する。以降の処理は、撮影機能毎に異なる。そこで、以下、画像の再生処理を、上述した撮影機能ごとに説明する。
(1)静止画撮影機能A(単一の静止画)
 画像ファイル40が、図5に示す、静止画撮影機能Aにより作成されたファイルであると認識すると、制御部23は、マスク部44から、撮像条件情報61およびマスク情報62aを読み出す。これにより、制御部23は、撮影画面全体のうち、どの範囲(どの単位グループ32)が主要被写体部分なのか、あるいは背景部分なのかを識別することができ、主要被写体部分と背景部分とで画作りを変化させることができる。例えば、主要被写体部分はより先鋭になるようにエッジ強調処理を施し、背景部分にはぼかし処理を施して主要被写体部分を強調することができる。
 次に制御部23は、データ部42から、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出す。そして、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68に基づいて、画像情報64にいわゆる現像処理を実行する。画像情報64がRAWデータである場合は、画像処理部23は、例えば、色情報を有していない画像情報64に対して、周知のデモザイク処理を実行し、色情報を有する画像を作成する。また、制御部23は、Sv値マップ66等に基づき、色彩や明るさ等の調整、ノイズ軽減等の画像処理を行う。例えば、Sv値が大きい(感度が高い)単位グループ32には、他の単位グループ32に比べてノイズが乗りやすい。そこで、制御部23は、Sv値が大きいほど、ノイズ軽減の強度を高く(強く)する。制御部23は、以上のようにして作成された画像を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
 以上のように、制御部23は、静止画撮影機能Aにより作成された画像ファイル40を再生するに際し、画像情報64等のデータ部42に記録されている情報よりも先に、マスク部44に記録されている撮像条件情報61およびマスク情報62aを読み出す。マスク部44はデータ部42よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
 なお、前述の通り、データ部42には、ヘッダ部41に格納されているマスク情報62aと同一のマスク情報62bが格納されている。そこで、制御部23は、マスク情報62aの代わりに、データ部42からマスク情報62bを読み出してもよい。
(2)動画撮影機能A(単一の動画)
 画像ファイル40が、図7に示す、動画撮影機能Aにより作成されたファイルであると認識すると、制御部23は、マスク部44からマスク情報62aを読み出す。制御部23は、撮影画面全体のうち、どの範囲(どの単位グループ32)が主要被写体部分なのか、あるいは背景部分なのかを判別する。次に、制御部23は、マスク部44から撮像条件情報61を読み出す。これにより、制御部23は、主要被写体部分と背景部分のフレームレートを認識する。次に制御部23は、データ部42の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出して、動画を構成する各フレームを作成する。
 制御部23は、各フレームを作成するに際し、ブロック70から、まずマスク情報62bを読み出す。そして、前記フレームにおいて、どの範囲(どの単位グループ32)が主要被写体部分なのか、あるいは背景部分なのかを識別する。その後、制御部23は、静止画撮影機能Aの説明で述べたように、主要被写体部分と背景部分とで異なる画像処理を実行する。制御部23は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
 以上のように、制御部23は、動画撮影機能Aにより作成された画像ファイル40を再生するに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62bを読み出す。マスク情報62bは画像情報64等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
 なお、データ部42の先頭ブロックのマスク情報62bとマスク部44に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク部44からマスク情報62aを読み出さないようしてもよい。
(3)静止画撮影機能B(複数の静止画)
 画像ファイル40が、図10に示す、静止画撮影機能Bにより作成されたファイルであると認識すると、制御部23は、マスク部44から、撮像条件情報61およびマスク情報62aを読み出す。これにより、制御部23は、同時に何種類の静止画が撮像されたのか、また、どの単位グループ32がどの静止画を構成しているのかを識別する。すなわち、大グループ81が何個存在し、各単位グループ32がどの大グループ81に属しているのかを識別する。
 次に制御部23は、データ部42から、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出す。そして、制御部23は、大グループ81ごとに、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68に基づいて、画像情報64にいわゆる現像処理を実行し静止画を作成する。これにより、複数の静止画(例えば4つの静止画)が作成される。制御部23は、以上のようにして作成された画像を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
 以上のように、制御部23は、静止画撮影機能Bにより作成された画像ファイル40を再生するに際し、画像情報64等のデータ部42に記録されている情報よりも先に、マスク部44に記録されている撮像条件情報61およびマスク情報62aを読み出す。マスク部44はデータ部42よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
 なお、前述の通り、データ部42には、ヘッダ部41に格納されているマスク情報62aと同一のマスク情報62bが格納されている。そこで、マスク情報62aの代わりに、データ部42からマスク情報62bを読み出してもよい。
(4)動画撮影機能B(複数の動画)
 画像ファイル40が、図13に示す、動画撮影機能Bにより作成されたファイルであると認識すると、制御部23は、マスク部44からマスク情報62aと撮像条件情報61を読み出す。これにより、制御部23は、同時に何種類の動画が撮像されたのか、どの単位グループ32がどの動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、大グループ81が何個存在し、各単位グループ32がどの大グループ81に属しており、各大グループ81はどのようなフレームレートで撮像されたのかを識別する。次に制御部23は、データ部42の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出して、各動画を構成する各フレームを作成する。
 制御部23は、各フレームを作成するに際し、ブロック70から、まずマスク情報62bを読み出す。そして、制御部23は、前記ブロック70の画像情報64にどの大グループ81に対応する画素信号が含まれているのかを識別する。その後、制御部23は、各大グループ81に対応するフレームを作成するが、前記ブロック70の画像情報64に画素信号が含まれていない大グループ81については、フレームを作成しない。制御部23は、以上のようにして作成したフレームから成る動画を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
 以上のように、制御部23は、動画撮影機能Bにより作成された画像ファイル40を再生するに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62a、62bを読み出す。マスク情報62a、62bは画像情報64等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
 なお、データ部42の先頭ブロックのマスク情報62bとマスク部44に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク部44からマスク情報62aを読み出さないようしてもよい。
(5)混合撮影機能(動画と静止画)
 画像ファイル40が、図15に示す、混合撮影機能により作成されたファイルであると認識すると、制御部23は、マスク部44からマスク情報62aと撮像条件情報61を読み出す。これにより、制御部23は、同時に何種類の動画と何種類の静止画が撮像されたのか、どの単位グループ32がどの静止画および動画を構成しているのか、および、各動画のフレームレートを識別する。すなわち、制御部23は、大グループ81が何個存在し、各大グループ81は静止画なのか動画なのか、動画であればそのフレームレートはいくつか、各単位グループ32がどの大グループ81に属しているかを識別する。次に制御部23は、データ部42の先頭のブロック70から順に、画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67、およびAv値情報68を読み出して、各動画を構成する各フレーム、および、各静止画を作成する。
 制御部23は、動画の各フレームや静止画を作成するに際し、ブロック70から、まずマスク情報62bを読み出す。そして、前記ブロック70の画像情報64にどの大グループ81に対応する画素信号が含まれているのかを識別する。その後、制御部23は、各大グループ81に対応するフレームや静止画を作成するが、前記ブロック70の画像情報64に画素信号が含まれていない大グループ81については、フレームや静止画を作成しない。制御部23は、以上のようにして作成したフレームから成る動画や静止画を、例えば液晶モニタ24に表示したり、メモリカード25に記録したりする。
 以上のように、制御部23は、混合撮影機能により作成された画像ファイル40を再生するに際し、ブロック70内に記録されている画像情報64等の情報よりも先に、マスク情報62a、62bを読み出す。マスク情報62a、62bは画像情報64等よりも前に記録されているので、再生処理に際し発生するシークを最小限にすることができる。
 なお、データ部42の先頭ブロックのマスク情報62bとマスク部44に記録されたマスク情報62aとが同じ情報であるため、制御部23は、マスク部44からマスク情報62aを読み出さないようしてもよい。
 画像の再生処理は、上述した種々の撮影機能によってメモリカード25に記録された画像ファイル40から、被写体の画像を作成する処理としたが、メモリカード25に記録される前の画像ファイル40に対して、静止画や動画を作成する処理であってもよい。制御部23は、静止画や動画作成された後に、圧縮処理を施すようにしてもよい。
 なお、撮像装置10とは異なる電子機器(以後、再生装置と称する)が、上述した再生処理を実行するようにしてもよい。例えば、メモリカード25を撮像装置10から取り外し、撮像装置10の外部に設けたPC等の再生装置にメモリカード25を装着すると、再生装置がメモリカード25から画像ファイル40を読み出して、上述した再生処理を実行し、画像を再生するようにしてもよい。また、撮像装置10と再生装置との間で無線通信等のデータ通信を行うことにより、画像情報64等の授受を行うようにしてもよい。
 上述した第1の実施の形態による撮像装置によれば、次の作用効果が得られる。
(1)制御部23は、画像の複数の単位グループ32(撮像領域)毎の撮像条件により、単位グループ32毎に画像の処理を行う処理部として機能する。このようにしたので、単位グループ32毎に撮像条件を考慮した画像処理が施される、使い勝手のよい電子機器を提供することができる。
(2)制御部23は、撮像条件の分布図に基づいて、画像を現像する。このようにしたので、単位グループ32毎に撮像条件を考慮した画像処理が施される、使い勝手のよい電子機器を提供することができる。
(3)制御部23は、撮像条件の分布図に基づいて、補正量マップであるSv値マップ66を生成し、このSv値マップ66に基づいて画像データを現像する。このようにしたので、被写体像をよりよく再現した画像データを現像することができる。
(4)制御部23は、所定幅に収まるように補正された画像を記録する。このようにしたので、白飛びや黒つぶれのない、ダイナミックレンジの広い画像を再生することができる。
(5)撮像素子22は、複数の単位グループ32(撮像領域)を有し、単位グループ32毎に撮像条件が設定可能に構成されている。制御部23は、複数の単位グループ32毎に撮像条件としてBv値を測定する測定部として機能すると共に、複数の単位グループ32において測定したBv値のうち少なくとも一つの測定値が所定の範囲以内となるように算出された補正量であるSv値の分布図を生成する補正量生成部として機能する。このような撮像装置10によれば、個々の単位グループ32において測定された測定値から、その測定値を所望の範囲内に収めるための情報を得ることができる。
(6)制御部23は、生成したSv値の分布図に基づき補正が為された画像情報64(画像データ)を生成する画像データ生成部として機能する。このようにしたので、個々の単位グループ32において測定された測定値から、その測定値を所望の範囲内に収めた画像データを得ることができる。
(7)制御部23は、生成した画像情報64とSv値の分布図とをメモリカード25に記録する記録部として機能する。このようにしたので、ダイナミックレンジの広い画像を容易に生成することが可能になる。
(8)制御部23は、複数の単位グループ32において測定したBv値に基づき、Bv値の分布図を生成する撮像条件生成部として機能する。このようにしたので、ダイナミックレンジの広い画像を容易に生成することが可能になる。
(9)撮像素子22は、複数の単位グループ32(撮像領域)を有し、単位グループ32毎に撮像条件が設定可能に構成されている。制御部23は、複数の単位グループ32毎に撮像条件であるBv値を測定する測定部として機能すると共に、複数の単位グループ32において、測定したBv値のうち少なくとも一つの測定値が所定の範囲以内となるように、撮像素子22を制御して撮像を行い、画像データを生成する画像データ生成部として機能する。このような撮像装置10によれば、個々の単位グループ32において測定された測定値から、その測定値を所望の範囲内に収めるための情報を得ることができる。
(10)制御部23は、測定したBv値をメモリカード25に記録する。このようにしたので、ダイナミックレンジの広い画像を容易に生成することが可能になる。
(11)制御部23は、複数の単位グループ32において測定したBv値に基づき、Bv値の分布図を生成する撮像条件生成部として機能する。制御部23は、生成したBv値の分布図をメモリカード25に記録する。このようにしたので、ダイナミックレンジの広い画像を容易に生成することが可能になる。
(12)制御部23は、複数の単位グループ32において、測定したBv値のうち少なくとも一つの測定値が所定の範囲以内となるように算出された補正量であるSv値の分布図を生成する補正量生成部として機能する。制御部23は、生成したSv値の分布図をメモリカード25に記録する。このようにしたので、ダイナミックレンジの広い画像を容易に生成することが可能になる。
(13)撮像素子22は、複数の単位グループ32(撮像領域)を有しており、単位グループ32毎に撮像条件が設定可能である。制御部23は、撮像素子22により生成された画像情報64(画像データ)と、単位グループ32毎の、撮像条件に関する撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等のデータ(撮像条件データ)とを関連付けて記録する。このようにしたので、各々の画素にどのような撮像条件が適用されているのかを、撮像結果である画像ファイル40の再生時等に知ることができる。
(14)画像情報64に関連づけて記録される、撮像条件に関する情報には、例えば撮像素子22により被写体を撮像するときの露出に関する情報や、撮像素子22により撮像された被写体の明るさに関する情報が含まれる。具体的には、撮像素子22により撮像された被写体の輝度に関する情報であるBv値マップ67、不図示の光電変換部による電荷の蓄積時間であるTv値マップ65、不図示の増幅部による増幅率であるSv値マップ66等が含まれる。これらの情報は、いずれも、撮像素子22の撮像動作に関する情報であると言うことができる。このようにしたので、画像ファイル40の再生時に、より適切な画像処理を行うことができる。
(15)制御部23は、画像情報64に関連付けて、撮像の都度変化する撮像条件に関する情報を記録する。このようにしたので、画像ファイル40ごとに適切な情報が付加され、再生時により適切な画像処理を行うことができる。
(16)制御部23は、画像情報64にそれぞれ対応する撮像条件に関する複数の情報を、単一の画像ファイル40内に時系列順に記録する。このようにしたので、例えば画像ファイル40に動画が記録されている場合に、それらの情報に基づく画像処理を容易に行うことができる。
(17)制御部23は、ヘッダ部41と画像情報64を記録するデータ部42(画像データ部)とを有する画像ファイル40において、ヘッダ部41及びデータ部42のうち、少なくともいずれか一方に、撮像条件に関する情報を記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(18)制御部23は、複数の単位グループ32毎の用途に関する撮像条件情報61およびマスク情報62を、画像情報64に関連付けて記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(19)マスク情報62は、時間経過に伴い変化する動的情報を含んでいる。具体的には、画像情報64に、単位グループ32に属する撮像画素31から読み出された画素信号に対応する画素値が含まれるか否かを表す情報か、もしくは、複数の単位グループ32の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル40の再生時に、動的情報を利用した画像処理を行うことができる。
(20)マスク情報62は、時間経過に伴い変化しない静的情報を含んでいる。具体的には、複数の単位グループ32の役割を表す情報を含んでいる。また、マスク情報62aは、撮像当初において、複数の単位グループ32の各々が互いに異なる複数のグループのいずれに分類されたかを表す情報を含んでいる。このようにしたので、例えば画像ファイル40の再生時に、静的情報を利用した画像処理を行うことができる。
(21)制御部23は、複数の画像情報64にそれぞれ対応する複数のマスク情報62bを、単一の画像ファイル40内に時系列順に記録する。このようにしたので、例えば画像ファイル40の再生時に、撮像条件を時系列順に追跡することができる。
(22)制御部23は、ヘッダ部41と画像情報64を記録するデータ部42(画像データ部)とを有する画像ファイル40において、ヘッダ部41及びデータ部42のうち、少なくともいずれか一方に、マスク情報62を記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(23)複数の単位グループ32には、第1のフレームレートで撮像される単位グループ32と、第1のフレームレートより遅い第2のフレームレートで撮像される単位グループ32とが含まれ、制御部23は、第1のフレームレートに基づき、複数の画像情報64を記録する。このようにしたので、全てのフレームに関する情報を漏れなく確実に記録することができる。
(24)制御部23は、複数の画像情報64の撮像期間に対応する音声情報71(音声データ)を、複数の画像情報64に関連づけて記録する。このようにしたので、音声も含めた動画再生を行うことが可能となる。
(25)制御部23は、画像情報64の撮像パターンに関する情報と、画像情報64の保存方式に関する情報と、単位グループ32ごとの撮像条件に関する情報と、の少なくとも1つを、ヘッダ部41とデータ部42との2つのブロックから成る画像ファイル40のヘッダ部41に記録する。このようにしたので、例えば画像ファイル40の再生時に、各々の画素にどのような撮像条件が適用されているのかを知ることができる。
(第2の実施の形態)
 第2の実施の形態に係る撮像装置は、第1の実施の形態に係る撮像装置10と同様の構成を有しているが、静止画撮像機能B、動画撮像機能B、混合撮像機能における画像ファイル40の記録方式が、第1の実施の形態とは異なっている。以下、この点について詳述する。
 前述の通り、静止画撮像機能B、動画撮像機能B、および混合撮像機能は、一回の撮像で、同一の被写体に関する静止画や動画を、同時に複数撮像する機能である。本実施形態において、制御部23は、このようにして複数撮像された静止画や動画を、単一の画像ファイル40ではなく、複数の画像ファイル40に分割して記録する。このとき、制御部23は、分割して記録されたそれぞれの画像ファイル40同士を、関連付けて記録する。従って、それら複数の画像ファイル40は、便宜上別々のファイルとして記録されるものの、第1の実施の形態と同様に、単一の撮像により得られたファイルであるという情報は損なわれない。換言すると、後からそれら複数の画像ファイル40を扱う際に、第1の実施の形態と同様に、単一の撮像により得られたものであると認識して扱うことができる。
 図16は、メモリカード25のディレクトリ構造を模式的に示す図である。メモリカード25のルートディレクトリ90には、DCIMディレクトリ91aが存在する。また、DCIMディレクトリ91a内には、更に、画像保存用のサブディレクトリ91bが存在する。静止画撮像機能B、動画撮像機能B、および混合撮像機能による1回の撮像の都度、制御部23は、このサブディレクトリ91b内に、撮像セットディレクトリ92を1つ作成する。つまり、1つの撮像セットディレクトリ92が、1回の撮像に対応している。
 撮像セットディレクトリ92には、1つの管理データファイル93と、単位グループ32の用途ごとに、サブディレクトリ94が作成される。例えば、単位グループ32の用途が4つ存在する場合には、サブディレクトリ94が4つ作成される。各々のサブディレクトリ94には、単位グループ32の用途に応じた画像ファイル40が少なくとも1つ作成される。例えば、単位グループ32の用途が動画撮像である場合、その用途に対応するサブディレクトリ94内には、動画ファイル401が1つだけ記録される。また、単位グループ32の用途が静止画撮像である場合、その用途に対応するサブディレクトリ94内には、静止画ファイル402が撮像回数分だけ記録される。なお、静止画撮像機能Bの場合、1回の撮像では用途ごとに1つの静止画ファイル402のみが記録されることになるので、各サブディレクトリ94内には、1つの静止画ファイル402が記録されることになる。
 図17(a)は、管理データファイル93の構造を模式的に示す図である。管理データファイル93は、各サブディレクトリ94内に記録されている画像ファイル40同士を関連付ける情報が記録されたファイルであり、ファイル基本情報部43と、マスク部44と、インデックス部73と、撮像情報部45とから成る。ファイル基本情報部43、マスク部44、および撮像情報部45は、図15等で説明した画像ファイル40における同名の各部と同一である。インデックス部73には、各々のサブディレクトリ94が単位グループ32のどの用途に対応するのかを表すレイアウト情報96が記録される。
 図17(b)は、サブディレクトリ94内に記録される静止画ファイル402の構造を模式的に示す図である。静止画ファイル402には、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とが記録される。Av値情報68については、図10で説明したものと同様であるため、説明を省略する。
 マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67は、それぞれ、図10で説明した同名の情報から、1つの大グループ81に対応する値だけを抽出して二次元状に配列した情報である。例えば、図10で説明した画像ファイル40において、マスク情報62bは、「撮像条件情報61に割り当てられた番号を、単位グループ32の位置に合わせて二次元マップの形で表現した情報」であり、マスク情報62bに含まれる値の個数は、単位グループ32の個数と同一であった。これに対し、静止画ファイル402におけるマスク情報62bは、それら全ての値から、本サブディレクトリ94に対応する大グループ81に対応する値のみを抽出して二次元マップの形で表現した情報である。画像情報64、Tv値マップ65、Sv値マップ66、Bv値マップ67についても同様に、1つの静止画ファイル402には、1つの大グループ81に対応する値のみが含まれている。
 図18は、サブディレクトリ94内に記録される動画ファイル401の構造を模式的に示す図である。動画ファイル401には、1フレームごとに、1フレーム分のブロック70が撮像順に格納される。1つのブロック70は、マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67と、Av値情報68とから成る。また、動画ファイル401には、フレームごとのブロック70と共に、音声情報71が格納される。Av値情報68については、図13で説明したものと同様であるため、説明を省略する。
 マスク情報62bと、画像情報64と、Tv値マップ65と、Sv値マップ66と、Bv値マップ67は、それぞれ、図13で説明した同名の情報から、1つの大グループ81に対応する値だけを抽出して二次元状に配列した情報である。この点については、上述した静止画ファイル402の場合と同様であるので、説明を省略する。
 以上のように、制御部23は、単位グループ32ごとに撮像条件が設定可能な撮像素子22により生成された画像情報64と、単位グループ32ごとの撮像条件に関するデータ(撮像条件情報61、マスク情報62、Tv値マップ65、Sv値マップ66、Bv値マップ67等)とを関連付けてメモリカード25に記録する。第1の実施の形態とは異なり、単一の画像ファイル40という形ではないものの、メモリカード25に記録される管理データファイル93と、動画ファイル401と、静止画ファイル402は、管理データファイル93内のレイアウト情報96によって互いに関連付けられている。
 上述した第2の実施の形態による撮像装置によれば、第1の実施の形態と同様の作用効果が得られる。
 次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
(変形例1)
 第1の実施の形態では、第1の画像情報641や第2の画像情報642を、画像ファイル40の再生時に作成すると説明したが、これを予め画像ファイル40に記録するようにしてもよい。換言すると、第2の実施の形態では、大グループ81ごとに別々のサブディレクトリ94に別々のファイルとして記録していた動画や静止画を、単一の画像ファイル40に記録するようにしてもよい。この場合、画像ファイル40内に記録される1フレーム分のデータは、それぞれ1つの大グループ81に対応するものとなる。
(変形例2)
 第1の実施の形態の説明において、動画撮像機能B、および混合撮像機能により作成される画像ファイル40のデータ部42には、画像情報64や各種のマップ情報が、撮像素子22における単位グループ32の配列通りに記録されると述べた。これを、単位グループ32の配列とは異なる配列にして記録してもよい。以下、この点について詳述する。
 図19は、変形例2の説明図である。ここでは、図8(b)と同様に、単位グループ32を4つの大グループ81に分類している。ただし、その後に制御部23が生成する画像情報64は、単位グループ32の配列通りに撮像信号を配列したものではない。具体的には、大グループ81ごとに撮像信号を集約した後に、それらを連結することにより、画像情報64を生成している。例えば、画像情報64を2×2の4つの領域に区切ったとき、左上の領域には、1番目の大グループ81に属する単位グループ32からの撮像信号が集約され、左下の領域には、2番目の大グループ81に属する単位グループ32からの撮像信号が集約され、右上の領域には、3番目の大グループ81に属する単位グループ32からの撮像信号が集約され、右下の領域には、4番目の大グループ81に属する単位グループ32からの撮像信号が集約されている。
 なお、以上のように、画像情報64における撮像信号の配列を変更する場合には、Tv値マップ65やSv値マップ66、マスク情報62等の配列も、これに合わせて変更する必要がある。
 また、これ以外の方法で、画像情報64の配列を変更してもよい。つまり、画像ファイル40内において、画像情報64内の配列と、その他の撮像条件に関する情報(マスク情報62等)内の配列とが対応してさえいれば、その配列自体はどのようなものであってもよい。
(変形例3)
 動画撮像機能B乃至混合撮像機能において、フレームごとに単位グループ32の用途を変化させてもよい。例えば図20に示すように、奇数フレームでは単位グループ32が1~4番目の大グループ81にそれぞれ分類されるようにし、撮像条件が異なる4つの画像情報641、642、643、644を含む画像情報64が得られるようにする。そして、偶数フレームでは単位グループ32が5番目の大グループ81にのみ分類されるようにし、単一の画像情報64のみが得られるようにする。つまり、撮像条件が異なり画素数が相対的に少ない複数の画像と、画素数が相対的に多い単一画像とを、時分割的に撮像してもよい。また、上述した変形例1や変形例2にこの変形例3を適用することもできる。
(変形例4)
 動画撮像機能B乃至混合撮像機能において、1つの単位グループ32が複数の用途を有するようにしてもよい。例えば図21に示すように、単位グループ32が1~4番目の大グループ81にそれぞれ分類され、且つ、全ての単位グループ32が5番目の大グループ81にも分類されるようにしてもよい。この場合、前者の分類に従って画像ファイル40の再生(現像等)を行うと、4つの画像情報641、642、643、644を含む画像情報64が得られ、後者の分類に従って画像ファイル40の再生(現像等)を行うと、より画素数が多い単一の画像情報64が得られることになる。
(変形例5)
 静止画撮像機能Bの説明において、マスク情報62上で「0」という番号が割り振られている単位グループ32は、撮像に利用されておらず、データ部42に記録されている画像情報64には、その単位グループ32に関する情報が含まれていないことを表すと述べたが、静止画撮像機能Aや動画撮像機能Aにおいても、「0」という番号が同様の意味を持つようにしてもよい。
 また、ヘッダ部41のマスク情報62において、「0」という番号が撮像に利用されていないことを表すものとしてもよい。例えば、静止画撮像機能Bや動画撮像機能Bにおいて、撮像画面全体を2×2の4つの単位グループ32で区切って、それら4つの単位グループ32にそれぞれ異なる用途を割り当てる場合、単位グループ32の縦方向の数(行数)が奇数であれば、1行だけ余りの行が生じることになる。このような場合に、その余りの1行を撮像に用いないこととして、ヘッダ部41に記録するマスク情報62では、その余りの1行に「0」という番号を割り当てることとしてもよい。
 なお、上述した「0」という番号は一例であって、他の番号を、上述した「0」という番号と同様の扱いとしてもよい。
(変形例6)
 画像ファイル40の構造は、上述した各実施の形態と異なっていてもよい。また、画像ファイル40に記録される撮像条件に関する情報は、第1の実施の形態等で説明した情報と異なっていてもよい。例えば、Sv値マップ66など、一部の情報の記録を省略してもよい。逆に、上述したものとは別の情報を更に追加してもよい。また、記録形態は上述した実施形態と異なっていてもよい。例えば、Av値情報68を、Tv値やSv値等と同様に、単位グループ32ごとのAv値を二次元状に配列したAv値マップとして記録してもよい。
(変形例7)
 上述した各実施の形態では、撮像素子22と制御部23とを有する単一の電子機器である撮像装置について説明したが、本発明はこのような実施形態に限定されない。例えば、外部に設けられた撮像素子22を制御する電子機器にも本発明を適用することができる。以下、撮像素子22を外部に設ける形態について詳述する。
 図22は、変形例7に係る撮像システムの構成を模式的に示すブロック図である。図22に示す撮像システム1000は、撮像ユニット1001と、電子機器1002とから成る。撮像ユニット1001は、第1の実施の形態で説明した撮影光学系21と撮像素子22とを備え、更に、第1通信部1003を備えている。また、電子機器1002は、第1の実施の形態で説明した制御部23、液晶モニタ24、メモリカード25、操作部26、DRAM27、フラッシュメモリ28、および録音部29を備え、更に、第2通信部1004を備えている。第1通信部1003および第2通信部1004は、例えば周知の無線通信技術や光通信技術等により、双方向のデータ通信を行うことができる。また、撮像ユニット1001と電子機器1002とが有線ケーブル等による有線接続により、第1通信部1003および第2通信部1004は、双方向のデータ通信を行う構成であってもよい。
 変形例7に係る撮像システム1000では、制御部23は、第2通信部1004および第1通信部1003を介したデータ通信により、撮像素子22の制御を行う。例えば、所定の制御データを撮像ユニット1001との間で送受信することにより、単位グループ32ごとに異なる撮像条件を設定したり、各々の単位グループ32から撮像信号を読み出したりする。
 以上に述べたように、撮像システム1000において、単位グループ32ごとの制御を行っているのは、制御部23である。電子機器1002は、撮像素子22を備えていないが、電子機器1002の外部に設けられた撮像素子22(撮像ユニット1001)を制御することにより、第1の実施の形態と同様の制御を行う。つまり、本発明は、撮像素子22を有していない電子機器に適用することが可能である。
(変形例8)
 データ部42に、上述した種々の情報とは異なる情報を更に記録してもよい。例えば、周知の測距技術により測定された被写体までの距離情報をデータ部42に記録してもよい。また、この距離情報は、単位グループ32ごとに測定された被写体までの距離を二次元状に配列した、いわゆるデプスマップであってもよい。別の例としては、撮像光学系21の状態(例えば焦点距離等)に関する情報を記録することもできる。また、これらの情報が動画の撮影中に変化することを考慮して、これらの情報をフレームごとに記録してもよい。
(変形例9)
 上述した各実施の形態では、本発明をレンズ一体型カメラに適用した例について説明を行ったが、例えばレンズ交換型カメラに本発明を適用することも可能である。また、本発明はカメラに限らず、PC、携帯電話、スマートフォン、タブレット等のカメラ付き電子機器にも適用可能である。
 なお、上記実施形態に係るプログラムは、それぞれ記録媒体やデータ信号(搬送波)などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。上述したプログラムは、CD-ROMなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。
 本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
 次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
 日本国特許出願2014年第202286号(2014年9月30日出願)
10…撮像装置、21…撮像光学系、22…撮像素子、23…制御部、24…液晶モニタ、25…メモリカード、26…操作部、27…DRAM、28…フラッシュメモリ、29…録音部

Claims (24)

  1.  複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部により生成された画像データと、前記撮像領域ごとの前記撮像条件のデータとを入力する入力部と、
     前記入力部から入力された前記画像データを前記撮像領域ごとの撮像条件に基づいて画像処理する画像処理部と
    を備える電子機器。
  2.  請求項1に記載の電子機器において、
     前記画像処理部は、前記複数の撮像領域のうち第1の撮像領域の撮像条件と第2の撮像領域の撮像条件とが異なる場合に、前記第1の撮像領域から生成された画像データの画像処理と、前記第2の撮像領域から生成された画像データの画像処理とを異ならせる電子機器。
  3.  請求項2に記載の電子機器において、
     前記画像処理部は、前記第1の撮像領域から生成された画像データの画像処理のパラメータと、前記第2の撮像領域から生成された画像データの画像処理のパラメータとを異ならせる電子機器。
  4.  請求項1から3のいずれか一項に記載の電子機器において、
     撮像部により生成された前記画像データと前記撮像領域ごとの前記撮像条件のデータとは記録部に記録され、
     前記入力部は、前記記録部から前記画像データと前記撮像領域の撮像条件のデータとを入力する電子機器。
  5. 複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部により生成された画像データと、前記撮像領域ごとに設定された前記撮像条件のデータとが、前記撮像部における前記撮像領域ごとの位置情報のデータにより関連付けて記録されている記録部から前記画像データと前記撮像領域の撮像条件のデータとを入力する入力部と、
     前記入力部から入力された前記画像データを前記撮像領域ごとの撮像条件で画像処理する画像処理部と
    を備える電子機器。
  6.  複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部により生成された画像データと、前記撮像領域ごとに設定された前記撮像条件のデータとが前記撮像部における前記撮像領域ごとの位置情報のデータに対応した配置で記録されている記録部から前記画像データと前記撮像領域ごとに設定された前記撮像条件のデータとを入力する入力部と、
     前記入力部から入力された前記撮像領域の画像データを前記撮像領域ごとの撮像条件で画像処理する画像処理部と
    を備える電子機器。
  7.  請求項1から6のいずれか一項に記載の電子機器において、
     前記画像処理部は、デモザイク処理、ノイズ軽減処理、色彩調整処理、明るさ調整処理のうちの少なくとも1つを行う電子機器。
  8.  請求項7に記載の電子機器において、
     前記撮像部は、光電変換された電荷により生成された信号を増幅する増幅部を前記撮像領域ごとに有し、
     前記撮像条件は、前記増幅部による増幅率であり、
     前記画像処理部は、前記増幅率に基づいて、前記ノイズ軽減処理を行う電子機器。
  9.  請求項1から8のいずれか一項に記載の電子機器において、
     前記撮像領域は少なくとも1つの画素を含む画素グループを有し、前記画素グループごとに撮像条件が設定可能であり、
     前記入力部から入力する前記撮像条件のデータは、前記画素グループごとの撮像条件のデータであり、
     前記画像処理部は、前記撮像領域ごとの撮像条件として前記画素グループごとの撮像条件のデータにより前記画像データの画像処理を行う電子機器。
  10.  請求項1に記載の電子機器において、 
     前記画像データはRAWデータであり、
     前記画像処理部は、前記撮像領域ごとの撮像条件に基づいて、前記RAWデータを現像する電子機器。 
  11.  請求項10に記載の電子機器において、 
     前記画像処理部は、前記撮像領域ごとの撮像条件を表す撮像条件の分布図に基づいて、前記RAWデータを現像する電子機器。 
  12.  請求項10に記載の電子機器において、 
     前記画像処理部は、前記撮像条件の分布図に基づいて作成された補正量マップに基づいて前記RAWデータを現像する電子機器。  
  13.  請求項12に記載の電子機器において、 
     前記撮像条件の分布図に基づいて、前記補正量マップを生成する生成部を更に備える電子機器。 
  14.  請求項10から13のいずれか一項に記載の電子機器において、 
     前記RAWデータは、記録時に所定幅に収まるように補正さている電子機器。 
  15.  請求項14に記載の電子機器において、 
     前記所定幅に基づいて、前記RAWデータを補正する電子機器。
  16.  請求項13に記載の電子機器において、 
     前記複数の撮像領域ごとに前記撮像条件を測定する測定部を備え、 
     前記生成部は、前記補正量マップとして、前記複数の撮像領域において、前記測定部により測定された前記撮像条件のうち少なくとも一つの測定値が所定範囲以内となるように算出された前記補正量マップを生成する電子機器。 
  17.  請求項1から16のいずれか一項に記載の電子機器において、
     前記撮像条件のデータは、前記撮像部により被写体を撮像するときの露出に関する情報を含む電子機器。
  18.  請求項1から17のいずれか一項に記載の電子機器において、
     前記撮像条件のデータは、前記撮像部により撮像された被写体の明るさに関する情報を含む電子機器。
  19.  請求項1から請求項17のいずれか一項に記載の電子機器において、
     前記撮像条件のデータは、前記撮像部の撮像動作に関する情報を含む電子機器。
  20.  請求項1から請求項19のいずれか一項に記載の電子機器において、
     前記撮像条件のデータは、前記撮像部により撮像された被写体の輝度に関する情報を含む電子機器。
  21.  請求項1から請求項20のいずれか一項に記載の電子機器において、
     前記撮像領域は、光電変換された電荷を蓄積する光電変換部を有し、
     前記撮像条件のデータは、前記光電変換部による電荷の蓄積時間を含む電子機器。
  22.  請求項1から請求項21のいずれか一項に記載の電子機器において、
     前記撮像部は、光電変換された電荷により生成された信号を増幅する増幅部を前記撮像領域ごとに有し、
     前記撮像条件のデータは、前記増幅部による増幅率を含む電子機器。
  23.  複数の撮像領域を有し、前記撮像領域ごとに撮像条件が異なる撮像部により生成された画像データと、前記撮像領域ごとの前記撮像条件のデータとを入力し、
     前記入力された前記画像データを前記撮像領域ごとの撮像条件で画像処理する画像処理方法。
  24.  少なくとも1つの画素を含む画素グループを有し、前記画素グループごとに撮像条件が異なる撮像部により生成された画像データと、前記画素グループごとの前記撮像条件のデータとを入力し、
     前記入力された前記画像データを前記画素グループごとの撮像条件で画像処理する画像処理方法。
PCT/JP2015/077384 2014-09-30 2015-09-28 電子機器および画像処理方法 WO2016052437A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/509,629 US20170318209A1 (en) 2014-09-30 2015-09-28 Device and image processing method
EP15847223.3A EP3203722A4 (en) 2014-09-30 2015-09-28 Electronic apparatus and image processing method
CN201580064774.3A CN107005637A (zh) 2014-09-30 2015-09-28 电子设备及图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-202286 2014-09-30
JP2014202286A JP6613554B2 (ja) 2014-09-30 2014-09-30 画像処理装置およびプログラム

Publications (1)

Publication Number Publication Date
WO2016052437A1 true WO2016052437A1 (ja) 2016-04-07

Family

ID=55630467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/077384 WO2016052437A1 (ja) 2014-09-30 2015-09-28 電子機器および画像処理方法

Country Status (5)

Country Link
US (1) US20170318209A1 (ja)
EP (1) EP3203722A4 (ja)
JP (1) JP6613554B2 (ja)
CN (1) CN107005637A (ja)
WO (1) WO2016052437A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017187811A1 (ja) * 2016-04-27 2019-03-07 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959198B (zh) * 2011-11-30 2017-09-12 英特尔公司 降低3d工作负荷的功率
JP2017220892A (ja) * 2016-06-10 2017-12-14 オリンパス株式会社 画像処理装置及び画像処理方法
JP7015377B2 (ja) 2018-03-06 2022-02-02 富士フイルム株式会社 撮影装置、撮影方法及び撮影プログラム並びに撮影システム
CN111819838B (zh) * 2018-03-06 2022-03-01 富士胶片株式会社 摄影评价图、摄影评价图生成装置、摄影评价图生成方法及摄影评价图生成程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008139487A (ja) * 2006-11-30 2008-06-19 Nikon Corp 顕微鏡装置
JP2011114733A (ja) * 2009-11-30 2011-06-09 Hoya Corp 撮像装置、電子スコープ、及び電子内視鏡システム
JP2014179892A (ja) * 2013-03-15 2014-09-25 Nikon Corp 撮像装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10233919A (ja) * 1997-02-21 1998-09-02 Fuji Photo Film Co Ltd 画像処理装置
JP2007503903A (ja) * 2003-09-04 2007-03-01 コニンクリユケ フィリップス エレクトロニクス エヌ.ブイ. 局所適応的な非線形ノイズ削減
JP2006319529A (ja) * 2005-05-11 2006-11-24 Canon Inc 撮像装置、それを用いた撮像システム及び撮像方法
US8115833B2 (en) * 2005-09-28 2012-02-14 Olympus Corporation Image-acquisition apparatus
US8023733B2 (en) * 2006-06-08 2011-09-20 Panasonic Corporation Image processing device, image processing method, image processing program, and integrated circuit
JP2009164951A (ja) * 2008-01-08 2009-07-23 Fujifilm Corp 撮像システム、画像処理装置、画像処理方法、およびプログラム
JP2010062836A (ja) * 2008-09-03 2010-03-18 Olympus Imaging Corp 画像処理装置、画像処理方法、および、画像処理プログラム
JP4655239B2 (ja) * 2008-09-24 2011-03-23 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP5499778B2 (ja) * 2010-03-03 2014-05-21 株式会社ニコン 撮像装置
CN103109526B (zh) * 2010-07-16 2016-08-03 富士胶片株式会社 放射线图像捕捉设备、放射线图像捕捉系统、放射线图像捕捉方法、以及程序
JP2012175234A (ja) * 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
CN108833811B (zh) * 2012-02-24 2020-12-01 株式会社尼康 摄像单元和摄像装置
JP5896788B2 (ja) * 2012-03-07 2016-03-30 キヤノン株式会社 画像合成装置及び画像合成方法
WO2014133076A1 (ja) * 2013-02-27 2014-09-04 株式会社ニコン 撮像素子および電子機器
JP6108936B2 (ja) * 2013-04-24 2017-04-05 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法
JP6168879B2 (ja) * 2013-06-27 2017-07-26 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP6375607B2 (ja) * 2013-09-30 2018-08-22 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム
JPWO2015050118A1 (ja) * 2013-10-01 2017-03-09 株式会社ニコン 電子機器
CN112839169B (zh) * 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及摄像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008139487A (ja) * 2006-11-30 2008-06-19 Nikon Corp 顕微鏡装置
JP2011114733A (ja) * 2009-11-30 2011-06-09 Hoya Corp 撮像装置、電子スコープ、及び電子内視鏡システム
JP2014179892A (ja) * 2013-03-15 2014-09-25 Nikon Corp 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3203722A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017187811A1 (ja) * 2016-04-27 2019-03-07 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
US10868981B2 (en) 2016-04-27 2020-12-15 Sony Corporation Shooting control apparatus, shooting control method, and shooting apparatus

Also Published As

Publication number Publication date
EP3203722A4 (en) 2018-06-06
CN107005637A (zh) 2017-08-01
US20170318209A1 (en) 2017-11-02
JP6613554B2 (ja) 2019-12-04
EP3203722A1 (en) 2017-08-09
JP2016072895A (ja) 2016-05-09

Similar Documents

Publication Publication Date Title
JP6780745B2 (ja) 電子機器
WO2014133076A1 (ja) 撮像素子および電子機器
WO2016052437A1 (ja) 電子機器および画像処理方法
JP2016192605A (ja) 電子機器、記録媒体およびプログラム
US20240089402A1 (en) Electronic apparatus, reproduction device, reproduction method, recording medium, and recording method
CN105934944B (zh) 摄像元件及摄像装置
WO2016052438A1 (ja) 電子機器
WO2017175802A1 (ja) 画像処理装置、電子機器、再生装置、再生プログラムおよび再生方法
WO2016052434A1 (ja) 電子機器、再生装置、再生方法、記録媒体および記録方法
CN107005632B (zh) 电子设备
WO2016052436A1 (ja) 電子機器、再生装置、再生方法、記録媒体および記録方法
JP2019169988A (ja) データ構造
JP2021040325A (ja) 電子機器およびプログラム
JP7131595B2 (ja) 再生装置及び電子機器
JP6794649B2 (ja) 電子機器および記録プログラム
JP2013232850A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15847223

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015847223

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15509629

Country of ref document: US