JPWO2017170716A1 - 撮像装置、画像処理装置、および電子機器 - Google Patents

撮像装置、画像処理装置、および電子機器 Download PDF

Info

Publication number
JPWO2017170716A1
JPWO2017170716A1 JP2018509351A JP2018509351A JPWO2017170716A1 JP WO2017170716 A1 JPWO2017170716 A1 JP WO2017170716A1 JP 2018509351 A JP2018509351 A JP 2018509351A JP 2018509351 A JP2018509351 A JP 2018509351A JP WO2017170716 A1 JPWO2017170716 A1 JP WO2017170716A1
Authority
JP
Japan
Prior art keywords
imaging
image data
image
unit
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018509351A
Other languages
English (en)
Inventor
直樹 關口
直樹 關口
孝 塩野谷
孝 塩野谷
敏之 神原
敏之 神原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2017170716A1 publication Critical patent/JPWO2017170716A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/097—Digital circuits for control of both exposure time and aperture
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/142—Energy conversion devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Sustainable Development (AREA)
  • Sustainable Energy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する生成部と、を備える。

Description

本発明は、撮像装置、画像処理装置、および電子機器に関する。
撮像素子からの信号により画像を生成する画像処理技術を搭載した撮像装置が知られている（特許文献１参照）。
従来から画像の画質向上が要求されていた。
日本国特開２００６−１９７１９２号公報
第１の態様によると、撮像装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する生成部と、を備える。
第２の態様によると、撮像装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する生成部と、を備える。
第３の態様によると、撮像装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、前記第１撮像条件とは異なる撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する生成部と、を備える。
第４の態様によると、画像処理装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部からの画像データを入力する入力部と、前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する生成部と、を備える。
第５の態様によると、画像処理装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部からの画像データを入力する入力部と、前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する生成部と、を備える。
第６の態様によると、画像処理装置は、第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部からの画像データを入力する入力部と、前記第１撮像条件とは異なる撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する生成部と、を備える。
第７の態様によると、電子機器は、被写体を撮像する複数の撮像領域を有する第１撮像素子と、被写体を撮像する第２撮像素子と、前記第１撮像素子の複数の前記撮像領域のうち、第１撮像領域を第２撮像領域とは異なる撮像条件に設定する設定部と、前記複数の撮像領域のうち、第1撮像条件で撮像された第１撮像領域の被写体の画像信号の一部を、前記第２撮像素子で撮像された被写体の画像信号により、第２撮像条件により撮像されたように補正して画像を生成する生成部と、を備える。
第８の態様によると、電子機器は、複数の画素が配置され、被写体を撮像する第１撮像領域および第２撮像領域を有する第１撮像素子と、複数の画素が配置され、被写体を撮像する第２撮像素子と、前記第１撮像領域を、前記第２撮像領域の撮像条件と異なる撮像条件に設定する設定部と、前記第１撮像素子の前記第１撮像領域に配置された前記画素と前記第２撮像素子に配置された前記画素とのうち、前記第１撮像領域に配置された前記画素からの信号を用いて選択された画素からの信号により、前記第１撮像領域で撮像された被写体の画像を生成する生成部とを備える。
第９の態様によると、電子機器は、被写体を撮像する複数の撮像領域を有する撮像素子と、前記撮像素子の複数の前記撮像領域のうち、第１撮像領域を第２撮像領域とは異なる撮像条件に設定する設定部と、前記複数の撮像領域のうち、第1撮像条件で撮像された前記第１撮像領域の被写体の画像信号の一部を、第２撮像条件で撮像された前記第１撮像領域の被写体の画像信号により、第２撮像条件により撮像されたように補正して画像を生成する生成部と、を備える。
第１０の態様によると、電子機器は、複数の画素が配置され、被写体を撮像する第１撮像領域および第２撮像領域を有する撮像素子と、前記第１撮像領域を、前記第２撮像領域の撮像条件と異なる撮像条件に設定可能な設定部と、前記設定部により第１撮像条件に設定された前記第１撮像領域に配置された前記画素と、前記設定部により第２撮像条件に設定された前記第１撮像領域に配置された前記画素とのうち、前記設定部により前記第１撮像条件に設定された前記第１撮像領域に配置された前記画素からの信号を用いて選択された画素からの信号により、前記第１撮像領域で撮像された被写体の画像を生成する生成部と、を備える。
第１の実施の形態によるカメラの構成を例示するブロック図である。 積層型の撮像素子の断面図である。 撮像チップの画素配列と単位領域を説明する図である。 単位領域における回路を説明する図である。 カメラの撮像素子に結像される被写体の像を模式的に示す図である。 撮像条件の設定画面を例示する図である。 図７(a)はライブビュー画像における所定範囲を例示する図、図７(b)は所定範囲の拡大図である。 図８(a)は図７(b)に対応する本画像データを例示する図である。図８(b)は図７(b)に対応する処理用画像データを例示する図である。 図９(a)はライブビュー画像における注目領域を例示する図、図９(b)は注目画素および参照画素Ｐｒの拡大図である。 図１０(a)は画素から出力された光電変換信号の並びを例示する図、図１０(b)はＧ色成分の画像データの補間を説明する図、図１０(c)は補間後のＧ色成分の画像データを例示する図である。 図１１(a)は図１０(a)からＲ色成分の画像データを抽出した図、図１１(b)は色差成分Ｃｒの補間を説明する図、図１１(c)は色差成分Ｃｒの画像データの補間を説明する図である。 図１２(a)は図１０(a)からＢ色成分の画像データを抽出した図、図１２(b)は色差成分Ｃｂの補間を説明する図、図１２(c)は色差成分Ｃｂの画像データの補間を説明する図である。 撮像面における焦点検出用画素の位置を例示する図である。 焦点検出画素ラインの一部の領域を拡大した図である。 フォーカスポイントを拡大した図である。 図１６(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図１６(b)は、ライブビュー画像および探索範囲を例示する図である。 ライブビュー画像のための撮像のタイミングと、処理用画像データの撮像のタイミングとの関係について例示する図であり、図１７(a)はライブビュー画像と処理用画像データとを交互に撮像する場合を例示する図、図１７(b)はライブビュー画像の表示の開始に際して処理用画像データを撮像する場合を例示する図、図１７(c)はライブビュー画像の表示終了に際して処理用画像データを撮像する場合を例示する図である。 領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。 図１９(a)〜図１９(c)は、撮像素子の撮像面における第１撮像領域および第２撮像領域の配置を例示する図である。 変形例１１による撮像システムの構成を例示するブロック図である。 モバイル機器へのプログラムの供給を説明する図である。 第２の実施の形態によるカメラの構成を例示するブロック図である。 第２の実施の形態における各ブロックと、複数の補正部との対応関係を模式的に示した図である。 積層型撮像素子の断面図である。 画像処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 焦点検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 被写体検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 露出演算処理等の撮像条件の設定に係る、第１画像データと第２画像データとの処理について模式的に表した図である。 変形例１３による第１画像データと第２画像データとの処理について模式的に表した図である。
−−−第１の実施の形態−−−
第１の実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。カメラ１（図１）は、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像を行うことが可能に構成される。画像処理部３３は、撮像条件が異なる領域においてそれぞれ適切な処理を行う。このようなカメラ１の詳細について、図面を参照して説明する。
＜カメラの説明＞
図１は、第１の実施の形態によるカメラ１の構成を例示するブロック図である。図１において、カメラ１は、撮像光学系３１と、撮像部３２と、画像処理部３３と、制御部３４と、表示部３５と、操作部材３６と、記録部３７とを有する。
撮像光学系３１は、被写界からの光束を撮像部３２へ導く。撮像部３２は、撮像素子３２ａおよび駆動部３２ｂを含み、撮像光学系３１によって結像された被写体の像を光電変換する。撮像部３２は、撮像素子３２ａにおける撮像面の全域において同じ条件で撮像したり、撮像素子３２ａにおける撮像面の領域ごとに異なる条件で撮像したりすることができる。撮像部３２の詳細については後述する。駆動部３２ｂは、撮像素子３２ａに蓄積制御を行わせるために必要な駆動信号を生成する。撮像部３２に対する電荷蓄積時間などの撮像指示は、制御部３４から駆動部３２ｂへ送信される。
画像処理部３３は、入力部３３ａと、補正部３３ｂと、生成部３３ｃとを含む。入力部３３ａには、撮像部３２によって取得された画像データが入力される。補正部３３ｂは、上記入力された画像データに対して補正を行う前処理を行う。前処理の詳細については後述する。生成部３３ｃは、上記入力された画像データと前処理後の画像データとに対して画像処理を行い、画像を生成する。画像処理には、例えば、色補間処理、画素欠陥補正処理、輪郭強調処理、ノイズ低減（Noise reduction）処理、ホワイトバランス調整処理、ガンマ補正処理、表示輝度調整処理、彩度調整処理等が含まれる。さらに、生成部３３ｃは、表示部３５により表示する画像を生成する。
制御部３４は、例えばＣＰＵによって構成され、カメラ１による全体の動作を制御する。例えば、制御部３４は、撮像部３２で取得された光電変換信号に基づいて所定の露出演算を行い、適正露出に必要な撮像素子３２ａの電荷蓄積時間（露光時間）、撮像光学系３１の絞り値、ＩＳＯ感度等の露出条件を決定して駆動部３２ｂへ指示する。また、カメラ１に設定されている撮像シーンモードや、検出した被写体要素の種類に応じて、彩度、コントラスト、シャープネス等を調整する画像処理条件を決定して画像処理部３３へ指示する。被写体要素の検出については後述する。
制御部３４には、物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、レンズ移動制御部３４ｄ とが含まれる。これらは、制御部３４が不図示の不揮発性メモリに格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをＡＳＩＣ等により構成しても構わない。
物体検出部３４ａは、公知の物体認識処理を行うことにより、撮像部３２によって取得された画像から、人物（人物の顔）、犬、猫などの動物（動物の顔）、植物、自転車、自動車、電車などの乗物、建造物、静止物、山、雲などの風景、あらかじめ定められた特定の物体などの、被写体要素を検出する。設定部３４ｂは、撮像部３２による撮像画面を、上述のように検出した被写体要素を含む複数の領域に分割する。
設定部３４ｂはさらに、複数の領域に対して撮像条件を設定する。撮像条件は、上記露出条件（電荷蓄積時間、ゲイン、ＩＳＯ感度、フレームレート等）と、上記画像処理条件（例えば、ホワイトバランス調整用パラメータ、ガンマ補正カーブ、表示輝度調整パラメータ、彩度調整パラメータ等）とを含む。なお、撮像条件は、複数の領域の全てに同じ撮像条件を設定することも、複数の領域間で異なる撮像条件を設定することも可能である。
撮像制御部３４ｃは、設定部３４ｂによって領域ごとに設定された撮像条件を適用して撮像部３２（撮像素子３２ａ）、画像処理部３３を制御する。これにより、撮像部３２に対しては、複数の領域ごとに異なる露出条件で撮像を行わせることが可能であり、画像処理部３３に対しては、複数の領域ごとに異なる画像処理条件で画像処理を行わせることが可能である。領域を構成する画素の数はいくらでもよく、例えば１０００画素でもよいし、１画素でもよい。また、領域間で画素の数が異なっていてもよい。
レンズ移動制御部３４ｄは、撮像画面の所定の位置（フォーカスポイントと呼ぶ）において、対応する被写体に対してフォーカスを合わせる自動焦点調節（オートフォーカス：ＡＦ）動作を制御する。フォーカスを合わせると、被写体の像の尖鋭度が高まる。すなわち、撮像光学系３１のフォーカスレンズを光軸方向に移動させることによって、撮像光学系３１による像を調節する。レンズ移動制御部３４ｄは、演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号、例えば被写体の像を撮像光学系３１のフォーカスレンズで調節するための信号を、撮像光学系３１のレンズ移動機構３１ｍに送る。このように、レンズ移動制御部３４ｄは、演算結果に基づいて、撮像光学系３１のフォーカスレンズを光軸方向に移動させる移動部として機能する。レンズ移動制御部３４ｄがＡＦ動作のために行う処理は、焦点検出処理とも呼ばれる。焦点検出処理の詳細については後述する。
表示部３５は、画像処理部３３によって生成された画像や画像処理された画像、記録部３７によって読み出された画像などを再生表示する。表示部３５は、操作メニュー画面や、撮像条件を設定するための設定画面等の表示も行う。
操作部材３６は、レリーズボタンやメニューボタン等の種々の操作部材によって構成される。操作部材３６は、各操作に対応する操作信号を制御部３４へ送出する。操作部材３６には、表示部３５の表示面に設けられたタッチ操作部材も含まれる。
記録部３７は、制御部３４からの指示に応じて、不図示のメモリカードなどで構成される記録媒体に画像データなどを記録する。また、記録部３７は、制御部３４からの指示に応じて記録媒体に記録されている画像データを読み出す。測光センサ３８は、被写体像の明るさに応じた測光用の画像信号を出力する。測光センサ３８は、例えばＣＭＯＳイメージセンサなどによって構成される。
＜積層型の撮像素子の説明＞
上述した撮像素子３２ａの一例として積層型の撮像素子１００について説明する。図２は、撮像素子１００の断面図である。撮像素子１００は、撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とを備える。撮像チップ１１１は、信号処理チップ１１２に積層されている。信号処理チップ１１２は、メモリチップ１１３に積層されている。撮像チップ１１１および信号処理チップ１１２、信号処理チップ１１２およびメモリチップ１１３は、それぞれ接続部１０９により電気的に接続されている。接続部１０９は、例えばバンプや電極である。撮像チップ１１１は、被写体からの光像を撮像して画像データを生成する。撮像チップ１１１は、画像データを撮像チップ１１１から信号処理チップ１１２へ出力する。信号処理チップ１１２は、撮像チップ１１１から出力された画像データに対して信号処理を施す。メモリチップ１１３は、複数のメモリを有し、画像データを記憶する。なお、撮像素子１００は、撮像チップおよび信号処理チップで構成されてもよい。撮像素子１００が撮像チップおよび信号処理チップで構成されている場合、画像データを記憶するための記憶部は、信号処理チップに設けられてもよいし、撮像素子１００とは別に設けていてもよい。
図２に示すように、入射光は、主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図２の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
撮像チップ１１１は、例えば、ＣＭＯＳイメージセンサである。撮像チップ１１１は、具体的には、裏面照射型のＣＭＯＳイメージセンサである。撮像チップ１１１は、マイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８を有する。撮像チップ１１１は、Ｚ軸プラス方向に向かってマイクロレンズ層１０１、カラーフィルタ層１０２、パッシベーション層１０３、半導体層１０６、および配線層１０８の順に配置されている。
マイクロレンズ層１０１は、複数のマイクロレンズＬを有する。マイクロレンズＬは、入射した光を後述する光電変換部１０４に集光する。１つのマイクロレンズＬに１つの画素あるいは１つのフィルタが対応する。カラーフィルタ層１０２は、複数のカラーフィルタＦを有する。カラーフィルタ層１０２は、分光特性の異なる複数種類のカラーフィルタＦを有する。カラーフィルタ層１０２は、具体的には、主に赤色成分の光を透過させる分光特性の第１フィルタ（Ｒ）と、主に緑色成分の光を透過させる分光特性の第２フィルタ（Ｇｂ、Ｇｒ）と、主に青色成分の光を透過させる分光特性の第３フィルタ（Ｂ）と、を有する。カラーフィルタ層１０２は、例えば、ベイヤー配列により第１フィルタ、第２フィルタおよび第３フィルタが配置されている。パッシベーション層１０３は、窒化膜や酸化膜で構成され、半導体層１０６を保護する。
半導体層１０６は、光電変換部１０４および読出回路１０５を有する。半導体層１０６は、光の入射面である第１面１０６ａと第１面１０６ａの反対側の第２面１０６ｂとの間に複数の光電変換部１０４を有する。半導体層１０６は、光電変換部１０４がＸ軸方向およびＹ軸方向に複数配列されている。光電変換部１０４は、光を電荷に変換する光電変換機能を有する。また、光電変換部１０４は、光電変換信号による電荷を蓄積する。光電変換部１０４は、例えば、フォトダイオードである。半導体層１０６は、光電変換部１０４よりも第２面１０６ｂ側に読出回路１０５を有する。半導体層１０６は、読出回路１０５がＸ軸方向およびＹ軸方向に複数配列されている。読出回路１０５は、複数のトランジスタにより構成され、光電変換部１０４によって光電変換された電荷により生成される画像データを読み出して配線層１０８へ出力する。
配線層１０８は、複数の金属層を有する。金属層は、例えば、Ａｌ配線、Ｃｕ配線等である。配線層１０８は、読出回路１０５により読み出された画像データが出力される。画像データは、接続部１０９を介して配線層１０８から信号処理チップ１１２へ出力される。
なお、接続部１０９は、光電変換部１０４ごとに設けられていてもよい。また、接続部１０９は、複数の光電変換部１０４ごとに設けられていてもよい。接続部１０９が複数の光電変換部１０４ごとに設けられている場合、接続部１０９のピッチは、光電変換部１０４のピッチよりも大きくてもよい。また、接続部１０９は、光電変換部１０４が配置されている領域の周辺領域に設けられていてもよい。
信号処理チップ１１２は、複数の信号処理回路を有する。信号処理回路は、撮像チップ１１１から出力された画像データに対して信号処理を行う。信号処理回路は、例えば、画像データの信号値を増幅するアンプ回路、画像データのノイズの低減処理を行う相関二重サンプリング回路およびアナログ信号をデジタル信号に変換するアナログ／デジタル（Ａ／Ｄ）変換回路等である。信号処理回路は、光電変換部１０４ごとに設けられていてもよい。
また、信号処理回路は、複数の光電変換部１０４ごとに設けられていてもよい。信号処理チップ１１２は、複数の貫通電極１１０を有する。貫通電極１１０は、例えばシリコン貫通電極である。貫通電極１１０は、信号処理チップ１１２に設けられた回路を互いに接続する。貫通電極１１０は、撮像チップ１１１の周辺領域、メモリチップ１１３にも設けられてもよい。なお、信号処理回路を構成する一部の素子を撮像チップ１１１に設けてもよい。例えば、アナログ／デジタル変換回路の場合、入力電圧と基準電圧の比較を行う比較器を撮像チップ１１１に設け、カウンター回路やラッチ回路等の回路を、信号処理チップ１１２に設けてもよい。
メモリチップ１１３は、複数の記憶部を有する。記憶部は、信号処理チップ１１２で信号処理が施された画像データを記憶する。記憶部は、例えば、ＤＲＡＭ等の揮発性メモリである。記憶部は、光電変換部１０４ごとに設けられていてもよい。また、記憶部は、複数の光電変換部１０４ごとに設けられていてもよい。記憶部に記憶された画像データは、後段の画像処理部に出力される。
図３は、撮像チップ１１１の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１１を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上の画素がマトリックス状に配列されている。図３の例では、隣接する２画素×２画素の４画素が１つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×３２画素でもよいし、それ以上でもそれ以下でもよく、１画素であってもよい。
画素領域の部分拡大図に示すように、図３の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタＦとして緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタＦとして青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタＦとして赤色フィルタを有する画素であって赤色波長帯の光を受光する。
本実施の形態において、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義される。すなわち、１ブロックの最小単位は１つの単位領域１３１となる。上述したように、１つの単位領域１３１を形成する画素の数として取り得る値のうち、最も小さい画素の数は１画素である。したがって、1ブロックを画素単位で定義する場合、１ブロックを定義し得る画素の数のうち最小の画素の数は１画素となる。各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。各ブロックは、そのブロック内の全ての単位領域１３１、すなわち、そのブロック内の全ての画素が同一の撮像条件で制御される。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる光電変換信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、光電変換信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１１のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１１のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画像処理におけるパラメータであってもよい。
図４は、単位領域１３１における回路を説明する図である。図４の例では、隣接する２画素×２画素の４画素により１つの単位領域１３１を形成する。なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、１０００画素以上でもよいし、最小１画素でもよい。単位領域１３１の二次元的な位置を符号Ａ〜Ｄにより示す。
単位領域１３１に含まれる画素のリセットトランジスタ（ＲＳＴ）は、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄに対しても、リセットトランジスタをオンオフするための専用のリセット配線３３０が設けられている。
単位領域１３１に含まれる画素の転送トランジスタ（ＴＸ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄに対しても、転送トランジスタをオンオフするための専用の転送配線３３２が設けられている。
さらに、単位領域１３１に含まれる画素の選択トランジスタ（ＳＥＬ）についても、画素ごとに個別にオンオフ可能に構成される。図４において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄに対しても、選択トランジスタをオンオフするための専用の選択配線３３６が設けられている。
なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｄで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１１側に設けられてもよいし、信号処理チップ１１２側に設けられてもよい。
単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｄに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｄの光電変換信号を共通の出力配線３０８を介して出力することができる。
ここで、単位領域１３１に含まれる画素Ａから画素Ｄについて、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式が公知である。ローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図４の例では「ＡＢＣＤ」の順序で光電変換信号が出力される。
このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積時間を制御することができる。換言すると、単位領域１３１間で異なったフレームレートによる光電変換信号をそれぞれ出力させることができる。また、撮像チップ１１１において一部のブロックに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のブロックに含まれる単位領域１３１を休ませることにより、撮像チップ１１１の所定のブロックでのみ撮像を行わせて、その光電変換信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるブロック（蓄積制御の対象ブロック）を切り替えて、撮像チップ１１１の異なるブロックで逐次撮像を行わせて、光電変換信号を出力させることもできる。
上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１１、信号処理チップ１１２およびメモリチップ１１３を積層しているので、これら出力配線３０８に接続部１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
＜撮像素子のブロック制御＞
本実施の形態では、撮像素子３２ａにおける複数のブロックごとに撮像条件を設定可能に構成される。制御部３４の撮像制御部３４ｃは、上記複数の領域を上記ブロックに対応させて、領域ごとに設定された撮像条件で撮像を行わせる。
図５は、カメラ１の撮像素子３２ａに結像される被写体の像を模式的に示す図である。カメラ１は、撮像指示が行われる前に、被写体像を光電変換してライブビュー画像を取得する。ライブビュー画像は、所定のフレームレート（例えば６０ｆｐｓ）で繰り返し撮像するモニタ用画像のことをいう。
制御部３４は、設定部３４ｂにより領域を分割する前は、撮像チップ１１１の全域（すなわち撮像画面の全体）に同一の撮像条件を設定する。同一の撮像条件とは、撮像画面の全体に共通の撮像条件を設定することをいい、例えばアペックス値で０．３段程度に満たないばらつきがあるとしても同じとみなす。撮像チップ１１１の全域で同一に設定する撮像条件は、被写体輝度の測光値に応じた露出条件、またはユーザーによって手動設定された露出条件に基づいて決定する。
図５において、撮像チップ１１１の撮像面に、人物６１ａと、自動車６２ａと、バッグ６３ａと、山６４ａと、雲６５ａ、６６ａとを含む像が結像されている。人物６１ａは、バッグ６３ａを両手で抱えている。人物６１ａの右後方に、自動車６２ａが止まっている。
＜領域の分割＞
制御部３４は、ライブビュー画像に基づき、以下のようにライブビュー画像の画面を複数の領域に分割する。先ず、物体検出部３４ａによってライブビュー画像から被写体要素を検出する。被写体要素の検出は、公知の被写体認識技術を用いる。図５の例では、物体検出部３４ａが、人物６１ａと、自動車６２ａと、バッグ６３ａと、山６４ａと、雲６５ａと、雲６６ａとを被写体要素として検出する。
次に、設定部３４ｂによって、ライブビュー画像の画面を、上記被写体要素を含む領域に分割する。本実施の形態では、人物６１ａを含む領域を第１領域６１とし、自動車６２ａを含む領域を第２領域６２とし、バッグ６３ａを含む領域を第３領域６３とし、山６４ａを含む領域を第４領域６４とし、雲６５ａを含む領域を第５領域６５とし、雲６６ａを含む領域を第６領域６６として説明する。
＜ブロックごとの撮像条件の設定＞
制御部３４は、設定部３４ｂによって画面を複数の領域に分割すると、図６に例示するような設定画面を表示部３５に表示させる。図６において、ライブビュー画像６０ａが表示され、ライブビュー画像６０ａの右側に撮像条件の設定画面７０が表示される。
設定画面７０には、撮像条件の設定項目の一例として、上から順にフレームレート、シャッタースピード（ＴＶ）、ゲイン（ＩＳＯ）が挙げられている。フレームレートは、１秒間に取得するライブビュー画像やカメラ１により録画される動画像のフレーム数である。ゲインは、ＩＳＯ感度である。撮像条件の設定項目は、図６に例示した他にも適宜加えて構わない。全ての設定項目が設定画面７０の中に収まらない場合は、設定項目を上下にスクロールさせることによって他の設定項目を表示させるようにしてもよい。
本実施の形態において、制御部３４は、設定部３４ｂによって分割された領域のうち、ユーザーによって選択された領域を撮像条件の設定（変更）の対象にする。例えば、タッチ操作が可能なカメラ１において、ユーザーは、ライブビュー画像６０ａが表示されている表示部３５の表示面上で、撮像条件を設定（変更）したい主要被写体の表示位置をタップ操作する。制御部３４は、例えば人物６１ａの表示位置がタップ操作された場合に、ライブビュー画像６０ａにおいて人物６１ａを含む第１領域６１を撮像条件の設定（変更）対象領域にするとともに、第１領域６１の輪郭を強調して表示させる。
図６において、輪郭を強調して表示（太く表示、明るく表示、色を変えて表示、破線で表示、点滅表示等）する第１領域６１は、撮像条件の設定（変更）の対象となる領域を示す。図６の例では、第１領域６１の輪郭を強調したライブビュー画像６０ａが表示されているものとする。この場合は、第１領域６１が、撮像条件の設定（変更）の対象である。例えば、タッチ操作が可能なカメラ１において、ユーザーによってシャッタースピード（ＴＶ）の表示７１がタップ操作されると、制御部３４は、強調して表示されている領域（第１領域６１）に対するシャッタースピードの現設定値を画面内に表示させる（符号６８）。
以降の説明では、タッチ操作を前提としてカメラ１の説明を行うが、操作部材３６を構成するボタン等の操作により、撮像条件の設定（変更）を行うようにしてもよい。
シャッタースピード（ＴＶ）の上アイコン７１ａまたは下アイコン７１ｂがユーザーによってタップ操作されると、設定部３４ｂは、シャッタースピードの表示６８を現設定値から上記タップ操作に応じて増減させるとともに、強調して表示されている領域（第１領域６１）に対応する撮像素子３２ａの単位領域１３１（図３）の撮像条件を、上記タップ操作に応じて変更するように撮像部３２（図１）へ指示を送る。決定アイコン７２は、設定された撮像条件を確定させるための操作アイコンである。設定部３４ｂは、フレームレートやゲイン（ＩＳＯ）の設定（変更）についても、シャッタースピード（ＴＶ）の設定（変更）の場合と同様に行う。
なお、設定部３４ｂは、ユーザーの操作に基づいて撮像条件を設定するように説明したが、これに限定されない。設定部３４ｂは、ユーザーの操作に基づかずに、制御部３４の判断により撮像条件を設定するようにしてもよい。
強調表示されていない領域（第１領域６１以外の他の領域）については、設定されている撮像条件が維持される。
制御部３４は、撮像条件の設定（変更）の対象となる領域の輪郭を強調表示する代わりに、対象領域全体を明るく表示させたり、対象領域全体のコントラストを高めて表示させたり、対象領域全体を点滅表示させたりしてもよい。また、対象領域を枠で囲ってもよい。対象領域を囲う枠の表示は、二重枠や一重枠でもよく、囲う枠の線種、色や明るさ等の表示態様は、適宜変更して構わない。また、制御部３４は、対象領域の近傍に矢印などの撮像条件の設定の対象となる領域を指し示す表示をしてもよい。制御部３４は、撮像条件の設定（変更）の対象となる対象領域以外を暗く表示させたり、対象領域以外のコントラストを低く表示させたりしてもよい。
以上説明したように、領域ごとの撮像条件が設定された後に、操作部材３６を構成する不図示のレリーズボタン、または撮像開始を指示する表示（レリーズアイコン）が操作されると、制御部３４が撮像部３２を制御することにより、上記分割された領域に対してそれぞれ設定されている撮像条件で撮像（本撮像）を行わせる。そして、画像処理部３３は、撮像部３２によって取得された画像データに対して画像処理を行う。この画像データは、記録部３７に記録される画像データであり、以後、本画像データと呼ぶ。
なお、撮像部３２は、本画像データを取得する際に、本画像データと別の処理用画像データを、本画像データとは異なるタイミングで取得する。処理用画像データは、本画像データに対して補正処理を行ったり、本画像データに対して画像処理を行ったり、本画像データの撮像のための各種の検出処理や設定処理を行なったりする場合に用いる画像データである。
上記画像処理部３３による本画像データに対する画像処理の後、制御部３４から指示を受けた記録部３７が、画像処理後の本画像データを不図示のメモリカードなどで構成される記録媒体に記録する。これにより、一連の撮像処理が終了する。
＜処理用画像データ＞
制御部３４は、上記処理用画像データを以下のように取得する。すなわち、少なくとも設定部３４ｂにより分割した領域（上記の例では第１領域〜第６領域）の境界部において、本画像データを撮像する際に設定される撮像条件と異なる撮像条件を、処理用画像データの撮像条件として設定する。例えば、第１領域６１と第４領域６４との境界部において、本画像データの撮像の際に第１撮像条件を設定する場合は、第１領域６１と第４領域６４との境界部において、処理用画像データの撮像の際に第４撮像条件を設定する。
なお、設定部３４ｂは、第１領域６１と第４領域６４との境界部に限らず、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定してもよい。この場合は、第１撮像条件から第６撮像条件を設定した処理用画像データをそれぞれ取得する。
なお、各処理用画像データを取得するタイミングについての説明は後述する。
＜処理用画像データを用いる処理＞
以下、処理用画像データを補正処理に用いる場合と、処理用画像データを画像処理に用いる場合と、処理用画像データを焦点検出処理に用いる場合と、処理用画像データを被写体検出処理に用いる場合と、処理用画像データを露出条件設定処理に用いる場合とに分けて、各処理を説明する。
＜第１補正処理＞
画像処理部３３の補正部３３ｂは、画像処理、焦点検出処理、被写体検出（被写体要素を検出）処理、および撮像条件を設定する処理の前に行う前処理の１つとして、第１補正処理を必要に応じて行う。
上述したように、本実施の形態では、設定部３４ｂにより撮像画面の領域が分割された後は、ユーザーによって選択された領域、または、制御部３４が判断した領域に対して撮像条件を設定（変更）することが可能に構成されている。
例えば、分割後の領域をそれぞれ第１領域６１〜第６領域６６（図７(a)参照）とし、第１領域６１〜第６領域６６に対して、それぞれ第１撮像条件〜第６撮像条件が設定されるものとする。このような場合において、第１領域６１〜第６領域６６の境界を含むブロックが存在する。ブロックとは、上述したように、撮像素子３２ａにおいて撮像条件を個々に設定可能な最小単位である。
図７(a)は、ライブビュー画像６０ａにおける第１領域６１と第４領域６４との境界を含む所定範囲８０を例示する図である。図７(b)は、図７(a)の所定範囲８０を拡大した図である。図７(b)において、所定範囲８０に複数のブロック８１〜８９が含まれている。本例では、人物を撮像するブロック８１および８４を第１領域６１に含めるとともに、人物および山を撮像するブロック８２、８５、および８７についても第１領域６１に含めるものとする。このため、ブロック８１、８２、８４、８５、および８７に対して第１撮像条件が設定される。一方、山を撮像するブロック８３、８６、８８、および８９を第４領域６４に含めるものとする。このため、ブロック８３、８６、８８および８９に対して第４撮像条件が設定される。
図７(b)の白地部は、人物に対応する部分を示す。また、図７(b)の斜線部は、山に対応する部分を示す。ブロック８２、ブロック８５、およびブロック８７には、第１領域６１と第４領域６４との境界Ｂ１が含まれている。図７(b)の網掛け部は、山に対応する部分を示す。
本実施の形態では、ブロックが撮像条件の設定の最小単位であるため、１つのブロック内に同じ撮像条件が設定される。上述したように、第１領域６１と第４領域６４との境界Ｂ１を含むブロック８２、８５および８７には第１撮像条件が設定されるので、これらのブロック８２、ブロック８５、およびブロック８７の斜線部、すなわち山に対応する部分にも第１撮像条件が設定される。つまり、ブロック８２、ブロック８５、およびブロック８７内の斜線部には、山を撮像するブロック８３、８６、８８、および８９に設定される第４撮像条件とは異なる撮像条件が設定される。
この場合、ブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間で、画像の明暗、コントラスト、色合い等が相違する場合がある。極端な例では、上記斜線部に相当する本画像データに白飛びまたは黒潰れが生じてしまうことも想定される。例えばブロック８５では、人物に対して好適な第１撮像条件がブロック８５の斜線部（すなわち山部分）に適さず、斜線部に相当する本画像データに白飛びまたは黒潰れが生じることがある。白飛びは、オーバー露光によって画像の高輝度部分のデータの階調が失われるこという。また、黒潰れは、アンダー露光によって画像の低輝度部分のデータの階調が失われることをいう。
図８(a)は図７(b)に対応する本画像データを例示する図である。また、図８(b)は図７(b)に対応する処理用画像データを例示する図である。処理用画像データは、第１領域６１と第４領域６４との境界部を含む全ブロック８１〜８９が山に適した第４撮像条件で取得されている。図８(a)において、本画像データのブロック８１〜８９は、それぞれ２画素×２画素の４画素によって構成されているものとする。このうち図８(a)の中央に位置するブロック８５における画素８５ｂおよび画素８５ｄにおいて黒潰れが生じているものとする。図８(b)において、処理用画像データのブロック８１〜８９がそれぞれ２画素×２画素の４画素によって構成されている点は、本画像データと同様である。図８(b)の処理用画像データには、黒潰れが生じていないものとする。本実施の形態による補正部３３ｂは、本画像データのブロックにおいて白飛びや黒潰れが生じた本画像データを、処理用画像データと置き換える置換処理を行うことによって画像を補正する。この補正を第１補正処理と呼ぶことにする。
補正部３３ｂは、上記ブロック８５のように、複数の被写体要素に基づく領域の境界を含んでおり、かつ、このブロック８５による本画像データに白飛びまたは黒潰れが存在する場合に、白飛びまたは黒潰れが存在する全てのブロックに対して第１補正処理を行う。
なお、本画像データに白飛びや黒潰れが生じていない場合の第１補正処理は不要である。
（第１補正処理の例示）
補正部３３ｂは、白飛びまたは黒潰れが生じた本画像データを含むブロックを注目ブロックとして、本画像データの注目ブロックに対して第１補正処理を行う。ここでは、注目ブロックを白とびまたは黒潰れが生じた画像データを含む領域としたが、完全に白飛びまたは黒潰れしていなくてもよい。たとえば、画素値が第１閾値以上の領域または第２閾値以下の領域を注目ブロックとしてもよい。図７(b)および図８(a)において、本画像データの所定の注目ブロック８５を中心とする所定範囲８０（例えば３×３ブロック）に含まれる、注目ブロック８５の周囲の８ブロックを参照ブロックとする。すなわち、所定の注目ブロック８５の周囲のブロック８１〜８４およびブロック８６〜８９が参照ブロックである。
また、補正部３３ｂは、図８(b)の処理用画像データについて、本画像データの注目ブロックに対応する位置のブロックを注目ブロックとし、本画像データの参照ブロックに対応する位置のブロックを参照ブロックとする。
なお、所定範囲８０を構成するブロック数は、上記３×３ブロックに限らず、適宜変更してよい。
１．白飛びまたは黒潰れが生じた領域の全体に同じ補正を行う。
（１−１）補正部３３ｂは、第１補正処理として、処理用画像データのうちの１つのブロック（注目ブロックまたは参照ブロック）で取得された処理用画像データを用いて、本画像データの注目ブロック内の一部の領域を補正する。具体的には、補正部３３ｂは、処理用画像データのうちの１つのブロック（注目ブロックまたは参照ブロック）で取得された画像データを用いて、白飛びまたは黒潰れが生じた本画像データの全てを置換する。この時、処理用画像データのうちの１つのブロック（注目ブロックまたは参照ブロック）は、本画像データの注目ブロックと位置が同じである。処理（１−１）の態様は、例えば下記(i)〜(iv)のいずれかの態様を用いる。
（i）補正部３３ｂは、本画像データにおいて白飛びまたは黒潰れした注目ブロックの本画像データを、上記白飛びまたは黒潰れした領域に最も近い位置に対応する、処理用画像データの１つのブロック（注目ブロックまたは参照ブロック）で取得された処理用画像データによって、置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在した場合でも、その白飛びまたは黒潰れの複数の画素の本画像データを、上述の最も近い位置に対応する処理用画像データの１つのブロック（注目ブロックまたは参照ブロック）で取得された同一の処理用画像データによって、置換する。
(i-1)例えば図８(b)のように、処理用画像データの注目ブロックにおいて白飛びや黒潰れが生じていない場合、補正部３３ｂは以下のように置換を行う。すなわち、補正部３３ｂは、本画像データにおいて白飛びまたは黒潰れが生じた注目ブロックの本画像データを、本画像データの注目ブロックに対応する位置の処理用画像データの注目ブロックで取得された処理用画像データによって、置換する。例えば、処理用画像データの注目ブロック８５に含まれる画素８５ａ〜８５ｄに対応する処理用画像データに基づき、本画像データの注目ブロック８５で黒潰れ画素８５ｂに対応する本画像データと、黒潰れ画素８５ｄに対応する本画像データとを、同一の処理用画像データ（例えば処理用画像データの画素８５ｄに対応する処理用画像データ）によって置換する。
(i-2)また、処理用画像データの注目ブロックにおいても白飛びまたは黒潰れが生じている場合、補正部３３ｂは以下のように置換を行う。すなわち、補正部３３ｂは、本画像データにおいて白飛びまたは黒潰れが生じた注目ブロックの本画像データを、処理用画像データにおける注目ブロックの周囲の参照ブロックで取得された処理用画像データによって、置換する。例えば、処理用画像データの注目ブロック８５の周囲の参照ブロック８１〜８４、８６〜８９のうち、黒潰れ画素（本画像データの画素８５ｂ、８５ｄ）に対応する処理用画像データの注目ブロック８５に最も近い位置である処理用画像データの参照ブロック８６に含まれる画素８６ａ〜８６ｄに対応する処理用画像データに基づき、黒潰れ画素（本画像データの画素８５ｂ、８５ｄ）に対応する本画像データを、同一の処理用画像データ（例えば処理用画像データの画素８６ｃに対応する処理用画像データ）によって置換する。
補正部３３ｂは、処理用画像データの注目ブロックにおいても白飛びまたは黒潰れが生じている場合、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ１つの参照ブロックで取得された、同じ処理用画像データによって、本画像データにおいて白飛びまたは黒潰れした注目ブロックの複数の本画像データを置換する。例えば、処理用画像データの注目ブロック８５の周囲の参照ブロック８１〜８４、８６〜８９の範囲で第４撮像条件が設定されている参照ブロックから選んだ１つの参照ブロック、例えば参照ブロック８８に含まれる画素８８ａ〜８８ｄに対応する処理用画像データに基づき、本画像データの黒潰れ画素８５ｂに対応する本画像データと、本画像データの黒潰れ画素８５ｄに対応する本画像データとを、同一の処理用画像データ（例えば処理用画像データの画素８８ｂに対応する処理用画像データ）によって置換する。このように、補正部３３ｂは、黒潰れ画素８５ｄを、処理用画像データの参照ブロックの一部の画素で置換することとしてもよい。
（iii）補正部３３ｂは、上記（i-2）または（ii）による処理用画像データの１つの参照ブロックで取得された４つの画素に対応する処理用画像データのうち、処理用画像データにおいて白飛びまたは黒潰れが生じた注目ブロック内の画素と間隔が短い画素を選択してもよい。具体的には、補正部３３ｂは、本画像データの黒潰れ画素８５ｂと処理用画像データの画素８６ａの間隔と、本画像データの黒潰れ画素８５ｂと処理用画像データの画素８６ｂとの間隔のうち、本画像データの黒潰れ画素８５ｂとの間隔が短い処理用画像データの画素８６ａによって本画像データの黒潰れ画素８５ｂを置換する。ここで、間隔とは、本画像データの黒潰れ画素８５ｂと処理用画像データの画素８６ａとを例とする場合、本画像データの黒潰れ画素８５ｂと処理用画像データの画素８６ａとの中心間の間隔である。また、間隔は、本画像データの黒潰れ画素８５ｂと処理用画像データの画素８６ａとの重心間の間隔でもよい。さらに、黒潰れ画素が連続しているような場合（本画像データの黒潰れ画素８５ｂと処理用画像データの黒潰れ画素８６ａ）は、２つの黒潰れ画素の塊の中心、あるいは重心であってもよい。参照ブロック内の８６a等についても同様である。また、補正部３３ｂは、隣接する画素に対応する処理用画像データを用いて、白飛びまたは黒潰れが生じた本画像データを置換してもよい。補正部３３ｂは、例えば参照ブロック８６を選んだ場合には、本画像データの黒潰れ画素８５ｂに対応する本画像データと、本画像データの黒潰れ画素８５ｄに対応する本画像データとを、同一の処理用画像データ（処理用画像データの画素８６ａまたは画素８６ｃに対応する処理用画像データ）によって置換する。
（iv）補正部３３ｂは、上記（i-2）または（ii）による処理用画像データの１つの参照ブロックで取得された４つの画素に対応する処理用画像データに基づいて生成した画像データを用いて、白飛びまたは黒潰れが生じた本画像データを置換してもよい。補正部３３ｂは、例えば参照ブロック８８を選んだ場合には、本画像データの黒潰れ画素８５ｂに対応する本画像データと、本画像データの黒潰れ画素８５ｄに対応する本画像データとを、同一の画像データ（例えば処理用画像データの参照ブロック８８に含まれる画素８８ａ〜８８ｄに対応する処理用画像データの平均値）によって置換する。
なお、処理用画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れ画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい。例えば、画素８８ｂは、画素８８ｄよりも黒潰れ画素８５ｄに近いので、画素８８ｂに対応する処理用画像データの寄与率を画素８８ｄに対応する処理用画像データの寄与率よりも高くする重みを付ける。
また、参照ブロック８８に含まれる画素８８ａ〜８８ｄに対応する処理用画像データの平均値を算出する代わりに、画素８８ａ〜８８ｄに対応する処理用画像データの中間値を算出し、この中間値によって黒潰れ画素８５ｂおよび画素８５ｄに対応する本画像データを置換してもよい。
（１−２）補正部３３ｂは、第１補正処理として、処理用画像データのうちの複数のブロックで取得された処理用画像データを用いて、本画像データの注目ブロック内の白飛びまたは黒潰れが生じた本画像データの全てを置換する。ここでは、本画像データの黒潰れ画素（８５ｂ、８５ｄ）を置換するための処理用画像データの参照ブロックの候補を複数抽出する。最終的に置換に用いるのは一つのブロック内の画素となる。処理（１−２）の態様は、例えば下記(i)〜(iv)のいずれかの態様を用いる。
（i）補正部３３ｂは、本画像データにおいて白飛びまたは黒潰れした注目ブロックの本画像データを、上記白飛びまたは黒潰れした領域の周辺の位置に対応する、処理用画像データの複数の参照ブロックで取得された処理用画像データによって、置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在した場合でも、その白飛びまたは黒潰れの複数の画素の本画像データを、上述の処理用画像データの複数の参照ブロックで取得された同一の処理用画像データによって、置換する。
例えば、処理用画像データの注目ブロック８５の周囲の参照ブロック８１〜８４、８６〜８９のうち、黒潰れ画素（本画像データの画素８５ｂ、８５ｄ）に対応する処理用画像データの注目ブロック８５と隣接する処理用画像データの二つの参照ブロック８６および８８に含まれる画素８６ａ〜８６ｄ、および８８ａ〜８８ｄに対応する処理用画像データに基づき、次のように置換する。すなわち、黒潰れ画素８５ｂに対応する本画像データと、黒潰れ画素８５ｄに対応する本画像データとを、同一の処理用画像データ（例えば処理用画像データの画素８８ｂに対応する処理用画像データ）によって置換する。この時、処理用画像データの画素８８ｂで置換される、本画像データの黒潰れ画素８５ｂと黒潰れ画素８５ｄの面積は、処理用画像データの画素８８の面積よりも小さくなっている。
なお、例えば図８(b)のように、処理用画像データの注目ブロック８５において白飛びや黒潰れが生じていない場合、補正部３３ｂは、処理用画像データの注目ブロック８５と、この注目ブロック８５の周囲に位置する参照ブロック８１〜８４、８６〜８９とを含む複数のブロックで取得された処理用画像データを用いて、本画像データの注目ブロック８５の白飛びまたは黒潰れ画素に対応する本画像データを置換してもよい。
（ii）補正部３３ｂは、処理用画像データの注目ブロックにおいても白飛びまたは黒潰れが生じている場合、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ複数の参照ブロックで取得された、同じ処理用画像データによって、本画像データにおいて白飛びまたは黒潰れした注目ブロックの複数の本画像データを置換する。例えば、処理用画像データの注目ブロック８５の周囲の参照ブロック８１〜８４、８６〜８９の範囲で第４撮像条件が設定されている参照ブロックから選んだ二つの参照ブロック、例えば参照ブロック８６および８８に含まれる画素８６ａ〜８６ｄ、および８８ａ〜８８ｄに対応する処理用画像データに基づき、本画像データの黒潰れ画素８５ｂに対応する本画像データと、本画像データの黒潰れ画素８５ｄに対応する本画像データとを、同一の処理用画像データ（例えば画素８６ｃに対応する処理用画像データ）よって置換する。
なお、例えば図８(b)のように、処理用画像データの注目ブロック８５において白飛びや黒潰れが生じていない場合、補正部３３ｂは、処理用画像データの注目ブロック８５と、この注目ブロック８５の周囲に位置する参照ブロック８１〜８４、８６〜８９とを含む複数のブロックで取得された処理用画像データを用いて、本画像データの注目ブロック８５の白飛びまたは黒潰れ画素に対応する本画像データを置換してもよい。
（iii）補正部３３ｂは、上記（i）または（ii）による処理用画像データの複数の参照ブロックで取得された複数の画素に対応する処理用画像データのうち、処理用画像データにおいて白飛びまたは黒潰れが生じた注目ブロック内の画素に隣接する画素に対応する処理用画像データを用いて、白飛びまたは黒潰れが生じた本画像データを置換してもよい。補正部３３ｂは、例えば参照ブロック８６および８８を選んだ場合には、本画像データの黒潰れ画素８５ｂに対応する本画像データと、本画像データの黒潰れ画素８５ｄに対応する本画像データとを、同一の処理用画像データ（処理用画像データの参照ブロック８６の画素８６ａもしくは画素８６ｃ、または処理用画像データの参照ブロック８８の画素８６ｃもしくは画素８８ａに対応する処理用画像データ）によって置換する。
（iv）補正部３３ｂは、上記（i）または（ii）による選んだ処理用画像データの複数の参照ブロックで取得された複数の画素に対応する処理用画像データに基づいて生成した画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた本画像データを置換してもよい。補正部３３ｂは、例えば参照ブロック８６および８８を選んだ場合には、本画像データの黒潰れ画素８５ｂに対応する本画像データと、本画像データの黒潰れ画素８５ｄに対応する本画像データとを、同一の画像データ（処理用画像データの参照ブロック８６に含まれる画素８６ａ〜８６ｄに対応する処理用画像データ、および処理用画像データの参照ブロック８８に含まれる画素８８ａ〜８８ｄに対応する処理用画像データの平均値）によって置換する。このとき、置換に用いる画素の面積は、本画像データの黒潰れ画素８５ｂと８５ｄとの面積よりも大きい。
なお、処理用画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れ画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい。例えば、画素８６ａは、画素８６ｂよりも黒潰れ画素８５ｂに近いので、画素８６ａに対応する処理用画像データの寄与率を画素８６ｂに対応する処理用画像データの寄与率よりも高くする重みを付ける。
また、参照ブロック８６および８８に含まれる画素８６ａ〜８６ｄおよび画素８８ａ〜８８ｄに対応する処理用画像データの平均値を算出する代わりに、画素８６ａ〜８６ｄおよび画素８８ａ〜８８ｄに対応する処理用画像データの中間値を算出し、この中間値によって黒潰れ画素８５ｂおよび画素８５ｄに対応する本画像データを置換してもよい。
２．白飛びまたは黒潰れが生じた領域の全体に複数の補正を行う。
（２−１）補正部３３ｂは、第１補正処理として、処理用画像データのうちの１つのブロックで取得された処理用画像データを用いて、本画像データの注目ブロック内の白飛びまたは黒潰れが生じた本画像データの全てを置換する。処理（２−１）の態様は、例えば下記(i)〜(iii)のいずれかの態様を用いる。
（i）補正部３３ｂは、本画像データにおいて白飛びまたは黒潰れした注目ブロックの本画像データを、上記白飛びまたは黒潰れした領域に最も近い位置に対応する、処理用画像データの１つのブロック（注目ブロックまたは参照ブロック）で取得された処理用画像データによって、置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在する場合に、その白飛びまたは黒潰れの複数の画素の本画像データを、上述の最も近い位置に対応する処理用画像データの１つのブロックで取得された異なる処理用画像データによって、それぞれ置換する。
(i-1)例えば図８(b)のように、処理用画像データの注目ブロックにおいて白飛びや黒潰れが生じていない場合、補正部３３ｂは以下のように置換を行う。すなわち、補正部３３ｂは、本画像データにおいて白飛びまたは黒潰れが生じた注目ブロックの本画像データを、本画像データの注目ブロックに対応する位置の処理用画像データの注目ブロックで取得された異なる画像データによって、置換する。例えば、処理用画像データの注目ブロック８５に含まれる画素８５ａ〜８５ｄに対応する処理用画像データに基づき、本画像データの注目ブロック８５で黒潰れ画素８５ｂに対応する本画像データを、対応する処理用画像データの注目ブロック８５の画素８５ｂに対応する処理用画像データによって置換し、本画像データの注目ブロック８５で黒潰れ画素８５ｄに対応する本画像データを、対応する処理用画像データの注目ブロック８５の画素８５ｄに対応する処理用画像データによって置換する。
(i-2)また、処理用画像データの注目ブロックにおいても白飛びまたは黒潰れが生じている場合、補正部３３ｂは以下のように置換を行う。すなわち、補正部３３ｂは、本画像データにおいて白飛びまたは黒潰れが生じた注目ブロックの本画像データを、処理用画像データにおける注目ブロックの周囲の参照ブロックで取得された異なる画像データによって、置換する。例えば、処理用画像データの注目ブロック８５の周囲の参照ブロック８１〜８４、８６〜８９のうち、黒潰れ画素（本画像データの画素８５ｂ、８５ｄ）に対応する処理用画像データの注目ブロック８５に隣接する位置の処理用画像データの参照ブロック８６に含まれる画素８６ａ〜８６ｄに対応する処理用画像データに基づき、次のように置換する。すなわち、黒潰れ本画像データの画素８５ｂに対応する本画像データを、処理用画像データの参照ブロック８６の画素８６ａに対応する処理用画像データによって置換し、黒潰れ本画像データの画素８５ｄに対応する本画像データを、処理用画像データの参照ブロック８６の画素８６ｃに対応する処理用画像データによって置換する。
（ii）補正部３３ｂは、処理用画像データの注目ブロックにおいて、本画像データの注目ブロックと同様に白飛びまたは黒潰れが生じている場合、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ１つの参照ブロックで取得された、異なる処理用画像データによって、本画像データにおいて白飛びまたは黒潰れした注目ブロックの複数の本画像データを置換する。例えば、処理用画像データの注目ブロック８５の周囲の参照ブロック８１〜８４、８６〜８９の範囲で第４撮像条件が設定されている参照ブロックから選んだ１つの参照ブロック、例えば参照ブロック８６に含まれる画素８６ａ〜８６ｄに対応する処理用画像データを用いて、次のように置換する。すなわち、本画像データの黒潰れ画素８５ｂに対応する本画像データを、処理用画像データの参照ブロック８６の画素８６ｂに対応する処理用画像データによって置換し、本画像データの黒潰れ画素８５ｄに対応する本画像データを、処理用画像データの参照ブロック８６の画素８６ｄに対応する処理用画像データによって置換する。
（iii）補正部３３ｂは、上記（i-2）または（ii）による処理用画像データの１つの参照ブロックで取得された４つの画素に対応する処理用画像データに基づいて生成した画像データを用いて、白飛びまたは黒潰れ本画像データを置換してもよい。補正部３３ｂは、例えば参照ブロック８６を選んだ場合には、本画像データの黒潰れ画素８５ｂに対応する本画像データを、処理用画像データの参照ブロック８６に含まれる画素８６ａおよび８６ｂに対応する処理用画像データの平均値によって置換する。また、本画像データの黒潰れ画素８５ｄに対応する本画像データを、処理用画像データの参照ブロック８６に含まれる画素８６ｃおよび８６ｄに対応する処理用画像データの平均値によって置換する。
なお、処理用画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れ画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい。例えば、画素８６ａは、画素８６ｂよりも黒潰れ画素８５ｂに近いので、画素８６ａに対応する処理用画像データの寄与率を画素８６ｂに対応する処理用画像データの寄与率よりも高くする重みを付ける。
（２−２）補正部３３ｂは、第１補正処理として、処理用画像データのうちの複数のブロックで取得された処理用画像データを用いて、本画像データの注目ブロック内の白飛びまたは黒潰れが生じた本画像データの全てを置換する。処理（２−２）の態様は、例えば下記(i)〜(iii)のいずれかの態様を用いる。
（i）補正部３３ｂは、本画像データにおいて白飛びまたは黒潰れした注目ブロックの本画像データを、上記白飛びまたは黒潰れした領域の周辺の位置に対応する、処理用画像データの複数の参照ブロックで取得された処理用画像データによって、置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在する場合に、その白飛びまたは黒潰れの複数の画素の本画像データを、上述の複数のブロックで取得された異なる処理用画像データによって、それぞれ置換する。
例えば、処理用画像データの注目ブロック８５の周囲の参照ブロック８１〜８４、８６〜８９のうち、黒潰れ画素（本画像データの画素８５ｂ、８５ｄ）に対応する処理用画像データの注目ブロック８５と隣接する処理用画像データの二つの参照ブロック８６および８８に含まれる画素８６ａ〜８６ｄ、および８８ａ〜８８ｄに対応する処理用画像データに基づき、次のように置換する。例えば、黒潰れ画素８５ｂに対応する本画像データを、処理用画像データの参照ブロック８６の画素８６ａに対応する処理用画像データによって置換し、黒潰れ画素８５ｄに対応する本画像データを、処理用画像データの参照ブロック８８の画素８８ｂに対応する処理用画像データによって置換する。
なお、例えば図８(b)のように、処理用画像データの注目ブロック８５において白飛びや黒潰れが生じていない場合、補正部３３ｂは、処理用画像データの注目ブロック８５と、この注目ブロック８５の周囲に位置する参照ブロック８１〜８４、８６〜８９とを含む複数のブロックで取得された処理用画像データを用いて、本画像データの注目ブロック８５の白飛びまたは黒潰れ画素に対応する本画像データを置換してもよい。
（ii）補正部３３ｂは、処理用画像データの注目ブロックにおいても白飛びまたは黒潰れが生じている場合、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ複数の参照ブロックで取得された、異なる処理用画像データによって、本画像データにおいて白飛びまたは黒潰れした注目ブロックの複数の本画像データを置換する。本画像データにおいて白飛びまたは黒潰れが生じた注目ブロックの本画像データを、処理用画像データにおける注目ブロックの周囲の参照ブロックのうち一番多く設定されている撮像条件の参照ブロックのうちの複数の参照ブロックで取得された異なる画像データによって、置換する。例えば、処理用画像データの注目ブロック８５の周囲の参照ブロック８１〜８４、８６〜８９の範囲で第４撮像条件が設定されている参照ブロックから選んだ二つの参照ブロック、例えば参照ブロック８６および８８に含まれる画素８６ａ〜８６ｄ、および８８ａ〜８８ｄに対応する処理用画像データに基づき、次のように置換する。すなわち、本画像データの黒潰れ画素８５ｂに対応する本画像データを、処理用画像データの参照ブロック８６の画素８６ａに対応する処理用画像データによって置換し、本画像データの黒潰れ画素８５ｄに対応する本画像データを、処理用画像データの参照ブロック８８の画素８８ｂに対応する処理用画像データによって置換する。
なお、例えば図８(b)のように、処理用画像データの注目ブロック８５において白飛びや黒潰れが生じていない場合、補正部３３ｂは、処理用画像データの注目ブロック８５と、この注目ブロック８５の周囲に位置する参照ブロック８１〜８４、８６〜８９とを含む複数のブロックで取得された処理用画像データを用いて、本画像データの注目ブロック８５の白飛びまたは黒潰れ画素に対応する本画像データを置換してもよい。
（iii）補正部３３ｂは、上記（i）または（ii）による選んだ処理用画像データの複数の参照ブロックで取得された複数の画素に対応する処理用画像データに基づいて生成した画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた本画像データを置換してもよい。補正部３３ｂは、例えば参照ブロック８６および８８を選んだ場合には、本画像データの黒潰れ画素８５ｂおよび黒潰れ画素８５ｄに対応する本画像データを、以下のように置換する。すなわち、本画像データの黒潰れ画素８５ｂに対応する本画像データを、処理用画像データの参照ブロック８６に含まれる画素８６ａ〜８６ｄに対応する処理用画像データの平均値によって置換する。また、本画像データの黒潰れ画素８５ｄに対応する本画像データを、処理用画像データの参照ブロック８８に含まれる画素８８ａ〜８８ｄに対応する処理用画像データの平均値によって置換する。
なお、処理用画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れ画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい。例えば、画素８６ａは、画素８６ｂよりも黒潰れ画素８５ｂに近いので、画素８６ａに対応する処理用画像データの寄与率を画素８６ｂに対応する処理用画像データの寄与率よりも高くする重みを付ける。
また、参照ブロック８６および８８に含まれる画素８６ａ〜８６ｄおよび画素８８ａ〜８８ｄに対応する処理用画像データの平均値を算出する代わりに、画素８６ａ〜８６ｄおよび画素８８ａ〜８８ｄに対応する処理用画像データの中間値を算出し、この中間値によって黒潰れ画素８５ｂおよび画素８５ｄに対応する本画像データを置換してもよい。
以上の説明では、種々の態様による第１補正処理を説明した。これらの態様のうち、いずれの態様の第１補正処理を行うかについて、制御部３４は、例えば操作部材３６による設定（操作メニュー設定を含む）状態に基づいて決定する。
なお、カメラ１に設定されている撮像シーンモードや、検出された被写体要素の種類によって、制御部３４がいずれの態様の第１補正処理を行うかを決定するようにしてもよい。
なお、以上の説明では、処理用画像データを撮像部３２で取得しているが、処理用画像データを撮像部３２以外の撮像部で取得してもよい。例えば、カメラ１に撮像部３２以外の撮像部が設けられていて、処理用画像データを撮像部３２以外の撮像部で取得してもよい。また、処理用画像データをカメラ１以外のカメラの撮像部で取得してもよい。また、処理用画像データを測光センサのような撮像素子以外のセンサで取得してもよい。これらの場合、処理用画像データの取得で撮像される被写界の範囲が、本画像データの取得で撮像される被写界の範囲と同じであることが好ましいが、処理用画像データの取得で撮像される被写界の範囲が、本画像データの取得で撮像される被写界の範囲と少なくとも一部重複していれば、第１補正処理を行うことは可能である。なお、処理用画像データをカメラ１以外のカメラの撮像部で取得する場合は、処理用画像データを本画像データとほぼ同時に取得することも可能であり、動いている被写体を撮像する際の処理用画像データを本画像データと被写体の位置ずれをなくすことができる。
また、処理用画像データを記録部３７に記録しておき、記録部３７から読み出すことで取得し第１補正処理を行っても良い。処理用画像データの記録部への記録のタイミングは、本画像データの取得の直前、または直後でもよいし、本画像データの取得よりも前に予め記録しておいてもよい。
＜第２補正処理＞
画像処理部３３の補正部３３ｂはさらに、本画像データに対する画像処理、本画像データの撮像のための焦点検出処理、本画像データの撮像のための被写体検出（被写体要素を検出）処理、および本画像データの撮像のための撮像条件を設定する処理の前に、以下の第２補正処理を必要に応じて行う。なお、補正部３３ｂは、上述したように白飛びまたは黒潰れした画素を置換した後に第２の補正処理を行う。
なお、他の画素により置換された黒潰れ画素８５ｂ（または８５ｄ）の位置の画像データについては、置換された画素（たとえば８６ａ）を撮像した撮像条件で撮影されたものとして下記の第２補正処理を行えばよい。また、撮像条件が異なる複数ブロックの画素を用いて黒潰れ画素８５ｂを置換した場合には、各ブロックの撮像条件の間の値（平均値、中間値）の撮影条件として取り扱ってもよい。たとえば、黒潰れ画素８５ｄをＩＳＯ感度１００で撮影された画素８６ｃとＩＳＯ感度１６００で撮影された画素８８ｂで補正する場合には、ＩＳＯ感度１００とＩＳＯ感度１６００の間のＩＳＯ感度８００で撮影されたデータとして取り扱ってもよい。
１．画像処理を行う場合
画像処理部３３の補正部３３ｂは、分割した領域間で異なる撮像条件を適用して取得された本画像データに対する画像処理が所定の画像処理である場合において、領域の境界部に位置する本画像データに対し、画像処理の前処理として第２補正処理を行う。所定の画像処理は、画像において処理対象とする注目位置の本画像データを、注目位置の周囲の複数の参照位置の本画像データを参照して算出する処理であり、例えば、画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理などが該当する。
第２補正処理は、分割した領域間で撮像条件が異なることに起因して、画像処理後の画像に生じる不連続性を緩和するために行う。一般に、注目位置が、分割した領域の境界部に位置する場合、注目位置の周囲の複数の参照位置には、注目位置の本画像データと同じ撮像条件が適用された本画像データと、注目位置の本画像データと異なる撮像条件が適用された本画像データとが混在する場合がある。本実施の形態では、異なる撮像条件が適用された参照位置の本画像データをそのまま参照して注目位置の本画像データを算出するよりも、撮像条件の相違による本画像データ間の差異を抑えるように第２補正処理を施した参照位置の本画像データを参照して注目位置の本画像データを算出する方が好ましいという考え方に基づき、以下のように第２補正処理を行う。
図９(a)は、図７(a)のライブビュー画像６０ａにおける第１領域６１と第４領域６４との境界部の注目領域９０を拡大した図である。第１撮像条件が設定された第１領域６１に対応する撮像素子３２ａ上の画素からの画像データを白地で示し、第４撮像条件が設定された第４領域６４に対応する撮像素子３２ａ上の画素からの画像データを網掛けで示す。図９(a)では、第１領域６１上であって、第１領域６１と第４領域６４との境界９１の近傍部分、すなわち境界部に注目画素Ｐからの画像データが位置する。注目画素Ｐを中心とする注目領域９０（例えば３×３画素）に含まれる注目画素Ｐの周囲の画素（本例では８画素）を参照画素Ｐｒとする。図９(b)は、注目画素Ｐおよび参照画素Ｐｒ１〜Ｐｒ８の拡大図である。注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む参照画素Ｐｒ１〜Ｐｒ８の位置が参照位置である。第１領域６１に対応する参照画素Ｐｒ１〜Ｐｒ６および注目画素Ｐに対して第１撮像条件が設定されており、第４領域６４に対応する参照画素Ｐｒ７およびＰｒ８に対して第４撮像条件が設定されている。
なお、以下の説明では、参照画素Ｐｒ１〜Ｐｒ８を総称する場合に符号Ｐｒを付与する。
画像処理部３３の生成部３３ｃは、通常、第２補正処理を行わずに参照画素Ｐｒの本画像データをそのまま参照して画像処理を行う。しかしながら、注目画素Ｐにおいて適用された撮像条件（第１撮像条件とする）と、注目画素Ｐの周囲の参照画素Ｐｒにおいて適用された撮像条件（第４撮像条件とする）とが異なる場合には、補正部３３ｂが、本画像データの参照画素Ｐｒの本画像データのうちの第４撮像条件の本画像データに対して以下の（例１）〜（例３）のように第２補正処理を行う。そして、生成部３３ｃは、第２補正処理後の参照画素Ｐｒの本画像データを参照して注目画素Ｐの本画像データを算出する画像処理を行う。
（例１）
画像処理部３３の補正部３３ｂは、例えば、第１撮像条件と第４撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第４撮像条件のＩＳＯ感度が８００の場合、参照画素Ｐｒの本画像データのうちの第４撮像条件の参照画素Ｐｒ７、Ｐｒ８の本画像データに対し、第２補正処理として１００／８００をかける。これにより、撮像条件の相違による本画像データ間の差異を小さくする。
なお、注目画素Ｐへの入射光量と参照画素Ｐｒへの入射光量とが同じ場合には本画像データの差異が小さくなるが、もともと注目画素Ｐへの入射光量と参照画素Ｐｒへの入射光量とが異なっている場合などには、本画像データの差異が小さくならない場合もある。後述する例も同様である。
（例２）
画像処理部３３の補正部３３ｂは、例えば、第１撮像条件と第４撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第４撮像条件のシャッター速度が１／１００秒の場合、参照画素Ｐｒの本画像データのうちの第４撮像条件の参照画素Ｐｒ７、Ｐｒ８の本画像データに対し、第２補正処理として（１／１０００）／（１／１００）＝１／１０をかける。これにより、撮像条件の相違による本画像データ間の差異を小さくする。
（例３）
画像処理部３３の補正部３３ｂは、例えば、第１撮像条件と第４撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第４撮像条件のフレームレートが６０ｆｐｓの場合、参照画素Ｐｒの本画像データのうちの第４撮像条件（６０ｆｐｓ）の本画像データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の本画像データを採用することを第２補正処理とする。これにより、撮像条件の相違による本画像データ間の差異を小さくする。
なお、第４撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の本画像データを補間算出することを第２補正処理としてもよい。
一方、画像処理部３３の補正部３３ｂは、注目画素Ｐにおいて適用された撮像条件（第１撮像条件とする）と、注目画素Ｐの周囲の全ての参照画素Ｐｒにおいて適用された撮像条件（第４撮像条件とする）とが同一である場合には、参照画素Ｐｒの本画像データに対する第２補正処理を行わない。つまり、生成部３３ｃは、参照画素Ｐｒの本画像データをそのまま参照して注目画素Ｐの本画像データを算出する画像処理を行う。
なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
＜画像処理の例示＞
第２補正処理を伴う画像処理について例示する。
（１）画素欠陥補正処理
本実施の形態において、画素欠陥補正処理は、撮像時に行う画像処理の１つである。一般に、固体撮像素子である撮像素子３２ａは、製造過程や製造後において画素欠陥が生じ、異常なレベルの画像データを出力する場合がある。そこで、画像処理部３３の生成部３３ｃは、画素欠陥が生じた画素から出力された本画像データを補正することにより、画素欠陥が生じた画素位置における本画像データを目立たないようにする。
画素欠陥補正処理の一例を説明する。画像処理部３３の生成部３３ｃは、例えば、１フレームの画像においてあらかじめ不図示の不揮発性メモリに記録されている画素欠陥の位置の画素を注目画素Ｐ（処理対象画素）とし、注目画素Ｐを中心とする注目領域９０（例えば３×３画素）に含まれる注目画素Ｐの周囲の画素（本例では８画素）を参照画素Ｐｒとする。
画像処理部３３の生成部３３ｃは、参照画素Ｐｒにおける本画像データの最大値、最小値を算出し、注目画素Ｐから出力された本画像データがこれら最大値または最小値を超えるときは注目画素Ｐから出力された本画像データを上記最大値または最小値で置き換えるMax,Minフィルタ処理を行う。このような処理を、不図示の不揮発性メモリに位置情報が記録されている全ての画素欠陥に対して行う。
本実施の形態において、画像処理部３３の補正部３３ｂは、注目画素Ｐに適用された第１撮像条件と異なる第４撮像条件が適用された画素が上記参照画素Ｐｒに含まれる場合に、第４撮像条件が適用された本画像データに対して第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが上述したMax,Minフィルタ処理を行う。
（２）色補間処理
本実施の形態において、色補間処理は、撮像時に行う画像処理の１つである。図３に例示したように、撮像素子１００の撮像チップ１１１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒがベイヤー配列されている。画像処理部３３の生成部３３ｃは、各画素位置において配置されたカラーフィルタＦの色成分と異なる色成分の本画像データが不足するので、周辺の画素位置の本画像データを参照して不足する色成分の本画像データを生成する色補間処理を行う。
色補間処理の一例を説明する。図１０(a)は、撮像素子３２ａから出力された本画像データの並びを例示する図である。各画素位置に対応して、ベイヤー配列の規則にしたがってＲ、Ｇ、Ｂのいずれかの色成分を有する。
＜Ｇ色補間＞
まず、一般的なＧ色補間について説明する。Ｇ色補間を行う画像処理部３３の生成部３３ｃは、Ｒ色成分およびＢ色成分の位置を順番に注目位置として、注目位置の周囲の参照位置の４つのＧ色成分の本画像データを参照して注目位置におけるＧ色成分の本画像データを生成する。例えば、図１０(b)の太枠（左上位置から数えて２行目２列目。以降も同様に、左上位置から数えて注目位置を表すものとする）で示す注目位置においてＧ色成分の本画像データを生成する場合、注目位置（２行目２列目）の近傍に位置する４つのＧ色成分の本画像データＧ１〜Ｇ４を参照する。画像処理部３３の生成部３３ｃは、例えば（ａＧ１＋ｂＧ２＋ｃＧ３＋ｄＧ４）／４を、注目位置（２行目２列目）におけるＧ色成分の本画像データとする。なお、ａ〜ｄは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
次に、本実施の形態のＧ色補間について説明する。図１０(a)〜図１０(c)において、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第４撮像条件が適用されているものとする。なお、図１０(a)〜図１０(c)において、第１撮像条件と第４撮像条件は異なる。また、図１０(b)中のＧ色成分の本画像データＧ１〜Ｇ４が、注目位置（２行目２列目）の画素を画像処理するための参照位置である。図１０(b)において、注目位置（２行目２列目）には第１撮像条件が適用されている。参照位置のうち、本画像データＧ１〜Ｇ３には第１撮像条件が適用されている。また、参照位置のうち、本画像データＧ４には第４撮像条件が適用されている。そのため、画像処理部３３の補正部３３ｂは、本画像データＧ４に対して第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが注目位置（２行目２列目）におけるＧ色成分の本画像データを算出する。
画像処理部３３の生成部３３ｃは、図１０(a)におけるＢ色成分の位置およびＲ色成分の位置においてそれぞれＧ色成分の本画像データを生成することにより、図１０(c)に示すように、各画素位置においてＧ色成分の本画像データを得ることができる。
＜Ｒ色補間＞
図１１(a)は、図１０(a)からＲ色成分の本画像データを抽出した図である。画像処理部３３の生成部３３ｃは、図１０(c)に示すＧ色成分の本画像データと図１１(a)に示すＲ色成分の本画像データとに基づいて図１１(b)に示す色差成分Ｃｒの本画像データを算出する。
まず、一般的な色差成分Ｃｒの補間について説明する。画像処理部３３の生成部３３ｃは、例えば図１１(b)の太枠（２行目２列目）で示す注目位置において色差成分Ｃｒの本画像データを生成する場合、注目位置（２行目２列目）の近傍に位置する４つの色差成分の本画像データＣｒ１〜Ｃｒ４を参照する。画像処理部３３の生成部３３ｃは、例えば（ｅＣｒ１＋ｆＣｒ２＋ｇＣｒ３＋ｈＣｒ４）／４を、注目位置（２行目２列目）における色差成分Ｃｒの本画像データとする。なお、ｅ〜ｈは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
同様に、画像処理部３３の生成部３３ｃは、例えば図１１(c)の太枠（２行目３列目）で示す注目位置において色差成分Ｃｒの本画像データを生成する場合、注目位置（２行目３列目）の近傍に位置する４つの色差成分の本画像データＣｒ２、Ｃｒ４〜Ｃｒ６を参照する。画像処理部３３の生成部３３ｃは、例えば（ｑＣｒ２＋ｒＣｒ４＋ｓＣｒ５＋ｔＣｒ６）／４を、注目位置（２行目３列目）における色差成分Ｃｒの本画像データとする。なお、ｑ〜ｔは、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、各画素位置について色差成分Ｃｒの本画像データが生成される。
次に、本実施の形態の色差成分Ｃｒの補間について説明する。図１１(a)〜図１１(c)において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第４撮像条件が適用されているものとする。なお、図１１(a)〜図１１(c)において、第１撮像条件と第４撮像条件は異なる。図１１(b)において、太枠（２行目２列目）で示す位置が色差成分Ｃｒの注目位置である。また、図１１(b)中の色差成分の本画像データＣｒ１〜Ｃｒ４が注目位置（２行目２列目）の画素を画像処理するための参照位置である。図１１(b)において、注目位置（２行目２列目）には第１撮像条件が適用されている。参照位置のうち、本画像データＣｒ1、Ｃｒ３、Ｃｒ４には第１撮像条件が適用されている。また、参照位置のうち、本画像データＣｒ２には第４撮像条件が適用されている。そのため、画像処理部３３の補正部３３ｂは、本画像データＣｒ２に対して第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが注目位置（２行目２列目）における色差成分Ｃｒの本画像データを算出する。
また、図１１(c)において、太枠（２行目３列目）で示す位置が色差成分Ｃｒの注目位置である。また、図１１(c)中の色差成分の本画像データＣｒ２、Ｃｒ４、Ｃｒ５、Ｃｒ６が注目位置（２行目３列目）の画素を画像処理するための参照位置である。図１１(c)において、注目位置（２行目３列目）には第４撮像条件が適用されている。参照位置のうち、本画像データＣｒ４、Ｃｒ５には第１撮像条件が適用されている。また、参照位置のうち、本画像データＣｒ２、Ｃｒ６には第４撮像条件が適用されている。そのため、画像処理部３３の補正部３３ｂは、本画像データＣｒ４およびＣｒ５に対してそれぞれ第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが注目位置（２行目３列目）における色差成分Ｃｒの本画像データを算出する。
画像処理部３３の生成部３３ｃは、各画素位置において色差成分Ｃｒの本画像データを得たのち、各画素位置に対応させて図１０(c)に示すＧ色成分の本画像データを加算することにより、各画素位置においてＲ色成分の本画像データを得ることができる。
＜Ｂ色補間＞
図１２(a)は、図１０(a)からＢ色成分の本画像データを抽出した図である。画像処理部３３の生成部３３ｃは、図１０(c)に示すＧ色成分の本画像データと図１２(a)に示すＢ色成分の本画像データとに基づいて図１２(b)に示す色差成分Ｃｂの本画像データを算出する。
まず、一般的な色差成分Ｃｂの補間について説明する。画像処理部３３の生成部３３ｃは、例えば図１２(b)の太枠（３行目３列目）で示す注目位置において色差成分Ｃｂの本画像データを生成する場合、注目位置（３行目３列目）の近傍に位置する４つの色差成分の本画像データＣｂ１〜Ｃｂ４を参照する。画像処理部３３の生成部３３ｃは、例えば（ｕＣｂ１＋ｖＣｂ２＋ｗＣｂ３＋ｘＣｂ４）／４を、注目位置（３行目３列目）における色差成分Ｃｂの本画像データとする。なお、ｕ〜ｘは参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。
同様に、画像処理部３３の生成部３３ｃは、例えば図１２(c)の太枠（３行目４列目）で示す注目位置において色差成分Ｃｂの本画像データを生成する場合、注目位置（３行目４列目）の近傍に位置する４つの色差成分の本画像データＣｂ２、Ｃｂ４〜Ｃｂ６を参照する。画像処理部３３の生成部３３ｃは、例えば（ｙＣｂ２＋ｚＣｂ４＋αＣｂ５＋βＣｂ６）／４を、注目位置（３行目４列目）における色差成分Ｃｂの本画像データとする。なお、ｙ、ｚ、α、βは、参照位置と注目位置との間の距離や画像構造に応じて設けられる重み係数である。こうして、各画素位置について色差成分Ｃｂの本画像データが生成される。
次に、本実施の形態の色差成分Ｃｂの補間について説明する。図１２(a)〜図１２(c)において、例えば、太線に対して左および上の領域に第１撮像条件が適用されており、太線に対して右および下の領域に第４撮像条件が適用されているものとする。なお、図１２(a)〜図１２(c)において、第１撮像条件と第４撮像条件は異なる。図１２(b)において、太枠（３行目３列目）で示す位置が色差成分Ｃｂの注目位置である。また、図１２(b)中の色差成分の本画像データＣｂ１〜Ｃｂ４が注目位置（３行目３列目）の画素を画像処理するための参照位置である。図１２(b)において、注目位置（３行目３列目）には第４撮像条件が適用されている。参照位置のうち、本画像データＣｂ1、Ｃｂ３には第１撮像条件が適用されている。また、参照位置のうち、本画像データＣｂ２、Ｃｂ４には第４撮像条件が適用されている。そのため、画像処理部３３の補正部３３ｂは、データＣｂ１およびＣｂ３に対してそれぞれ第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが注目位置（３行目３列目）における色差成分Ｃｂの本画像データを算出する。
また、図１２(c)において、太枠（３行目４列目）で示す位置が色差成分Ｃｂの注目位置である。また、図１２(c)中の色差成分の本画像データＣｂ２、Ｃｂ４〜Ｃｂ６が注目位置（３行目４列目）の画素を画像処理するための参照位置である。図１２(c)において、注目位置（３行目４列目）には第４撮像条件が適用されている。また、全ての参照位置の本画像データＣｂ２、Ｃｂ４〜Ｃｂ６に第４撮像条件が適用されている。そのため、画像処理部３３の生成部３３ｃは、画像処理部３３の補正部３３ｂによって第２補正処理が行われていない参照位置の本画像データＣｂ２、Ｃｂ４〜Ｃｂ６を参照して、注目位置（３行目４列目）における色差成分Ｃｂの本画像データを算出する。
画像処理部３３の生成部３３ｃは、各画素位置において色差成分Ｃｂの本画像データを得たのち、各画素位置に対応させて図１０(c)に示すＧ色成分の本画像データを加算することにより、各画素位置においてＢ色成分の本画像データを得ることができる。
なお、上記「Ｇ色補間」では、例えば、図１０(b)の太枠（２行目２列目）で示す注目位置においてＧ色成分の本画像データを生成する場合、注目位置の近傍に位置する４つのＧ色成分の本画像データＧ１〜Ｇ４を参照するとしているが、画像構造によって参照するＧ色成分の本画像データの数を変更してもよい。例えば、注目位置付近の画像が縦方向に類似性を有している（例えば、縦縞のパターン）場合は、注目位置の上下の本画像データ（図１０(b)のＧ１とＧ２）だけを用いて補間処理を行う。また、例えば、注目位置付近の画像が横方向に類似性を有している（例えば、横縞のパターン）場合は、注目位置の左右の本画像データ（図１０(b)のＧ３とＧ４）だけを用いて補間処理を行う。これらの場合、補正部３３ｂにより補正を行う本画像データＧ４を用いる場合と用いない場合がある。このように、補正部３３ｂが第１補正処理、第２補正処理、及び補間処理を行うことにより、黒潰れ画素８５ｂ、８５ｄが生じた場合であっても、黒潰れを補正して画像を生成することができる。
（３）輪郭強調処理
輪郭強調処理の一例を説明する。画像処理部３３の生成部３３ｃは、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である尖鋭化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ２−１)個の参照画素Ｐｒの位置が参照位置である。
なお、カーネルサイズはＮ×Ｍ画素であってもよい。
画像処理部３３の生成部３３ｃは、注目画素Ｐにおける本画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
本実施の形態において、画像処理部３３の補正部３３ｂは、注目画素Ｐに適用された第１撮像条件と異なる第４撮像条件が適用された画素が上記参照画素Ｐｒに含まれる場合に、第４撮像条件が適用された本画像データに対して第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが上述した線型フィルタ処理を行う。
（４）ノイズ低減処理
ノイズ低減処理の一例を説明する。画像処理部３３の生成部３３ｃは、例えば、１フレームの画像において、注目画素Ｐ（処理対象画素）を中心とする所定サイズのカーネルを用いた公知の線形フィルタ(Linear filter)演算を行う。線型フィルタの一例である平滑化フィルタのカーネルサイズがＮ×Ｎ画素の場合、注目画素Ｐの位置が注目位置であり、注目画素Ｐを囲む(Ｎ２−１)個の参照画素Ｐｒの位置が参照位置である。
なお、カーネルサイズはＮ×Ｍ画素であってもよい。
画像処理部３３の生成部３３ｃは、注目画素Ｐにおける本画像データを線型フィルタ演算結果で置き換えるフィルタ処理を、例えばフレーム画像の上部の水平ラインから下部の水平ラインへ向けて、各水平ライン上で注目画素を左から右へずらしながら行う。
本実施の形態において、画像処理部３３の補正部３３ｂは、注目画素Ｐに適用された第１撮像条件と異なる第４撮像条件が適用された画素が上記参照画素Ｐｒに含まれる場合に、第４撮像条件が適用された本画像データに対して第２補正処理を行う。その後、画像処理部３３の生成部３３ｃが上述した線型フィルタ処理を行う。
なお、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定してもよいし、撮像素子３２ａの撮像面の一部の領域を処理用撮像領域として設定してもよい。撮像面の一部の領域を処理用撮像領域に設定する場合、設定部３４ｂは、少なくとも第１領域６１〜第６領域６６の境界を挟む所定のブロック数の領域に対し、本画像データを撮像する際に設定される撮像条件と異なる撮像条件を設定する。
また、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定して撮像された処理用画像データから、少なくとも第１領域６１〜第６領域６６の境界を挟む所定のブロック数の領域に関する画像データを抽出して、処理用画像データとしてもよい。例えば、設定部３４ｂは、第４撮像条件が設定され、撮像素子３２ａの撮像面の全領域を用いて撮像された処理用画像データから、本画像データの第１領域６１と第４領域６１の境界を挟む所定のブロック数の領域に関する画像データを抽出して、処理用画像データとして生成する。
さらにまた、上記の処理用撮像領域は、本画像データに設定された各領域（上記の例では第１領域〜第６領域）に対応させて設定するものに限定されない。例えば、撮像素子３２ａの撮像面の一部の領域に予め処理用撮像領域が設定されていてもよい。例えば、撮像素子３２ａの撮像面の中央部付近に処理用撮像領域が設定されている場合には、ポートレートのように人物を画面の中央に位置させて撮像する際に、主要な被写体が位置する可能性が高い領域で処理用画像データを生成させることができる。この場合、処理用撮像領域の大きさは、ユーザーの操作に基づいて変更可能としてもよいし、予め設定された大きさで固定としてもよい。
２．焦点検出処理を行う場合
上記の例では、第１補正処理として、白飛びや黒潰れ等の画素を、処理用画像データで置換したが、焦点調節のみを目的とする場合には、白飛びまたは黒潰れが生じた焦点検出用の画素による信号を他の焦点検出用の画素による信号で置換すればよい。他の焦点検出用の信号で置き換える方法については、白飛びまたは黒潰れ画素の画像データを置換する方法と同様であるため、詳細は省略する。画像のコントラストに基づく焦点調節の場合は、上記第１補正処理により置換した画像データを用いればよい。制御部３４のレンズ移動制御部３４ｄは、撮像画面の所定の位置（フォーカスポイント）に対応する信号データ（画像データ）を用いて焦点検出処理を行う。制御部３４のレンズ移動制御部３４ｄは、分割した領域間で異なる撮像条件が設定されており、ＡＦ動作のフォーカスポイントが分割された領域の境界部分に位置する場合、少なくとも１つの領域の焦点検出用の信号データに対し、焦点検出処理の前処理として第２補正処理を行う。
第２補正処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、焦点検出処理の精度が低下することを抑制するために行う。例えば、画像において像ズレ量（位相差）を検出するフォーカスポイントの焦点検出用の信号データが、分割した領域の境界部に位置する場合、焦点検出用の信号データの中に異なる撮像条件が適用された信号データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された信号データをそのまま用いて像ズレ量（位相差）の検出を行うよりも、撮像条件の相違による信号データ間の差異を抑えるように第２補正処理を施した信号データを用いて像ズレ量（位相差）の検出を行う方が好ましいという考え方に基づき、以下のように第２補正処理を行う。
＜焦点検出処理の例示＞
第２補正処理を伴う焦点検出処理について例示する。本実施の形態のＡＦ動作は、例えば、撮像画面における複数のフォーカスポイントの中からユーザーが選んだフォーカスポイントに対応する被写体にフォーカスを合わせる。制御部３４のレンズ移動制御部３４ｄ（生成部）は、撮像光学系３１の異なる瞳領域を通過した光束による複数の被写体像の像ズレ量（位相差）を検出することにより、撮像光学系３１のデフォーカス量を算出する。制御部３４のレンズ移動制御部３４ｄは、デフォーカス量をゼロ（許容値以下）にする位置、すなわち合焦位置へ、撮像光学系３１のフォーカスレンズを移動させ、撮像光学系３１の焦点を調節する。
図１３は、撮像素子３２ａの撮像面における焦点検出用画素の位置を例示する図である。本実施の形態では、撮像チップ１１１のＸ軸方向（水平方向）に沿って離散的に焦点検出用画素が並べて設けられている。図１３の例では、１５本の焦点検出画素ライン１６０が所定の間隔で設けられる。焦点検出画素ライン１６０を構成する焦点検出用画素は、焦点検出用の光電変換信号を出力する。撮像チップ１１１において焦点検出画素ライン１６０以外の画素位置には通常の撮像用画素が設けられている。撮像用画素は、ライブビュー画像や記録用の光電変換信号を出力する。
図１４は、図１３に示すフォーカスポイント８０Ａに対応する上記焦点検出画素ライン１６０の一部の領域を拡大した図である。図１４において、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂと、焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２とが例示される。赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂは、上述したベイヤー配列の規則にしたがって配される。
赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂについて例示した正方形状の領域は、撮像用画素の受光領域を示す。各撮像用画素は、撮像光学系３１（図１）の射出瞳を通る光束を受光する。すなわち、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂはそれぞれ正方形状のマスク開口部を有し、これらのマスク開口部を通った光が撮像用画素の受光部に到達する。
なお、赤色画素Ｒ、緑色画素Ｇ（Ｇｂ、Ｇｒ）、および青色画素Ｂの受光領域（マスク開口部）の形状は四角形に限定されず、例えば円形であってもよい。
焦点検出用画素Ｓ１、および焦点検出用画素Ｓ２について例示した半円形状の領域は、焦点検出用画素の受光領域を示す。すなわち、焦点検出用画素Ｓ１は、図１４において画素位置の左側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ１の受光部に到達する。一方、焦点検出用画素Ｓ２は、図１４において画素位置の右側に半円形状のマスク開口部を有し、このマスク開口部を通った光が焦点検出用画素Ｓ２の受光部に到達する。このように、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２は、撮像光学系３１（図１）の射出瞳の異なる領域を通る一対の光束をそれぞれ受光する。
なお、撮像チップ１１１における焦点検出画素ライン１６０の位置は、図１３に例示した位置に限定されない。また、焦点検出画素ライン１６０の数についても、図１３の例に限定されるものではない。さらに、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２におけるマスク開口部の形状は半円形に限定されず、例えば撮像用画素Ｒ、撮像用画素Ｇ、撮像用画素Ｂにおける四角形状受光領域（マスク開口部）を横方向に分割した長方形状としてもよい。
また、撮像チップ１１１における焦点検出画素ライン１６０は、撮像チップ１１１のＹ軸方向（鉛直方向）に沿って焦点検出用画素を並べて設けたものであってもよい。図１４のように撮像用画素と焦点検出用画素とを二次元状に配列した撮像素子は公知であり、これらの画素の詳細な図示および説明は省略する。
なお、図１４の例では、焦点検出用画素Ｓ１、Ｓ２がそれぞれ焦点検出用の一対の光束のうちの一方を受光する構成、いわゆる１ＰＤ構造を説明した。この代わりに、焦点検出用画素がそれぞれ焦点検出用の一対の光束の双方を受光する構成、いわゆる２ＰＤ構造にしてもよい。２ＰＤ構造にすることにより、焦点検出用画素で得られた光電変換信号を記録用の光電変換信号として用いることが可能になる。
制御部３４のレンズ移動制御部３４ｄは、焦点検出用画素Ｓ１および焦点検出用画素Ｓ２から出力される焦点検出用の光電変換信号に基づいて、撮像光学系３１（図１）の異なる領域を通る一対の光束による一対の像の像ズレ量（位相差）を検出する。そして、像ズレ量（位相差）に基づいてデフォーカス量を演算する。このような瞳分割位相差方式によるデフォーカス量演算は、カメラの分野において公知であるので詳細な説明は省略する。
フォーカスポイント８０Ａ（図１３）は、図７(a)に例示したライブビュー画像６０ａにおいて、例えば第１領域６１および第４領域６４の境界部の注目領域９０に対応する位置に、ユーザーによって選ばれているものとする。図１５は、フォーカスポイント８０Ａを拡大した図である。白地の画素は第１撮像条件が設定されていることを示し、網掛けの画素は第４撮像条件が設定されていることを示す。図１５において枠１７０で囲む位置は、焦点検出画素ライン１６０（図１３）に対応する。
制御部３４のレンズ移動制御部３４ｄは、通常、第２補正処理を行わずに枠１７０で示す焦点検出用画素による信号データをそのまま用いて焦点検出処理を行う。しかしながら、枠１７０で囲む信号データに、第１撮像条件が適用された信号データと第４撮像条件が適用された信号データが混在する場合には、制御部３４のレンズ移動制御部３４ｄが、枠１７０で囲む信号データのうちの第４撮像条件の信号データに対して、以下の（例１）〜（例３）のように第２補正処理を行う。そして、制御部３４のレンズ移動制御部３４ｄは、第２補正処理後の信号データを用いて焦点検出処理を行う。
（例１）
制御部３４のレンズ移動制御部３４ｄは、例えば、第１撮像条件と第４撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第４撮像条件のＩＳＯ感度が８００の場合、第４撮像条件の信号データに対し、第２補正処理として１００／８００をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。
なお、第１撮像条件が適用された画素への入射光量と第４撮像条件が適用された画素への入射光量とが同じ場合には信号データの差異が小さくなるが、もともと第１撮像条件が適用された画素への入射光量と第４撮像条件が適用された画素への入射光量とが異なっている場合などには、信号データの差異が小さくならない場合もある。後述する例も同様である。
（例２）
制御部３４のレンズ移動制御部３４ｄは、例えば、第１撮像条件と第４撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第４撮像条件のシャッター速度が１／１００秒の場合、第４撮像条件の信号データに対し、第２補正処理として１／１０００／１／１００＝１／１０をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。
（例３）
制御部３４のレンズ移動制御部３４ｄは、例えば、第１撮像条件と第４撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第４撮像条件のフレームレートが６０ｆｐｓの場合、第４撮像条件（６０ｆｐｓ）の信号データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを採用することを第２補正処理とする。これにより、撮像条件の相違による信号データ間の差異を小さくする。
なお、第４撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを補間算出することを第２補正処理としてもよい。
一方、制御部３４のレンズ移動制御部３４ｄは、枠１７０で囲む信号データにおいて適用された撮像条件が同一である場合には上記第２補正処理を行わない。つまり、制御部３４のレンズ移動制御部３４ｄは、枠１７０で示す焦点検出用画素による信号データをそのまま用いて焦点検出処理を行う。
なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
また、上記の例では、信号データのうちの第４撮像条件の信号データに対して第１撮像条件により第２補正処理を行う例を説明したが、信号データのうちの第１撮像条件の信号データに対して第４撮像条件により第２補正処理を行ってもよい。
制御部３４のレンズ移動制御部３４ｄが、第１撮像条件の信号データに対して第２補正処理を行うか、第４撮像条件の信号データに対して第２補正処理を行うかを、例えば、ＩＳＯ感度に基づいて決定するようにしてもよい。第１撮像条件と第４撮像条件とでＩＳＯ感度が異なる場合、ＩＳＯ感度が高い方の撮像条件で得られた信号データが飽和していなければ、ＩＳＯ感度が低い方の撮像条件で得られた信号データに対して第２補正処理を行うことが望ましい。すなわち、第１撮像条件と第４撮像条件とでＩＳＯ感度が異なる場合、明るい方の信号データとの差を小さくするように暗い方の信号データを第２補正処理することが望ましい。
さらにまた、信号データのうちの第１撮像条件の信号データおよび第４撮像条件の信号データに対してそれぞれ第２補正処理を行うことにより、第２補正処理後の双方の信号データ間の差を小さくするようにしてもよい。
以上の説明では、瞳分割位相差方式を用いた焦点検出処理を例示したが、被写体像のコントラストの大小に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるコントラスト検出方式の場合も同様に行うことができる。
コントラスト検出方式を用いる場合、制御部３４は、撮像光学系３１のフォーカスレンズを移動させながら、フォーカスレンズのそれぞれの位置において、フォーカスポイントに対応する撮像素子３２ａの撮像用画素から出力された信号データに基づいて公知の焦点評価値演算を行う。そして、焦点評価値を最大にするフォーカスレンズの位置を合焦位置として求める。
制御部３４は、通常、第２補正処理を行わずにフォーカスポイントに対応する撮像用画素から出力された信号データをそのまま用いて焦点評価値演算を行う。しかしながら、フォーカスポイントに対応する信号データに、第１撮像条件が適用された信号データと第４撮像条件が適用された信号データが混在する場合には、制御部３４が、フォーカスポイントに対応する信号データのうちの第４撮像条件の信号データに対して、上述したような第２補正処理を行う。そして、制御部３４は、第２補正処理後の信号データを用いて焦点評価値演算を行う。このように、補正部３３ｂが第１補正処理、第２補正処理、及び補間処理を行うことにより、黒潰れ画素８５ｂ、８５ｄが生じた場合であっても、黒潰れを補正して焦点調節を行うことができる。そのため、黒潰れ画素８５ｂ、あるいは８５ｄがあっても、レンズの移動により焦点を調節することができる。
上記の例では、焦点調節処理を第２補正処理を行った後に行ったが、第２補正処理を行わず、第１補正処理により得られた画像データにより焦点調節を行ってもよい。
なお、上述したように、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定してもよいし、撮像素子３２ａの撮像面の一部の領域を処理用撮像領域として設定してもよい。撮像面の一部の領域を処理用撮像領域に設定する場合、設定部３４ｂは、少なくとも枠１７０を包含する範囲や、フォーカスポイントを包含する範囲に対応する領域や、撮像素子３２ａの撮像面の中央部付近を処理用撮像領域として設定する。
また、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定して撮像された処理用画像データから、枠１７０を包含する範囲や、フォーカスポイントを包含する範囲に対応する領域を抽出して、各処理用画像データを生成してもよい。
３．被写体検出処理を行う場合
図１６(a)は、検出しようとする対象物を表すテンプレート画像を例示する図であり、図１６(b)は、ライブビュー画像６０aおよび探索範囲１９０を例示する図である。制御部３４の物体検出部３４ａは、ライブビュー画像から対象物（例えば、図５の被写体要素の１つであるバッグ６３ａ）を検出する。制御部３４の物体検出部３４ａは、対象物を検出する範囲をライブビュー画像６０ａの全範囲としてもよいが、検出処理を軽くするために、ライブビュー画像６０ａの一部を探索範囲１９０としてもよい。
制御部３４の物体検出部３４ａは、分割した領域間で異なる撮像条件が設定されており、探索範囲１９０が分割された領域の境界を含む場合、探索範囲１９０内の少なくとも１つの領域の本画像データに対し、被写体検出処理の前処理として第２補正処理を行う。
第２補正処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、被写体要素の検出処理の精度低下を抑制するために行う。一般に、被写体要素の検出に用いる探索範囲１９０に、分割された領域の境界を含む場合、探索範囲１９０の画像データの中に異なる撮像条件が適用された本画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された本画像データをそのまま用いて被写体要素の検出を行うよりも、撮像条件の相違による本画像データ間の差異を抑えるように第２補正処理を施した本画像データを用いて被写体要素の検出を行う方が好ましいという考え方に基づき、以下のように第２補正処理を行う。
図６に例示したライブビュー画像６０ａにおいて、人物６１ａの持ち物であるバッグ６３ａを検出する場合を説明する。制御部３４の物体検出部３４ａは、人物６１ａを含む領域の近傍に探索範囲１９０を設定する。なお、人物６１ａを含む領域６１を探索範囲に設定してもよい。
制御部３４の物体検出部３４ａは、探索範囲１９０が撮像条件の異なる２つの領域によって分断されていない場合には、第２補正処理を行わずに探索範囲１９０を構成する本画像データをそのまま用いて被写体検出処理を行う。しかしながら、仮に、探索範囲１９０の画像データに、第１撮像条件が適用された本画像データと第４撮像条件が適用された本画像データが混在する場合には、制御部３４の物体検出部３４ａは、探索範囲１９０の本画像データのうちの第４撮像条件の本画像データに対して、焦点検出処理を行う場合として上述した（例１）〜（例３）のように第２補正処理を行う。そして、制御部３４の物体検出部３４ａは、第２補正処理後の本画像データを用いて被写体検出処理を行う。
なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
また、上記の例では、本画像データのうちの第４撮像条件の本画像データに対して第１撮像条件により第２補正処理を行う例を説明したが、本画像データのうちの第１撮像条件の本画像データに対して第４撮像条件により第２補正処理を行ってもよい。
上述した探索範囲１９０の本画像データに対する第２補正処理は、人物の顔のような特定被写体を検出するために用いる探索範囲や、撮像シーンの判定に用いる領域に対して適用してもよい。
また、上述した探索範囲１９０の本画像データに対する第２補正処理は、テンプレート画像を用いたパターンマッチング法に用いる探索範囲に限らず、画像の色やエッジなどに基づく特徴量を検出する際の探索範囲においても同様に適用してよい。
また、取得時刻が異なる複数フレームの本画像データを用いて公知のテンプレートマッチング処理を施すことにより、先に取得されたフレーム画像における追尾対象物と類似する領域を後から取得されたフレーム画像から探索する移動体の追尾処理に適用してもよい。この場合において、制御部３４は、後から取得されたフレーム画像に設定する探索範囲において、第１撮像条件が適用された本画像データと第４撮像条件が適用された本画像データが混在する場合には、探索範囲の本画像データのうちの第４撮像条件の本画像データに対して、上述した（例１）〜（例３）のように第２補正処理を行う。そして、制御部３４は、第２補正処理後の本画像データを用いて追尾処理を行う。
さらにまた、取得時刻が異なる複数フレームの本画像データを用いて公知の動きベクトルを検出する場合も同様である。制御部３４は、動きベクトルの検出に用いる検出領域において、第１撮像条件が適用された本画像データと第４撮像条件が適用された本画像データが混在する場合には、動きベクトルの検出に用いる検出領域の本画像データのうちの第４撮像条件の本画像データに対して、上述した（例１）〜（例３）のように第２補正処理を行う。そして、制御部３４は、第２補正処理後の本画像データを用いて動きベクトルを検出する。このように、補正部３３ｂが第１補正処理、第２補正処理、及び補間処理を行うことにより、黒潰れ画素８５ｂ、８５ｄが生じた場合であっても、黒潰れを補正して上記の被写体検出等を行うことができる。そのため、黒潰れ画素８５ｂ、あるいは８５ｄがあっても、被写体件検出を行うことができる。
上記の例では、被写体検出処理を第２補正処理を行った後に行ったが、第２補正処理を行わず、第１補正処理により得られた画像データにより被写体検出を行ってもよい。
なお、上述したように、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定してもよいし、撮像素子３２ａの撮像面の一部の領域を処理用撮像領域として設定してもよい。撮像面の一部の領域を処理用撮像領域に設定する場合、設定部３４ｂは、少なくとも探索範囲１９０を包含する範囲や、動きベクトルの検出に用いる検出範囲を包含する範囲に対応する領域や、撮像素子３２ａの撮像面の中央部付近を、処理用撮像領域として設定する。
また、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定して撮像された処理用画像データから、探索範囲１９０を包含する範囲や、動きベクトルの検出に用いる検出範囲を包含する範囲を抽出して、各処理用画像データを生成してもよい。
４．撮像条件を設定する場合
制御部３４の設定部３４ｂは、撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合、少なくとも１つの領域の本画像データに対し、露出条件を設定する前処理として第２補正処理を行う。
第２補正処理は、設定部３４ｂが分割した撮像画面の領域間で撮像条件が異なることに起因して、露出条件を決定する処理の精度低下を抑制するために行う。例えば、撮像画面の中央部に設定された測光範囲に、分割された領域の境界を含む場合、測光範囲の本画像データの中に異なる撮像条件が適用された本画像データが混在する場合がある。本実施の形態では、異なる撮像条件が適用された本画像データをそのまま用いて露出演算処理を行うよりも、撮像条件の相違による本画像データ間の差異を抑えるように第２補正処理を施した本画像データを用いて露出演算処理を行う方が好ましいという考え方に基づき、以下のように第２補正処理を行う。
制御部３４の設定部３４ｂは、測光範囲が撮像条件の異なる複数の領域によって分断されていない場合には、第２補正処理を行わずに測光範囲を構成する本画像データをそのまま用いて露出演算処理を行う。しかしながら、仮に、測光範囲の本画像データに、第１撮像条件が適用された本画像データと第４撮像条件が適用された本画像データが混在する場合には、制御部３４の設定部３４ｂは、測光範囲の本画像データのうちの第４撮像条件の画像データに対して、焦点検出処理や被写体検出処理を行う場合として上述した（例１）〜（例３）のように第２補正処理を行う。そして、制御部３４の設定部３４ｂは、第２補正処理後の本画像データを用いて露出演算処理を行う。
なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
また、上記の例では、本画像データのうちの第４撮像条件の本画像データに対して第１撮像条件により第２補正処理を行う例を説明したが、本画像データのうちの第１撮像条件の本画像データに対して第４撮像条件により第２補正処理を行ってもよい。
上述した露出演算処理を行う際の測光範囲に限らず、ホワイトバランス調整値を決定する際に行う測光（測色）範囲や、撮影補助光を発する光源による撮影補助光の発光要否を決定する際に行う測光範囲、さらには、上記光源による撮影補助光の発光量を決定する際に行う測光範囲においても同様である。
また、撮像画面を分割した領域間で、光電変換信号の読み出し解像度を異ならせる場合において、領域ごとの読み出し解像度を決定する際に行う撮像シーンの判定に用いる領域に対しても同様に扱うことができる。このように、補正部３３ｂが第１補正処理、第２補正処理、及び補間処理を行うことにより、黒潰れ画素８５ｂ、８５ｄが生じた場合であっても、黒潰れを補正して撮影条件の設定を行うことができる。そのため、黒潰れ画素８５ｂ、あるいは８５ｄがあっても、撮影条件を設定することができる。
上記の例では、撮影条件の設定を第２補正処理を行った後に行ったが、第２補正処理を行わず、第１補正処理により得られた画像データにより撮影条件の設定を行ってもよい。
なお、上述したように、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定してもよいし、撮像素子３２ａの撮像面の一部の領域を処理用撮像領域として設定してもよい。撮像面の一部の領域を処理用撮像領域に設定する場合、設定部３４ｂは、少なくとも測光範囲を包含する範囲に対応する領域や、撮像素子３２ａの撮像面の中央部付近を、処理用撮像領域として設定する。
また、設定部３４ｂは、撮像素子３２ａの撮像面の全領域を処理用撮像領域として設定して撮像された処理用画像データから、測光範囲を包含する範囲する範囲を抽出して、処理用画像データを生成してもよい。
上述した第１補正処理の際に使用される処理用画像データを生成するタイミングについて説明する。以下、画像処理に用いる処理用画像データを生成するタイミングと、焦点検出処理、被写体検出処理および撮像条件設定処理（以下、検出・設定処理と呼ぶ）に用いる処理用画像データを生成するタイミングとに分けて、説明を行う。
＜画像処理に用いる処理用画像データの生成＞
撮像制御部３４ｃは、本画像データを撮像させるタイミングとは異なるタイミングにて、撮像部３２に処理用画像データを撮像させる。本実施の形態では、撮像制御部３４ｃは、ライブビュー画像の表示の際、または、操作部材３６の操作の際に撮像部３２に処理用画像データを撮像させる。さらに、撮像制御部３４ｃは、撮像部３２に処理用画像データの撮像を指示する際に、設定部３４ｂによって処理用画像データに設定される撮像条件についての情報を出力する。以下、ライブビュー画像の表示の際の処理用画像データの撮像と、操作部材３６の操作のときの処理用画像データの撮像とに分けて説明を行う。
（１）ライブビュー画像の表示時
撮像制御部３４ｃは、ユーザーによりライブビュー画像の表示開始を指示する操作が行われた後、撮像部３２に処理用画像データの撮像を行わせる。この場合、撮像制御部３４ｃは、ライブビュー画像の表示中に、所定の周期ごとに、撮像部３２に処理用画像データを撮像させる。例えば、撮像制御部３４ｃは、ライブビュー画像のフレームレートのうち、例えば偶数フレームを撮像させるタイミングや、１０フレームのライブビュー画像を撮像した次のタイミングでは、ライブビュー画像の撮像の指示に代えて、処理用画像データの撮像を指示する信号を撮像部３２に出力する。このとき、撮像制御部３４ｃは、撮像部３２に、設定部３４ｂにより設定された撮像条件にて処理用画像データを撮像させる。
図１７を参照して、ライブビュー画像のための画像データの撮像のタイミングと、処理用画像データの撮像のタイミングとの関係について例示する。図１７(a)は、ライブビュー画像の撮像と、処理用画像データの撮像とを１フレームおきに交互に行う場合を示す。
なお、ユーザーの操作により、第１領域６１〜第３領域６３（図７(a)）に対してそれぞれ第１撮像条件〜第３撮像条件が設定されているものとする。このとき、本画像データの第１領域６１〜第３領域６３のそれぞれに対する処理に用いるため、第１撮像条件が設定された第１処理用画像データＤ１と、第２撮像条件が設定された第２処理用画像データＤ２と、第３撮像条件が設定された第３処理用画像データＤ３とが撮像される。
撮像制御部３４ｃは、撮像部３２に第Ｎフレームのライブビュー画像ＬＶ１の撮像を指示し、制御部３４は、撮像により得られたライブビュー画像ＬＶ１を表示部３５に表示させる。第(Ｎ＋１)フレームの撮像のタイミングにおいては、撮像制御部３４ｃは、撮像部３２に第１撮像条件を適用した第１処理用画像データＤ１の撮像を指示する。撮像制御部３４ｃは、撮像された第１処理用画像データＤ１を、例えば記録部３７によって所定の記録媒体（不図示）に記録する。この場合、制御部３４は、第(Ｎ＋１)フレームのライブビュー画像として、第Ｎフレームの撮像のタイミングで撮像されたライブビュー画像ＬＶ１を表示部３５に表示させる。すなわち、前フレームのライブビュー画像ＬＶ１の表示を継続させる。
第(Ｎ＋２)フレームのライブビュー画像ＬＶ２の撮像のタイミングでは、撮像制御部３４ｃは、撮像部３２に第(Ｎ＋２)フレームのライブビュー画像ＬＶ２の撮像を指示する。制御部３４は、表示部３５のライブビュー画像ＬＶ１の表示から、第(Ｎ＋２)フレームの撮像により得られたライブビュー画像ＬＶ２の表示に切り替える。第(Ｎ＋３)フレームの撮像のタイミングにおいては、撮像制御部３４ｃは、撮像部３２に第２撮像条件を適用した第２処理用画像データＤ２を撮像させ、撮像された第２処理用画像データＤ２を記録する。この場合も、制御部３４は、第(Ｎ＋３)フレームのライブビュー画像として、第(Ｎ＋２)フレームの撮像のタイミングで撮像されたライブビュー画像ＬＶ２の表示部３５への表示を継続させる。
第(Ｎ＋４)フレームでは、第Ｎフレーム、第(Ｎ＋２)フレームの場合と同様に、撮像制御部３４ｃは、撮像部３２にライブビュー画像ＬＶ３を撮像させ、制御部３４は、撮像されたライブビュー画像ＬＶ３を表示部３５に表示させる。第(Ｎ＋５)フレームでは、撮像制御部３４ｃは、撮像部３２に第３撮像条件が適用された第３処理用画像データＤ３の撮像を行わせる。このとき制御部３４は、上記と同様に、第(Ｎ＋４)フレームでのライブビュー画像ＬＶ３の表示を表示部３５上で継続させる。以後のフレームでは、制御部３４は、第Ｎフレーム〜第(Ｎ＋５)フレームでの処理を繰り返し行わせる。
設定部３４ｂが、物体検出部３４ａの検出結果やレンズ移動制御部３４ｄの演算結果に基づいて撮像条件を変更する場合には、撮像制御部３４ｃは、処理用画像データを撮像させるタイミング（図１７(a)の第(Ｎ＋１)、(Ｎ＋３)、(Ｎ＋５)フレーム）で新たに設定された撮像条件を適用させて、撮像部３２に撮像を行わせればよい。
なお、撮像制御部３４ｃは、ライブビュー画像の表示を開始する前に処理用画像データを撮像部３２に撮像させてもよい。例えば、ユーザーによりカメラ１が電源オン操作されたタイミングや、ライブビュー画像の表示開始を指示する操作が行われた場合に、撮像部３２に処理用画像データの撮像を指示する信号を出力する。撮像制御部３４ｃは、第１処理用画像データ〜第３処理用画像データの撮像が終了すると、ライブビュー画像の撮像を撮像部３２に指示する。
例えば、図１７(b)に示すように、撮像制御部３４ｃは、第１フレーム〜第３フレームを撮像するタイミングにて、第１撮像条件の第１処理用画像データＤ１、第２撮像条件の第２処理用画像データＤ２、第３撮像条件の第３処理用画像データＤ３をそれぞれ撮像させる。第４フレーム以降、撮像制御部３４ｃは、ライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３、…を撮像させ、制御部３４は表示部３５にライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３、…を順次表示させる。
また、撮像制御部３４ｃは、ライブビュー画像の表示中にユーザーがライブビュー画像の表示を終了する操作を行ったタイミングで、撮像部３２に処理用画像データを撮像させてもよい。すなわち、操作部材３６からライブビュー画像の表示の終了を指示する操作に対応する操作信号が入力されると、撮像制御部３４ｃが、撮像部３２にライブビュー画像の撮像終了を指示する信号を出力する。撮像部３２がライブビュー画像の撮像を終了すると、撮像制御部３２ｃは、処理用画像データの撮像を指示する信号を撮像部３２に出力する。
例えば、図１７(c)に示すように、第Ｎフレームでライブビュー画像の表示を終了する操作が行われた場合、撮像制御部３４ｃは、第（Ｎ＋１）フレーム〜第（Ｎ＋３）フレームにて第１撮像条件の第１処理用画像データＤ１、第２撮像条件の第２処理用画像データＤ２、第３撮像条件の第３処理用画像データＤ３をそれぞれ撮像させる。この場合、制御部３４は、第(Ｎ＋１)〜第(Ｎ＋３)フレームの期間中、第Ｎフレームで撮像されたライブビュー画像ＬＶ１を表示部３５に表示させてもよいし、ライブビュー画像の表示を行わなくてもよい。
また、撮像制御部３４ｃは、ライブビュー画像の全てのフレームについて、処理用画像データを撮像させてもよい。この場合、設定部３４ｂは、各フレームごとに異なる撮像条件を撮像素子３２ａの撮像面の全領域に設定する。制御部３４は、生成された処理用画像データをライブビュー画像として表示部３５に表示する。
さらにまた、撮像制御部３４ｃは、ライブビュー画像を表示中に、撮像中の画像の構図に変化が生じた場合に、処理用画像データを撮像させてもよい。例えば、制御部３４の設定部３４ｂがライブビュー画像に基づいて検出した被写体要素の位置が、前フレームで検出された被写体要素の位置と比較して所定の距離以上ずれている場合に、撮像制御部３４ｃは、処理用画像データの撮像を指示すればよい。
（２）操作部材３６の操作
処理用画像データを撮像させるための操作部材３６の操作としては、例えば、ユーザーによるレリーズボタンの半押し、すなわち撮像の準備を指示する操作や、レリーズボタンの全押し操作、すなわち本撮像を指示する操作などが挙げられる。
（２−１）レリーズボタンの半押し
ユーザーによるレリーズボタンの半押し操作、すなわち撮像の準備を指示する操作が行われると、操作部材３６から半押し操作信号が出力される。この半押し操作信号は、ユーザーによりレリーズボタンが半押し操作されている期間中、操作部材３６から出力される。制御部３４の撮像制御部３４ｃは、撮像の準備を指示する操作の開始に対応する上記半押し操作信号を操作部材３６から入力すると、撮像部３２に処理用画像データの撮像を指示する信号を出力する。すなわち、ユーザーによる撮像の準備を指示する操作の開始に応じて、撮像部３２が処理用画像データを撮像する。
なお、撮像制御部３４ｃは、ユーザーによるレリーズボタンの半押し操作が終了したタイミング、例えば、半押し操作から全押し操作へ移行したことによって終了したタイミングで、撮像部３２に処理用画像データを撮像させてもよい。すなわち、操作部材３６から撮像の準備を指示する操作に対応する操作信号が入力されなくなったタイミングにて、撮像制御部３４ｃが撮像を指示する信号を撮像部３２に出力してもよい。
また、撮像制御部３４ｃは、ユーザーによりレリーズボタンの半押し操作が行われている間、撮像部３２に処理用画像データを撮像させてもよい。この場合、撮像制御部３４ｃは、所定の周期ごとに撮像を指示する信号を撮像部３２に出力することができる。これにより、ユーザーによりレリーズボタンの半押し操作が行われている間は、処理用画像データを撮像することができる。または、撮像制御部３４ｃは、ライブビュー画像を撮像するタイミングに合わせて撮像を指示する信号を撮像部３２に出力してもよい。この場合、撮像制御部３４ｃは、ライブビュー画像のフレームレートのうち、例えば偶数フレームを撮像させるタイミングや、１０フレームのライブビュー画像を撮像した次のタイミングにて、処理用画像データの撮像を指示する信号を撮像部３２に出力すればよい。
なお、ライブビュー画像の表示中に処理用画像データが撮像されている場合には、レリーズボタンの半押し操作に基づいた処理用画像データの撮像を行わなくてもよい。
（２−２）レリーズボタンの全押し操作
ユーザーによりレリーズボタンの全押し操作、すなわち本撮像を指示する操作が行われると、操作部材３６から全押し操作信号が出力される。制御部３４の撮像制御部３４ｃは、本撮像を指示する操作に対応する全押し操作信号を操作部材３６から入力すると、撮像部３２に本撮像を指示する信号を出力する。本撮像により本画像データの撮像が行われた後、撮像制御部３４ｃは、処理用画像データの撮像を指示する信号を出力する。すなわち、ユーザーにより撮像を指示する全押し操作が行われた後、撮像部３２は、本撮像による本画像データの撮像を行ってから、処理用画像データを撮像する。
なお、撮像制御部３４ｃは、撮像部３２に本画像データを撮像する前に処理用画像データを撮像させてもよい。撮像制御部３４ｃは、本画像データを撮像する前に取得した処理用画像データを、例えば記録部３７によって記録媒体（不図示）に記録しておく。これにより、本画像データを撮像した後で、記録しておいた処理用画像データを、本画像データの生成のために用いることができる。
また、ライブビュー画像の表示中に処理用画像データが撮像されている場合には、レリーズボタンの半押し操作に基づいた処理用画像データの撮像を行わなくてもよい。
なお、処理用画像データを撮像するための操作部材３６の操作は、レリーズボタンの半押し操作や全押し操作に限定されない。例えば、レリーズボタンの操作以外の撮像に関連する操作がユーザーにより行われた場合に、撮像制御部３４ｃが処理用画像データの撮像を指示してもよい。撮像に関連する操作としては、例えば、撮像倍率を変更する操作、絞りを変更する操作、焦点調節に関する操作（例えばフォーカスポイントの選択）等がある。変更の操作が終了し、変更操作に基づく新たな設定が確定すると、撮像制御部３４ｃは、撮像部３２に処理用画像データを撮像させる。これにより、新たな設定の下で本撮像を行う場合であっても、本撮像と同様な条件で撮像された処理用画像データを生成できる。
なお、撮像制御部３４ｃは、メニュー画面上でメニュー操作が行われている場合に、処理用画像データを撮像させてもよい。メニュー画面から撮像に関連する操作が行われている場合、本撮像のために新たな設定が行われる可能性が高いからである。この場合、メニュー画面が開かれている期間中、撮像部３２は処理用画像データの撮像を行う。処理用画像データの撮像は、所定の周期ごとに行わせてもよいし、ライブビュー画像を撮像する際のフレームレートにて撮像させてもよい。
撮像に関連しない操作、例えば、画像を再生表示するための操作や、再生表示中の操作や、時計合わせのための操作が行われている場合には、撮像制御部３４ｃは、処理用画像データの撮像を指示する信号を出力しない。すなわち、撮像制御部３４ｃは、撮像部３２に処理用画像データの撮像を行わせない。これにより、本撮像のための新たな設定が行われる可能性が低い、もしくは本撮像が行われる可能性が低い場合に、処理用画像データを撮像しないようにすることができる。
また、操作部材３６が処理用画像データの撮像を指示するための専用ボタンを有する場合には、撮像制御部３４ｃは、ユーザーにより専用ボタンが操作されると、撮像部３２に処理用画像データの撮像を指示する。操作部材３６が、ユーザーによって専用ボタンが操作されている間は操作信号を出力し続ける構成を有する場合には、撮像制御部３４ｃは、専用ボタンの操作が行われている期間中、所定の周期ごとに撮像部３２に処理用画像データを撮像させてもよいし、専用ボタンの操作が終了された時点で処理用画像データを撮像させてもよい。これにより、ユーザーが所望するタイミングで、処理用画像データを撮像させることができる。
また、カメラ１が電源オン操作された場合に、撮像制御部３４ｃが撮像部３２に処理用画像データの撮像を指示してもよい。
本実施の形態のカメラ１では、例示した各方式の全てを適用して処理用画像データを撮像してもよいし、少なくとも１つの方式を適用して処理用画像データを撮像してもよいし、各方式のうちのユーザーにより選択された方式を適用して処理用画像データを撮像してもよい。ユーザーによる選択は、例えば、表示部３５に表示されたメニュー画面上のメニュー操作によって行うようにしてもよい。
＜検出・設定処理に用いる処理用画像データの生成＞
撮像制御部３４ｃは、上述した画像処理に用いる処理用画像データを生成するタイミングと同様の各種のタイミングにて、検出・設定処理に用いる処理用画像データを撮像させる。すなわち、同じ処理用画像データを、検出・設定処理に用いる処理用画像データとして用いることができ、さらに、画像処理に用いる処理用画像データとして用いることができる。以下、画像処理に用いる処理用画像データを生成するタイミングとは異なるタイミングにて、検出・設定処理に用いる処理用画像データを生成する場合を説明する。
ユーザーによりレリーズボタンの全押し操作が行われた場合には、撮像制御部３４ｃは、撮像部３２に本画像データの撮像を行わせる前に、処理用画像データの撮像を行わせる。この場合、本撮像の直前に撮像された最新の処理用画像データを用いて検出した結果や、本撮像の直前に撮像された最新の処理用画像データを用いて設定した結果を、本撮像に反映させることができる。
撮像制御部３４ｃは、撮像に関連しない操作、例えば画像を再生表示するための操作や再生表示中の操作や時計合わせのための操作が行われている場合であっても、処理用画像データを撮像させる。この場合、撮像制御部３４ｃは、１フレームの処理用画像データを生成させてもよいし、複数フレームの処理用画像データを生成させてもよい。
なお、以上の説明では、処理用画像データを、画像処理、焦点検出処理、被写体検出処理および露出などの撮像条件設定処理に用いる場合を例に挙げたが、全ての処理に処理用画像データを用いる場合に限定されない。すなわち、画像処理、焦点検出処理、被写体検出処理および撮像条件設定処理のうち少なくとも１つの処理に用いられるものは、本実施の形態に含まれる。処理用画像データを何れの処理に用いるかは、ユーザーが表示部３５に表示されるメニュー画面から選択、決定可能に構成されていればよい。
また、撮像素子３２ａとは別に設けられている測光センサ３８からの出力信号に基づいて、上述した処理用画像データを生成してもよい。
＜フローチャートの説明＞
図１８は、領域ごとに撮像条件を設定して撮像する処理の流れを説明するフローチャートである。カメラ１のメインスイッチがオン操作されると、制御部３４は、図１８に示す処理を実行するプログラムを起動させる。ステップＳ１０において、制御部３４は、表示部３５にライブビュー表示を開始させて、ステップＳ２０へ進む。
具体的には、制御部３４が撮像部３２へライブビュー画像の取得開始を指示し、取得されたライブビュー画像を逐次表示部３５に表示させる。上述したように、この時点では撮像チップ１１１の全域、すなわち画面の全体に同一の撮像条件が設定されている。
なお、ライブビュー表示中にＡＦ動作を行う設定がなされている場合、制御部３４のレンズ移動制御部３４ｄは、焦点検出処理を行うことにより、所定のフォーカスポイントに対応する被写体要素にフォーカスを合わせるＡＦ動作を制御する。レンズ移動制御部３４ｄは、必要に応じて、上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理が行われてから焦点検出処理を行う。
また、ライブビュー表示中にＡＦ動作を行う設定がなされていない場合、制御部３４のレンズ移動制御部３４ｄは、後にＡＦ動作が指示された時点でＡＦ動作を行う。
ステップＳ２０において、制御部３４の物体検出部３４ａは、ライブビュー画像から被写体要素を検出してステップＳ３０へ進む。物体検出部３４ａは、必要に応じて、上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理が行われてから被写体検出処理を行う。ステップＳ３０において、制御部３４の設定部３４ｂは、ライブビュー画像の画面を、被写体要素を含む領域に分割してステップＳ４０へ進む。
ステップＳ４０において、制御部３４は表示部３５に領域の表示を行う。制御部３４は、図６に例示したように、分割された領域のうちの撮像条件の設定（変更）の対象となる領域を強調表示させる。また、制御部３４は、撮像条件の設定画面７０を表示部３５に表示させてステップＳ５０へ進む。
なお、制御部３４は、ユーザーの指で表示画面上の他の主要被写体の表示位置がタップ操作された場合は、その主要被写体を含む領域を撮像条件の設定（変更）の対象となる領域に変更して強調表示させる。
ステップＳ５０において、制御部３４は、ＡＦ動作が必要か否かを判定する。制御部３４は、例えば、被写体が動いたことによって焦点調節状態が変化した場合や、ユーザー操作によってフォーカスポイントの位置が変更された場合、または、ユーザー操作によってＡＦ動作の実行が指示された場合に、ステップＳ５０を肯定判定してステップＳ７０へ進む。制御部３４は、焦点調節状態が変化せず、ユーザー操作によりフォーカスポイントの位置が変更されず、ユーザー操作によってＡＦ動作の実行も指示されない場合には、ステップＳ５０を否定判定してステップ６０へ進む。
ステップＳ７０において、制御部３４は、ＡＦ動作を行わせてステップＳ４０へ戻る。レンズ移動制御部３４ｄは、必要に応じて、上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理が行われてからＡＦ動作である焦点検出処理を行う。ステップＳ４０へ戻った制御部３４は、ＡＦ動作後に取得されるライブビュー画像に基づき、上述した処理と同様の処理を繰り返す。
ステップＳ６０において、制御部３４の設定部３４ｂは、ユーザー操作に応じて、強調して表示されている領域に対する撮像条件を設定してステップＳ８０へ進む。なお、ステップＳ６０におけるユーザー操作に応じた表示部３５の表示遷移や撮像条件の設定については、上述したとおりである。制御部３４の設定部３４ｂは、必要に応じて、上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理が行われてから露出演算処理を行う。
ステップＳ８０において、制御部３４は、ライブビュー画像の表示中に処理用画像データを取得するか否か判定する。制御部３４は、ライブビュー画像の表示中に処理用画像データの撮像を行う設定がされている場合には、ステップＳ８０を肯定判定してステップＳ９０へ進む。制御部３４は、ライブビュー画像の表示中に処理用画像データの撮像を行う設定がされていない場合には、ステップＳ８０を否定判定して後述するステップＳ１００へ進む。
ステップＳ９０において、制御部３４の撮像制御部３４ｃは、撮像部３２にライブビュー画像の撮像中に、所定の周期にて、設定された撮像条件ごとに処理用画像データの撮像を行うように指示してステップＳ１００へ進む。なお、このとき撮像された処理用画像データは、例えば記録部３７によって記憶媒体（不図示）に記憶される。これにより、記録しておいた処理用画像データを、後から用いることができる。ステップＳ１００では、制御部３４は、レリーズ操作の有無を判定する。制御部３４は、操作部材３６を構成するレリーズボタン、または撮像を指示する表示アイコンが操作された場合、ステップＳ１００を肯定判定してステップＳ１１０へ進む。制御部３４は、レリーズ操作が行われない場合には、ステップＳ１００を否定判定してステップＳ６０へ戻る。
ステップＳ１１０において、制御部３４は、処理用画像データと本画像データとの撮像処理を行う。すなわち、撮像制御部３４ｃは、ステップＳ６０にて設定された異なる撮像条件ごとに処理用画像データを撮像させるとともに、ステップＳ６０において上記領域ごとに設定された撮像条件で本撮像するように撮像素子３２ａを制御して本画像データを取得し、ステップＳ１２０へ進む。なお、検出・設定処理に用いる処理用画像データを撮像する場合には、本画像データの撮像の前に処理用画像データの撮像を行う。また、ステップＳ９０にて処理用画像データが撮像されている場合には、ステップＳ１１０で処理用画像データの撮像を行わなくてもよい。
ステップＳ１２０において、制御部３４の撮像制御部３４ｃは画像処理部３３へ指示を送り、上記撮像によって得られた本画像データに対して、ステップＳ９０またはステップＳ１１０にて取得した処理用画像データを用いて所定の画像処理を行わせてステップＳ１３０へ進む。画像処理は、上記画素欠陥補正処理、色補間処理、輪郭強調処理、ノイズ低減処理を含む。
なお、画像処理部３３の補正部３３ｂは、必要に応じて、領域の境界部に位置する本画像データに対して、上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行ってから画像処理を行う。
ステップＳ１３０において、制御部３４は記録部３７へ指示を送り、画像処理後の画像データを不図示の記録媒体に記録させてステップＳ１４０へ進む。
ステップＳ１４０において、制御部３４は、終了操作が行われたか否かを判断する。制御部３４は、終了操作が行われた場合にステップＳ１４０を肯定判定して図１８による処理を終了する。制御部３４は、終了操作が行われない場合には、ステップＳ１４０を否定判定してステップＳ２０へ戻る。ステップＳ２０へ戻った場合、制御部３４は、上述した処理を繰り返す。
なお、上述した例は、ステップＳ６０で設定した撮像条件で本撮像を行い、本画像データに対してステップＳ９０またはＳ１１０で取得した処理用画像データを用いて処理を行うものであった。しかし、ライブビュー画像の撮像の際に各領域に異なる撮像条件を設定する場合には、焦点検出処理、被写体検出処理や撮像条件設定処理は、ステップＳ９０にてライブビュー画像の表示中に得られた処理用画像データに基づいて処理を行ってよい。
以上の説明では、撮像素子３２ａとして積層型の撮像素子１００を例示したが、撮像素子（撮像チップ１１１）における複数のブロックごとに撮像条件を設定可能であれば、必ずしも積層型の撮像素子として構成する必要はない。
以上説明した第１の実施の形態によれば、次の作用効果が得られる。
（１）第１領域６１で撮像された本画像データに、第１領域６１に設定した第１撮像条件に起因する不適切な本画像データが生じた場合には、第１領域６１の撮像条件とは異なる第４撮像条件によって撮像された処理用画像データを用いて、適切に本画像データを生成することができる。具体的には、図７(b)のブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における画像の明暗、コントラスト、色合い等の相違などの画像の不連続性や違和感を抑制する本画像データを生成することができる。
（２）第１領域６１で撮像された本画像データに、第１領域６１に設定した第１撮像条件に起因する不適切な本画像データが生じた場合には、第１領域６１の撮像条件とは異なる第４撮像条件によって撮像された処理用画像データを用いて、適切に本画像データを生成することができる。具体的には、図７(b)のブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における画像の明暗、コントラスト、色合い等の相違などの画像の不連続性や違和感を抑制する本画像データを生成することができる。
（３）第１領域６１で撮像された本画像データに、第１領域６１に設定した第１撮像条件に起因する不適切な本画像データが生じた場合には、本画像データとは異なる処理用画像データを用いて、適切に本画像データを生成することができる。
（４）本画像の注目ブロックに対応する位置、すなわち処理用画像の注目ブロックの処理用画像データを用いることで、適切に本画像データを生成することができる。
（５）本撮像の後に処理用画像データを取得することで、シャッターチャンスを逃さずに本画像データを取得することができる。そして、本撮像の後に取得した処理用画像データによって、適切に本画像データを生成することができる。
（６）撮像部３２と異なる測光センサ３８を用いることで、撮像部３２によって本画像データを取得しながら、測光センサ３８によって処理用画像データを取得することができる。
（７）処理用画像データを記憶させておくことで、本画像データを撮像する前に取得した処理用画像データを、後から取得する本画像データの生成に用いることができる。
（８）第１領域６１の面積よりも大きい第４領域６４で撮像された被写体の画像データに基づいて第１領域６１で撮像された被写体の画像データを生成するので、適切に画像データを生成することができる。
（９）本画像の注目ブロックで取得された画像データを処理用画像の一部分であるブロック（注目ブロックまたは参照ブロック）で取得された画像データを用いて置換するにあたって、たとえば本画像の注目ブロックに含まれる複数の画素に対応する複数の画像データを同数またはそれ以下の数の画像データを用いて置換することで、置換処理における演算負荷を抑制できる。
（１０）、本画像の注目ブロックで取得された画像データを処理用画像の画像データを用いて置換するにあたって、注目ブロックに含まれる置換対象となる画素により近い画素からの画像データを用いて置換する。これにより、適切に画像データを生成することができる。
（１１）撮像条件が異なる領域で、それぞれ適切に処理を行うことができる。すなわち、各領域でそれぞれ生成された画像データによる画像を適切に生成することができる。
（１２）信号処理チップ１１２は、撮像チップ１１１及びメモリチップ１１３の間に配置されている。これにより、撮像素子１００におけるデータの流れに対応して各チップが積層されるので、効率的にチップ同士を電気的に接続できる。
（１３）本画像の第１領域６１で撮像された像の信号データに、第１領域６１に設定した第１撮像条件に起因する不適切な信号データが生じた場合には、第１領域６１の撮像条件とは異なる第４撮像条件によって撮像された処理用画像の信号データを用いて、適切にフォーカス合わせを行うことができる。具体的には、図７(b)のブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における像の明暗、コントラスト等の相違などの像の不連続性を抑制した本画像の信号データを生成することができる。この結果、ブロックごとの撮像条件の違いによって焦点検出精度が低下することを抑制できるから、適切なフォーカス合わせが可能になる。
（１４）本画像の第１領域６１で撮像された像の信号データに、第１領域６１に設定した第１撮像条件に起因する不適切な信号データが生じた場合には、第１領域６１の撮像条件とは異なる第４撮像条件によって撮像された処理用画像の信号データを用いて、適切に本画像の信号データを生成することができる。具体的には、図７(b)のブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における像の明暗、コントラスト等の相違などの像の不連続性を抑制した本画像の信号データを生成することができる。この結果、ブロックごとの撮像条件の違いによって焦点検出精度が低下することを抑制できるから、適切なフォーカス合わせが可能になる。
（１５）本画像の第１領域６１で撮像された像の信号データに、第１領域６１に設定した第１撮像条件に起因する不適切な信号データが生じた場合には、本画像とは異なるタイミングで撮像された処理用画像の信号データを用いて、適切にフォーカス合わせを行うことができる。
（１６）本画像の第１領域６１で撮像された像の信号データに、第１領域６１に設定した第１撮像条件に起因する不適切な信号データが生じた場合には、本画像とは異なるタイミングで撮像された処理用画像の信号データを用いて、適切に本画像の信号データを生成することができる。この結果、ブロックごとの撮像条件の違いによって焦点検出精度が低下することを抑制できるから、適切なフォーカス合わせが可能になる。
（１７）本撮像の前に処理用画像の信号データを取得することで、本画像データの撮像の際に、処理用画像の信号データを参照して適切なフォーカス合わせが可能になる。
（１８）撮像部３２と異なる測光センサ３８を用いることで、撮像部３２で本画像データを取得しながら測光センサ３８で処理用画像を取得できるため、適切にフォーカス合わせすることができる。
（１９）処理用画像の信号データを記憶させておくことで、本画像データを撮像する前に取得した処理用画像の信号データを、本画像データを撮像する際の焦点調節に用いることができる。
（２０）第１領域６１の面積よりも大きい第４領域６４で撮像された像の信号データに基づいて、適切に信号データを生成することができる。したがって、適切なフォーカス合わせが可能になる。
（２１）適切な信号データを生成するにあたって、たとえば注目ブロックに含まれる複数の画素に対応する複数の像の信号データを同数またはそれ以下の数の像の信号データを用いて置換することで、置換処理における演算負荷を抑制できる。
（２２）第１領域６１で撮像された本画像データに、第１領域６１に設定した第１撮像条件に起因する不適切な本画像データが生じた場合には、第１領域６１の撮像条件とは異なる撮像条件によって撮像された処理用画像データを用いて、適切に本画像データを生成することができる。具体的には、図７(b)のブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における画像の明暗、コントラスト、色合い等の相違などの像の不連続性を抑制した本画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって被写体要素の検出精度が低下することを抑制できる。
（２３）本撮像の前に処理用画像データを取得しておくことで、本画像データの撮像の際に、処理用画像データを参照することで被写体要素の検出精度が低下することを抑制できる。
（２４）本撮像の後に処理用画像データを取得することで、シャッターチャンスを逃さずに本画像データを取得することができる。そして、本撮像の後に取得した処理用画像データによって、適切に被写体要素を検出できる。
（２５）撮像部３２と異なる測光センサ３８を用いることで、撮像部３２で本画像データを取得しながら測光センサ３８で処理用画像を取得できるため、適切に被写体要素を検出することができる。
（２６）撮像部３２と異なる測光センサ３８から得られた処理用画像の信号データを参照することで、被写体要素の検出精度が低下することを抑制できる。
（２７）処理用画像データを記憶させておくことで、本画像データを撮像する前に取得した処理用画像データを、本画像データを撮像する際の被写体要素の検出に用いることができる。
（２８）第１領域６１で撮像された本画像データの一部（ブロック）に不適切な本画像データが生じた場合には、第１領域６１または第４領域６４で撮像された処理用画像データを用いて、適切に本画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって被写体要素の検出精度が低下することを抑制できる。
（２９）第１領域６１の面積よりも大きい第４領域６４で撮像された処理用画像データに基づいて、適切に本画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって被写体要素の検出精度が低下することを抑制できる。
（３０）本画像の注目ブロックで取得された画像データを処理用画像の一部分であるブロック（注目ブロックまたは参照ブロック）で取得された画像データを用いて置換するにあたって、たとえば本画像の注目ブロックに含まれる複数の画素に対応する複数の画像データを同数またはそれ以下の数の画像データを用いて置換することで、置換処理における演算負荷を抑制できる。
（３１）第１領域６１で撮像された本画像データの一部（ブロック）に不適切な本画像データが生じた場合には、第１領域６１または第４領域６４で撮像された処理用画像データの一部（ブロック）を用いて、適切に本画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって被写体要素の検出精度が低下することを抑制できる。
（３２）第１領域６１で撮像された本画像データに、第１領域６１に設定した第１撮像条件に起因する不適切な本画像データが生じた場合には、第１領域６１の撮像条件とは異なる撮像条件によって撮像された処理用画像データを用いて、適切に本画像データを生成することができる。具体的には、図７(b)のブロック８２、ブロック８５、およびブロック８７の斜線部と、ブロック８３、８６、８８、および８９の網掛け部との間における画像の明暗、コントラスト、色合い等の相違などの像の不連続性を抑制した本画像データを生成することができる。この結果、ブロックごとの撮像条件の違いによって露出条件の設定精度が低下することを抑制できる。
（３３）本撮像の前に処理用画像データを取得しておくことで、本画像データの撮像の際に、処理用画像データを参照することで露出条件の設定精度が低下することを抑制できる。
（３４）撮像部３２と異なる測光センサ３８を用いることで、撮像部３２で本画像データを取得する際に測光センサ３８で処理用画像を取得できるため、適切に露出条件を設定することができる。
（３５）処理用画像データを記憶させておくことで、本画像データを撮像する前に取得した処理用画像データを、本画像データを撮像する際の露出条件の設定に用いることができる。
上述した第２補正処理を前処理として行うモード１と、第２補正処理を前処理として行わないモード２とを切り替え可能に構成してもよい。モード１が選択された場合、制御部３４は、上述した前処理を行った上で画像処理などの処理を行う。一方、モード２が選択された場合、制御部３４は、上述した前処理を行わずに画像処理などの処理を行う。例えば、被写体要素として検出されている顔の一部に陰がある場合において、顔の陰の部分の明るさが顔の陰以外の部分の明るさと同程度となるように、顔の陰の部分を含む領域の撮像条件と顔の陰以外の部分を含む領域の撮像条件とを異なる設定で撮像して生成された画像に対して、第２補正処理を行ってから色補間処理をすると、設定されている撮像条件の違いにより陰の部分に対して意図しない色補間が行われる場合がある。第２補正処理をすることなく画像データをそのまま用いて色補間処理を行い得るように、モード１とモード２とを切り替え可能に構成しておくことにより、意図しない色補間を避けることが可能になる。
−−−第１の実施の形態の変形例−−−
次のような変形も本発明の範囲内であり、変形例の１つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１）
図１９(a)〜図１９(c)は、撮像素子３２ａの撮像面における第１撮像領域および第２撮像領域の配置を例示する図である。図１９(a)の例によれば、第１撮像領域は偶数列によって構成され、第２撮像領域は奇数列によって構成される。すなわち、撮像面が偶数列と奇数列とに分割されている。
図１９(b)の例によれば、第１撮像領域は奇数行によって構成され、第２撮像領域は偶数行によって構成される。すなわち、撮像面が奇数行と偶数行とに分割されている。
図１９(c)の例によれば、第１撮像領域は、奇数列における偶数行のブロックと、偶数列における奇数行のブロックとによって構成される。また、第２撮像領域は、偶数列における偶数行のブロックと、奇数列における奇数行のブロックとによって構成される。すなわち、撮像面が市松模様状に分割されている。
図１９(a)〜図１９(c)のいずれの場合も、１フレームの撮像を行った撮像素子３２ａから読み出した光電変換信号によって、第１撮像領域から読み出した光電変換信号に基づく第１画像および第２撮像領域から読み出した光電変換信号に基づく第２画像がそれぞれ生成される。変形例１によれば、第１画像および第２画像は同じ画角で撮像され、共通の被写体像を含む。
変形例１において、制御部３４は、第１画像を表示用として用いるとともに、第２画像を処理用画像データとして用いる。具体的には、制御部３４は、第１画像をライブビュー画像として表示部３５に表示させる。また、制御部３４は、第２画像を処理用画像データとして使用する。すなわち、処理部３３ｂによって第２画像を用いて画像処理を行わせ、物体検出部３４ａによって第２画像を用いて被写体検出処理を行わせ、レンズ移動制御部３４ｄによって第２画像を用いて焦点検出処理を行わせ、設定部３４ｂによって第２画像を用いて露出演算処理を行わせる。
なお、第１画像を取得する領域と第２画像を取得する領域とをフレームごとに変更してもよい。例えば、第Ｎフレームでは第１撮像領域からの第１画像をライブビュー画像とし、第２撮像領域からの第２画像を処理用画像データとして撮像し、第(Ｎ＋１)フレームでは、第１画像を処理用画像データとし、第２画像をライブビュー画像として撮像し、以後のフレームではこの動作を繰り返してもよい。
１．一例として、制御部３４は、ライブビュー画像を第１撮像条件で撮像し、その第１撮像条件を、表示部３５による表示に適した条件に設定する。第１撮像条件は、撮像画面の全体で同一にする。一方、制御部３４は、処理用画像データを第２撮像条件で撮像し、その第２撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定する。第２撮像条件も、撮像画面の全体で同一にする。
なお、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、制御部３４は、第２撮像領域に設定する第２撮像条件をフレームごとに異ならせてもよい。例えば、１フレーム目の第２撮像条件を焦点検出処理に適した条件とし、２フレーム目の第２撮像条件を被写体検出処理に適した条件とし、３フレーム目の第２撮像条件を露出演算処理に適した条件とする。これらの場合において、各フレームにおける第２撮像条件は撮像画面の全体で同一にする。
２．他の一例として、制御部３４は、第１撮像条件を撮像画面において異ならせてもよい。制御部３４の設定部３４ｂは、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第１撮像条件を設定する。一方、制御部３４は、第２撮像条件を撮像画面の全体で同一にする。制御部３４は、第２撮像条件を、焦点検出処理、被写体検出処理、および露出演算処理に適した条件に設定するが、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第２撮像領域に設定する撮像条件をフレームごとに異ならせてもよい。
３．また、他の一例として、制御部３４は、第１撮像条件を撮像画面の全体で同一とする一方で、第２撮像条件を撮像画面において異ならせてもよい。例えば、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第２撮像条件を設定する。この場合においても、焦点検出処理、被写体検出処理、および露出演算処理に適した条件がそれぞれ異なる場合は、第２撮像領域に設定する撮像条件をフレームごとに異ならせてもよい。
４．さらにまた、他の一例として、制御部３４は、第１撮像条件を撮像画面において異ならせるとともに、第２撮像条件を撮像画面において異ならせる。例えば、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第１撮像条件を設定しつつ、設定部３４ｂが分割した被写体要素を含む領域ごとに異なる第２撮像条件を設定する。
図１９(a)〜図１９(c)において、第１撮像領域と第２撮像領域との面積比を異ならせてもよい。制御部３４は、例えば、ユーザーによる操作または制御部３４の判断に基づき、第１撮像領域の比率を第２撮像領域よりも高く設定したり、第１撮像領域と第２撮像領域の比率を図１９(a)〜図１９(c)に例示したように同等に設定したり、第１撮像領域の比率を第２撮像領域よりも低く設定したりする。第１撮像領域と第２撮像領域とで面積比を異ならせることにより、第１画像を第２画像に比べて高精細にしたり、第１画像および第２画像の解像度を同等にしたり、第２画像を第１画像に比べて高精細にしたりすることができる。
例えば、図１９(c)の太線で囲んだ領域Ｘにおいて、第２撮像領域のブロックからの画像信号を加算平均することにより、第１画像を第２画像と比べて高精細にする。これにより、撮像条件の変化に伴い処理用撮像領域を拡大または縮小させた場合と同等の画像データを得ることができる。
（変形例２）
上述した実施の形態では、画像処理を行う場合の第２補正処理は、注目位置において適用された撮像条件（第１撮像条件とする）と、注目位置の周囲の参照位置において適用された撮像条件（第４撮像条件とする）とが異なる場合において、画像処理部３３の補正部３３ｂが、第４撮像条件の本画像データ（参照位置の画像データのうちの第４撮像条件の画像データ）を第１撮像条件に基づいて補正した。すなわち、参照位置の第４撮像条件の本画像データを第２補正処理することによって、第１撮像条件と第４撮像条件との差異に基づく画像の不連続性を緩和するようにした。
この代わりに、変形例２では、画像処理部３３の補正部３３ｂが、第１撮像条件の本画像データ（注目位置の本画像データと参照位置の本画像データのうちの第１撮像条件の本画像データ）を第４撮像条件に基づいて補正してもよい。この場合にも、第１撮像条件と第４撮像条件との差異に基づく画像の不連続性を緩和できる。
あるいは、画像処理部３３の補正部３３ｂが、第１撮像条件の本画像データおよび第４撮像条件の本画像データの双方を補正してもよい。すなわち、第１撮像条件の注目位置の本画像データ、参照位置の本画像データのうちの第１撮像条件の本画像データ、および参照位置の本画像データのうちの第４撮像条件の本画像データに対してそれぞれ第２補正処理を施すことにより、第１撮像条件と第４撮像条件との差異に基づく画像の不連続性を緩和するようにしてもよい。
例えば、上記（例１）において、第１撮像条件（ＩＳＯ感度が１００）である、参照画素Ｐｒの本画像データに、第２補正処理として４００／１００をかけ、第４撮像条件（ＩＳＯ感度が８００）である参照画素Ｐｒの本画像データに、第２補正処理として４００／８００をかける。これにより、撮像条件の相違による本画像データ間の差異を小さくする。なお、注目画素の本画素データは、色補間処理後に１００／４００をかける第２補正処理を行う。この第２補正処理により色補間処理後の注目画素の本画素データを第１撮像条件で撮像した場合と同様の値に変更することができる。さらに、上記（例１）において、第１領域と第４領域との境界からの距離によって第２補正処理の程度を変えてもよい。そして上記（例１）の場合に比べて第２補正処理により本画像データが増加や減少する割合を少なくすることができ、第２補正処理により生じるノイズを減らすことができる。以上では、上記（例１）について説明したが、上記（例２）にも同様に適用することができる。
変形例２によれば、上述した実施の形態と同様に、撮像条件が異なる領域のそれぞれ生成された本画像データに対し、適切に画像処理を行うことができる。
（変形例３）
上述した実施の形態では、本画像データに対して第２補正処理を行う際に、第１撮像条件と第４撮像条件との差違に基づく演算を行うことにより、補正後の本画像データを求めるようにした。演算の代わりに、補正用テーブルを参照することによって補正後の本画像データを求めてもよい。例えば、引数として第１撮像条件および第４撮像条件を入力することにより、補正後の本画像データを読み出す。あるいは、引数として第１撮像条件および第４撮像条件を入力することにより、補正係数を読み出す構成にしてもよい。
（変形例４）
上述した実施の形態の第２補正処理において、補正後の本画像データの上限や下限を定めておいてもよい。上限値、下限値を設けることにより、必要以上の補正をしないように制限することができる。上限値、下限値は、あらかじめ決めておいてもよいし、撮像素子３２ａと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき決定してもよい。
（変形例５）
上記実施の形態では、制御部３４の設定部３４ｂがライブビュー画像に基づき被写体要素を検出し、ライブビュー画像の画面を、被写体要素を含む領域に分割する例を説明した。変形例５において、制御部３４は、撮像素子３２ａと別に測光用センサを備える場合には、測光用センサからの出力信号に基づき領域を分割してもよい。
制御部３４は、測光用センサからの出力信号に基づき、前景と背景とに分割する。具体的には、撮像素子３２ｂによって取得されたライブビュー画像を、測光用センサからの出力信号から前景と判断した領域に対応する前景領域と、測光用センサからの出力信号から背景と判断した領域に対応する背景領域とに分割する。
制御部３４はさらに、撮像素子３２ａの撮像面の前景領域に対応する位置に対して、図１９(a)〜図１９(c)に例示したように、第１撮像領域および第２撮像領域を配置する。一方、制御部３４は、撮像素子３２ａの撮像面の背景領域に対応する位置に対して、撮像素子３２ａの撮像面に第１撮像領域のみを配置する。制御部３４は、第１画像を表示用として用いるとともに、第２画像を処理用画像データとして用いる。
変形例５によれば、測光用センサからの出力信号を用いることにより、撮像素子３２ｂによって取得されたライブビュー画像の領域分割を行うことができる。また、前景領域に対しては、表示用の第１画像と処理用画像データとしての第２画像とを得ることができ、背景領域に対しては、表示用の第１画像のみを得ることができる。ライブビュー画像の表示中に被写体の撮像環境が変化した場合であっても、測光用センサからの出力を用いて領域分割を行うことにより、前景領域と背景領域とを新たに設定し直すことができる。
（変形例６）
変形例６では、画像処理部３３の生成部３３ｃが、第２補正処理の一例としてコントラスト調整処理を行う。すなわち、生成部３３ｃは、階調カーブ（ガンマカーブ）を変更させることにより、第１撮像条件と第４撮像条件との間の差異に基づく画像の不連続性を緩和する。
例えば、第１撮像条件と第４撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第４撮像条件のＩＳＯ感度が８００の場合を想定する。生成部３３ｃは、階調カーブを寝かせることにより、参照位置の本画像データのうちの第４撮像条件の本画像データの値を１／８に圧縮する。
あるいは、生成部３３ｃが、階調カーブを立たせることにより、注目位置の本画像データ、および参照位置の本画像データのうちの第１撮像条件の本画像データの値を８倍に伸張させてもよい。
変形例６によれば、上述した実施の形態と同様に、撮像条件が異なる領域でそれぞれ生成された本画像データに対し、適切に画像処理を行うことができる。例えば、領域の境界における撮像条件の違いによって、画像処理後の画像に現れる不連続性や違和感を抑制することができる。
（変形例７）
変形例７においては、画像処理部３３が、上述した画像処理（例えば、ノイズ低減処理）において、被写体要素の輪郭を損なわないようにする。一般に、ノイズ低減を行う場合は平滑化フィルタ処理が採用される。平滑化フィルタを用いる場合、ノイズ低減効果の一方で被写体要素の境界がぼける場合がある。
そこで、画像処理部３３の生成部３３ｃは、例えば、ノイズ低減処理に加えて、またはノイズ低減処理とともに、コントラスト調整処理を行うことによって上記被写体要素の境界のぼけを補う。変形例７において、画像処理部３３の生成部３３ｃは、濃度変換（階調変換）曲線として、Ｓの字を描くようなカーブを設定する（いわゆるＳ字変換）。画像処理部３３の生成部３３ｃは、Ｓ字変換を用いたコントラスト調整を行うことにより、明るい本画像データと暗い本画像データの階調部分をそれぞれ引き伸ばして明るい本画像データ(および暗いデータ)の階調数をそれぞれ増やすとともに、中間階調の本画像データを圧縮して階調数を減らす。これにより、画像の明るさが中程度の本画像データの数が減り、明るい／暗いのいずれかに分類される本画像データが増える結果として、被写体要素の境界のぼけを補うことができる。
変形例７によれば、画像の明暗をくっきりさせることによって、被写体要素の境界のぼけを補うことができる。
（変形例８）
変形例８においては、画像処理部３３の生成部３３ｃが、第１撮像条件と第４撮像条件との差異に基づく画像の不連続性を緩和するように、ホワイトバランス調整ゲインを変更する。
例えば、注目位置において撮像時に適用された撮像条件（第１撮像条件とする）と、注目位置の周囲の参照位置において撮像時に適用された撮像条件（第４撮像条件とする）とが異なる場合において、画像処理部３３の生成部３３ｃが、参照位置の本画像データのうちの第４撮像条件の本画像データのホワイトバランスを、第１撮像条件で取得された本画像データのホワイトバランスに近づけるように、ホワイトバランス調整ゲインを変更する。
なお、画像処理部３３の生成部３３ｃが、参照位置の本画像データのうちの第１撮像条件の本画像データと注目位置の本画像データのホワイトバランスを、第４撮像条件で取得された本画像データのホワイトバランスに近づけるように、ホワイトバランス調整ゲインを変更してもよい。
変形例８によれば、撮像条件が異なる領域でそれぞれ生成された本画像データに対し、ホワイトバランス調整ゲインを撮像条件が異なる領域のどちらかの調整ゲインに揃えることによって、第１撮像条件と第４撮像条件との差異に基づく画像の不連続性を緩和することができる。
（変形例９）
画像処理部３３を複数備え、画像処理を並列処理してもよい。例えば、撮像部３２の領域Ａで撮像された本画像データに対して画像処理をしながら、撮像部３２の領域Ｂで撮像された本画像データに対して画像処理を行う。複数の画像処理部３３は、同じ画像処理を行ってもよいし、異なる画像処理を行ってもよい。すなわち、領域Ａおよび領域Ｂの本画像データに対して同じパラメータ等を適用して同様の画像処理をしたり、領域Ａおよび領域Ｂの本画像データに対して異なるパラメータ等を適用して異なる画像処理をしたりすることができる。
画像処理部３３の数を複数備える場合において、第１撮像条件が適用された本画像データに対して１つの画像処理部によって画像処理を行い、第４撮像条件が適用された本画像データに対して他の画像処理部によって画像処理を行ってもよい。画像処理部の数は上記２つに限られず、例えば、設定され得る撮像条件の数と同数を設けるようにしてもよい。すなわち、異なる撮像条件が適用された領域ごとに、それぞれの画像処理部が画像処理を担当する。変形例９によれば、領域ごとの異なる撮像条件による撮像と、上記領域ごとに得られる画像の本画像データに対する画像処理とを並行して進行させることができる。
（変形例１０）
上述した説明では、カメラ１を例に説明したが、スマートフォンのようにカメラ機能を備えた高機能携帯電話機２５０（図２１）や、タブレット端末などのモバイル機器によって構成してもよい。
（変形例１１）
上述した実施の形態では、撮像部３２と制御部３４とを単一の電子機器として構成したカメラ１を例に説明した。この代わりに、例えば、撮像部３２と制御部３４とを分離して設け、制御部３４から通信を介して撮像部３２を制御する撮像システム１Ｂを構成してもよい。
以下、図２０を参照して撮像部３２を備えた撮像装置１００１を、制御部３４を備えた表示装置１００２から制御する例を説明する。
図２０は、変形例１１に係る撮像システム１Ｂの構成を例示するブロック図である。図２０において、撮像システム１Ｂは、撮像装置１００１と、表示装置１００２とによって構成される。撮像装置１００１は、上記実施の形態で説明した撮像光学系３１と撮像部３２とに加えて、第１通信部１００３を備える。また、表示装置１００２は、上記実施の形態で説明した画像処理部３３、制御部３４、表示部３５、操作部材３６、および記録部３７に加えて、第２通信部１００４を備える。
第１通信部１００３および第２通信部１００４は、例えば周知の無線通信技術や光通信技術等により、双方向の画像データ通信を行うことができる。
なお、撮像装置１００１と表示装置１００２とを有線ケーブルにより有線接続し、第１通信部１００３および第２通信部１００４が双方向の画像データ通信を行う構成にしてもよい。
撮像システム１Ｂは、制御部３４が、第２通信部１００４および第１通信部１００３を介したデータ通信を行うことにより、撮像部３２に対する制御を行う。例えば、撮像装置１００１と表示装置１００２との間で所定の制御データを送受信することにより、表示装置１００２は、上述したように画像に基づいて、画面を複数の領域に分割したり、分割した領域ごとに異なる撮像条件を設定したり、各々の領域で光電変換された光電変換信号を読み出したりする。
変形例１１によれば、撮像装置１００１側で取得され、表示装置１００２へ送信されたライブビュー画像が表示装置１００２の表示部３５に表示されるので、ユーザーは、撮像装置１００１から離れた位置にある表示装置１００２から、遠隔操作を行うことができる。
表示装置１００２は、例えば、スマートフォンのような高機能携帯電話機２５０によって構成することができる。また、撮像装置１００１は、上述した積層型の撮像素子１００を備える電子機器によって構成することができる。
なお、表示装置１００２の制御部３４に物体検出部３４ａと、設定部３４ｂと、撮像制御部３４ｃと、レンズ移動制御部３４ｄとを設ける例を説明したが、物体検出部３４ａ、設定部３４ｂ、撮像制御部３４ｃ、およびレンズ移動制御部３４ｄの一部について、撮像装置１００１に設けるようにしてもよい。
（変形例１２）
上述したカメラ１、高機能携帯電話機２５０、またはタブレット端末などのモバイル機器へのプログラムの供給は、例えば図２１に例示するように、プログラムを格納したパーソナルコンピュータ２０５から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。
パーソナルコンピュータ２０５に対するプログラムの供給は、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４をパーソナルコンピュータ２０５にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２０５へローディングしてもよい。通信回線２０１を経由する場合は、当該通信回線に接続されたサーバー２０２のストレージ装置２０３などにプログラムを格納しておく。
また、通信回線２０１に接続された無線ＬＡＮのアクセスポイント（不図示）を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体２０４Ｂをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。
−−−第２の実施の形態−−−
図２２〜２８を参照して、第２の実施の形態による画像処理装置を搭載する電子機器の一例として、デジタルカメラを例にあげて説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、第１の実施の形態の画像処理部３３を設ける代わりに、撮像部３２Ａが第１の実施の形態の画像処理部３３と同様の機能を有する画像処理部３２ｃをさらに含む点で、第１の実施の形態と異なる。
図２２は、第２の実施の形態によるカメラ１Ｃの構成を例示するブロック図である。図２２において、カメラ１Ｃは、撮像光学系３１と、撮像部３２Ａと、制御部３４と、表示部３５と、操作部材３６と、記録部３７とを有する。撮像部３２Ａは、第１の実施の形態の画像処理部３３と同様の機能を有する画像処理部３２ｃをさらに含む。
画像処理部３２ｃは、入力部３２１と、補正部３２２と、生成部３２３とを含む。入力部３２１には、撮像素子３２ａからの画像データが入力される。補正部３２２は、上記入力された画像データに対して補正を行う前処理を行う。補正部３２２が行う前処理は、第１の実施の形態における補正部３３ｂが行う前処理と同じである。生成部３２３は、上記入力された画像データと前処理後の画像データとに対して画像処理を行い、画像を生成する。生成部３２３が行う画像処理は、第１の実施の形態における生成部３３ｃが行う画像処理と同じである。
図２３は、本実施の形態における各ブロックと、複数の補正部３２２との対応関係を模式的に示した図である。図２３において、矩形で表した撮像チップ１１１の１つのマスが１つのブロック１１１ａを表している。同様に、矩形で表した後述する画像処理チップ１１４の１つのマスが１つの補正部３２２を表している。
本実施の形態では、補正部３２２は、ブロック１１１ａ毎に対応して設けられている。換言すると、補正部３２２は、撮像面における撮像条件の変更可能な領域の最小単位であるブロック毎にそれぞれ設けられている。例えば、図２３においてハッチングを施したブロック１１１ａと、ハッチングを施した補正部３２２とは対応関係にある。図２３においてハッチングを施した補正部３２２は、ハッチングを施したブロック１１１ａに含まれる画素からの画像データに前処理を行う。各補正部３２２は、それぞれ対応するブロック１１１ａに含まれる画素からの画像データに前処理を行う。
これにより、画像データの前処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減でき、撮像条件が異なる領域でそれぞれ生成された画像データから適切な画像を短時間で生成することができる。
なお、以下の説明では、あるブロック１１１ａと、当該ブロック１１１ａに含まれる画素との関係について説明する際に、当該ブロック１１１ａのことを、当該画素が属するブロック１１１ａと呼ぶことがある。また、ブロック１１１ａを単位区分と呼ぶことがあり、ブロック１１１ａが複数集まったもの、すなわち単位区分が複数集まったものを複合区分と呼ぶことがある。
図２４は、積層型撮像素子１００Ａの断面図である。積層型撮像素子１００Ａは、裏面照射型撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とに加えて、上述した前処理および画像処理を行う画像処理チップ１１４をさらに備える。すなわち、上述した画像処理部３２ｃは、画像処理チップ１１４に設けられている。
これら撮像チップ１１１、信号処理チップ１１２、メモリチップ１１３および画像処理チップ１１４は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
メモリチップ１１３および画像処理チップ１１４の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、メモリチップ１１３と画像処理チップ１１４とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
＜第１補正処理＞
第１の実施の形態と同様に、第２の実施の形態では、設定部３４ｂにより撮像画面の領域を分割した後は、ユーザーによって選択された領域、または、制御部３４が判断した領域に対して撮像条件を設定（変更）することが可能に構成されている。制御部３４は、分割した領域において異なる撮像条件を設定した場合、必要に応じて画像処理部３２ｃの補正部３２２に第１補正処理を行わせる。
すなわち、制御部３４は、撮像条件の設定の最小単位であるブロックに複数の被写体要素に基づく領域の境界を含んでおり、かつ、このブロックによる画像データに白飛びまたは黒潰れが存在する場合に、補正部３２２に対して、画像処理、焦点検出処理、被写体検出処理、および撮像条件を設定する処理の前に行う前処理の１つとして、以下の第１補正処理を行わせる。
１．白飛びまたは黒潰れが生じた領域の全体に同じ補正を行う。
（１−１）補正部３２２は、第１の実施の形態と同様に、第１補正処理として下記(i)〜(iv)のいずれかの態様により、処理用画像データのうちの１つのブロック（注目ブロックまたは参照ブロック）で取得された処理用画像データを用いて、本画像データの注目ブロック内の白飛びまたは黒潰れが生じた本画像データの全てを置換する。
（i）補正部３２２は、本画像データにおいて白飛びまたは黒潰れした注目ブロックの本画像データを、上記白飛びまたは黒潰れした領域に最も近い位置に対応する、処理用画像データの１つのブロック（注目ブロックまたは参照ブロック）で取得された処理用画像データによって、置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在した場合でも、その白飛びまたは黒潰れの複数の画素の本画像データを、上述の最も近い位置に対応する処理用画像データの１つのブロック（注目ブロックまたは参照ブロック）で取得された同一の処理用画像データによって、置換する。
（ii）補正部３２２は、処理用画像データの注目ブロックにおいても白飛びまたは黒潰れが生じている場合、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ１つの参照ブロックで取得された、同じ処理用画像データによって、本画像データにおいて白飛びまたは黒潰れした注目ブロックの複数の本画像データを置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在した場合でも、その白飛びまたは黒潰れの複数の画素の本画像データを、１つの参照ブロックで取得された同一の処理用画像データによって、置換する。
（iii）補正部３２２は、上記（i）または（ii）による処理用画像データの１つのブロックで取得された複数の画素（図８(b)の例では４画素）に対応する処理用画像データのうち、処理用画像データにおいて白飛びまたは黒潰れが生じた注目ブロック内の画素に隣接する画素に対応する処理用画像データを用いて、白飛びまたは黒潰れが生じた本画像データを置換してもよい。
（iv）補正部３２２は、上記（i）または（ii）による処理用画像データの１つの参照ブロックで取得された複数の画素（図８の例では４画素）に対応する処理用画像データに基づいて生成した画像データを用いて、白飛びまたは黒潰れが生じた本画像データを置換してもよい。
なお、処理用画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れ画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい点は、第１の実施の形態と同様である。
また、処理用画像データの参照ブロックに含まれる複数の画素に対応する処理用画像データの平均値を算出する代わりに、複数の画素に対応する処理用画像データの中間値を算出し、この中間値によって白飛びまたは黒潰れ画素に対応する本画像データを置換してもよい点も、第１の実施の形態と同様である。
（１−２）補正部３２２は、第１の実施の形態と同様に、第１補正処理として下記(i)〜(iv)のいずれかの態様により、処理用画像データのうちの複数のブロックで取得された処理用画像データを用いて、本画像データの注目ブロック内の白飛びまたは黒潰れが生じた本画像データの全てを置換する。
（i）補正部３２２は、本画像データにおいて白飛びまたは黒潰れした注目ブロックの本画像データを、上記白飛びまたは黒潰れした領域の周辺の位置に対応する、処理用画像データの複数の参照ブロックで取得された処理用画像データによって、置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在した場合でも、その白飛びまたは黒潰れの複数の画素の本画像データを、上述の処理用画像データの複数の参照ブロックで取得された同一の処理用画像データによって、置換する。
（ii）補正部３２２は、処理用画像データの注目ブロックにおいても白飛びまたは黒潰れが生じている場合、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ複数の参照ブロックで取得された、同じ処理用画像データによって、本画像データにおいて白飛びまたは黒潰れした注目ブロックの複数の本画像データを置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在した場合でも、その白飛びまたは黒潰れの複数の画素の本画像データを、上述の処理用画像データの複数の参照ブロックで取得された同一の処理用画像データによって、置換する。
（iii）補正部３２２は、上記（i）または（ii）による複数の参照ブロックで取得された複数の画素に対応する処理用画像データのうち、処理用画像データにおいて白飛びまたは黒潰れが生じた注目ブロック内の画素に隣接する画素に対応する処理用画像データを用いて、白飛びまたは黒潰れが生じた本画像データを置換してもよい。
（iv）補正部３２２は、上記（i）または（ii）による複数の参照ブロックで取得された複数の画素に対応する処理用画像データに基づいて生成した画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた本画像データを置換してもよい。
なお、処理用画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れ画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい点は、第１の実施の形態と同様である。
また、処理用画像データの複数の参照ブロックに含まれる複数の画素に対応する処理用画像データの平均値を算出する代わりに、複数の画素に対応する処理用画像データの中間値を算出し、この中間値によって白飛びまたは黒潰れ画素に対応する本画像データを置換してもよい点も、第１の実施の形態と同様である。
２．白飛びまたは黒潰れが生じた領域の全体に複数の補正を行う。
（２−１）補正部３２２は、第１の実施の形態と同様に、第１補正処理として下記(i)〜(iii)のいずれかの態様により、処理用画像データのうちの１つのブロックで取得された処理用画像データを用いて、本画像データの注目ブロック内の白飛びまたは黒潰れが生じた本画像データの全てを置換する。
（i）補正部３２２は、本画像データにおいて白飛びまたは黒潰れした注目ブロックの本画像データを、上記白飛びまたは黒潰れした領域の周辺の位置に対応する、処理用画像データの複数の参照ブロックのうちの１つの参照ブロックで取得された処理用画像データによって、置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在した場合は、その白飛びまたは黒潰れの複数の画素の本画像データを、上述の処理用画像データの１つの参照ブロックで取得された異なる処理用画像データによって、それぞれ置換する。
（ii）補正部３２２は、処理用画像データの注目ブロックにおいても白飛びまたは黒潰れが生じている場合、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ１つの参照ブロックで取得された、異なる処理用画像データによって、本画像データにおいて白飛びまたは黒潰れした注目ブロックの複数の本画像データを置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在した場合は、その白飛びまたは黒潰れの複数の画素の本画像データを、上述の処理用画像データの１つの参照ブロックで取得された異なる処理用画像データによって、それぞれ置換する。
（iii）補正部３２２は、上記（i）または（ii）による１つの参照ブロックで取得された複数の画素に対応する処理用画像データに基づいて生成した画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた本画像データを置換してもよい。
なお、処理用画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れ画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい点は、第１の実施の形態と同様である。
また、処理用画像データの複数の参照ブロックに含まれる複数の画素に対応する処理用画像データの平均値を算出する代わりに、複数の画素に対応する処理用画像データの中間値を算出し、この中間値によって黒潰れ画素に対応する本画像データを置換してもよい点も、第１の実施の形態と同様である。
（２−２）補正部３２２は、第１の実施の形態と同様に、第１補正処理として下記(i)〜(iv)のいずれかの態様により、処理用画像データのうちの複数のブロックで取得された処理用画像データを用いて、本画像データの注目ブロック内の白飛びまたは黒潰れが生じた本画像データの全てを置換する。
（i）補正部３２２は、本画像データにおいて白飛びまたは黒潰れした注目ブロックの本画像データを、上記白飛びまたは黒潰れした領域の周辺の位置に対応する、処理用画像データの複数の参照ブロックで取得された処理用画像データによって、置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在した場合は、その白飛びまたは黒潰れの複数の画素の本画像データを、上述の処理用画像データの複数の参照ブロックで取得された異なる処理用画像データによって、それぞれ置換する。
（ii）補正部３２２は、処理用画像データの注目ブロックにおいても白飛びまたは黒潰れが生じている場合、白飛びまたは黒潰れした被写体要素（例えば山）と同じ被写体要素（山）に対して一番多く設定されている撮像条件（本例では第４撮像条件）の参照ブロックから選んだ複数の参照ブロックで取得された、異なる処理用画像データによって、本画像データにおいて白飛びまたは黒潰れした注目ブロックの複数の本画像データを置換する。本画像データの注目ブロック内に白飛びまたは黒潰れの画素が複数存在した場合は、その白飛びまたは黒潰れの複数の画素の本画像データを、上述の処理用画像データの複数の参照ブロックで取得された異なる処理用画像データによって、それぞれ置換する。
（iii）補正部３２２は、上記（i）または（ii）による複数の参照ブロックで取得された複数の画素に対応する処理用画像データに基づいて生成した画像データを用いて、注目ブロック内の白飛びまたは黒潰れが生じた本画像データを置換してもよい。
なお、処理用画像データの平均値を算出する際、単純平均の代わりに、白飛びまたは黒潰れ画素からの距離に応じて重みを付けた重み付け平均値によって置換してもよい点は、第１の実施の形態と同様である。
また、処理用画像データの複数の参照ブロックに含まれる複数の画素に対応する処理用画像データの平均値を算出する代わりに、複数の画素に対応する処理用画像データの中間値を算出し、この中間値によって黒潰れ画素に対応する本画像データを置換してもよい点も、第１の実施の形態と同様である。
以上説明した第１補正処理の種々の態様による補正うち、いずれの態様の補正を行うかについて、制御部３４は、例えば操作部材３６による設定（操作メニュー設定を含む）状態に基づいて決定する。
なお、カメラ１に設定されている撮像シーンモードや、検出された被写体要素の種類によって、制御部３４がいずれの態様の補正を行うかを決定するようにしてもよい。
＜第２補正処理＞
制御部３４はさらに、画像処理、焦点検出処理、被写体検出（被写体要素を検出）処理、および撮像条件を設定する処理の前に、補正部３２２に以下の第２補正処理を必要に応じて行わせる。
１．画像処理を行う場合
１−１．注目画素Ｐの撮像条件と注目画素Ｐの周囲の複数の参照画素Ｐｒの撮像条件とが同一である場合
この場合、画像処理部３２ｃでは、補正部３２２が第２補正処理を行わず、生成部３２３が第２補正処理されていない複数の参照画素Ｐｒの本画像データを利用して画像処理を行う。
１−２．注目画素Ｐの撮像条件と、注目画素Ｐの周囲の複数の参照画素Ｐｒのうちの少なくとも１つの参照画素Ｐｒの撮像条件とが異なる場合
注目画素Ｐにおいて適用された撮像条件を第１撮像条件とし、複数の参照画素Ｐｒの一部に適用された撮像条件が第１撮像条件であり、残りの参照画素Ｐｒに適用された撮像条件が第２撮像条件であるとする。
この場合には、第２撮像条件が適用された参照画素Ｐｒが属するブロック１１１ａに対応する補正部３２２は、当該第２撮像条件が適用された参照画素Ｐｒの本画像データに対して以下の（例１）〜（例３）のように第２補正処理を行う。そして、生成部３２３は、第１撮像条件が適用された参照画素Ｐｒの本画像データと、第２補正処理後の参照画素Ｐｒの本画像データとを参照して注目画素Ｐの本画像データを算出する画像処理を行う。
（例１）
第２撮像条件が適用された参照画素Ｐｒが属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合、当該参照画素Ｐｒの本画像データに対し、第２補正処理として１００／８００をかける。これにより、撮像条件の相違による本画像データ間の差異を小さくする。
（例２）
第２撮像条件が適用された参照画素Ｐｒが属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第２撮像条件のシャッター速度が１／１００秒の場合、当該参照画素Ｐｒの本画像データに対し、第２補正処理として１／１０００／１／１００＝１／１０をかける。これにより、撮像条件の相違による本画像データ間の差異を小さくする。
（例３）
第２撮像条件が適用された参照画素Ｐｒが属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第２撮像条件のフレームレートが６０ｆｐｓの場合、当該参照画素Ｐｒの本画像データ、すなわち第２撮像条件（６０ｆｐｓ）の本画像データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の本画像データを採用することを第２補正処理とする。これにより、撮像条件の相違による本画像データ間の差異を小さくする。
なお、第２撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の本画像データを補間算出することを第２補正処理としてもよい。
なお、注目画素Ｐにおいて適用された撮像条件を第２撮像条件とし、注目画素Ｐの周囲の参照画素Ｐｒにおいて適用された撮像条件を第１撮像条件とした場合も同様である。すなわち、この場合には、第１撮像条件が適用された参照画素Ｐｒが属するブロック１１１ａに対応する補正部３２２は、当該参照画素Ｐｒの本画像データに対して上述した（例１）〜（例３）のように第２補正処理を行う。
なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件ととみなす。
生成部３２３は、注目画素Ｐの撮像条件と同一の撮像条件が適用された参照画素Ｐｒの本画像データと補正部３２２で第２補正処理された参照画素Ｐｒの本画像データとに基づいて、第１の実施の形態における画像処理部３３の生成部３３ｃと同様に、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行う。
図２５は、第１撮像条件が適用された撮像面の一部領域（以下、第１撮像領域１４１と呼ぶ）に含まれる各画素からの本画像データ（以下、第１画像データと呼ぶ）と、第２撮像条件が適用された撮像面の一部領域（以下、第２撮像領域１４２と呼ぶ）に含まれる各画素からの本画像データ（以下、第２画像データと呼ぶ）との処理について、模式的に表した図である。
第１撮像領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１画像データがそれぞれ出力され、第２撮像領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２画像データがそれぞれ出力される。第１画像データは、処理チップ１１４に設けられた補正部３２２のうち、第１画像データを生成した画素が属するブロック１１１ａに対応する補正部３２２に出力される。以下の説明では、それぞれの第１画像データを生成した画素が属する複数のブロック１１１ａにそれぞれ対応する複数の補正部３２２を第１処理部１５１と呼ぶ。
第１処理部１５１は、必要に応じて、第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
同様に、第２画像データは、処理チップ１１４に設けられた補正部３２２のうち、第２画像データを生成した画素が属するブロック１１１ａに対応する補正部３２２に出力される。以下の説明では、それぞれの第２画像データを生成した各画素が属する複数のブロック１１１ａにそれぞれ対応する複数の補正部３２２を第２処理部１５２と呼ぶ。
第２処理部１５２は、必要に応じて、第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
上述した第１補正処理において、例えば、本画像データの注目ブロックが第１撮像領域１４１に含まれる場合、図２５に示すように第１処理部１５１によって上述した第１補正処理、すなわち置換処理が行われる。これにより、本画像データの注目ブロック内の白飛びまたは黒潰れが生じた画像データは、処理用画像データの第２撮像領域１４２に含まれる参照ブロックからの第２画像データによって置換される。このために、第１処理部１５１は、例えば第２処理部１５２からの情報１８２として、処理用画像データの参照ブロックからの第２画像データを受信する。
上述した第２補正処理において、例えば、注目画素Ｐが第１撮像領域１４１に含まれる場合、第２撮像領域１４２に含まれる参照画素Ｐｒからの第２画像データは、図２５に示すように第２処理部１５２によって上述した第２補正処理が行われる。なお、第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報１８１を、例えば、第１処理部１５１から受信する。
同様に、例えば、注目画素Ｐが第２撮像領域１４２に含まれる場合、第１撮像領域１４１に含まれる参照画素Ｐｒからの第１画像データは、第１処理部１５１で上述した第２補正処理が行われる。なお、第１処理部１５１は、撮像条件の相違による画像データ間の差異を小さくするために必要な第２撮像条件についての情報を、第２処理部１５２から受信する。
なお、注目画素Ｐと参照画素Ｐｒとが第１撮像領域１４１に含まれる場合、第１処理部１５１は、当該参照画素Ｐｒからの第１画像データに第２補正処理を行わない。同様に、注目画素Ｐと参照画素Ｐｒとが第２撮像領域１４２に含まれる場合、第２処理部１５２は、当該参照画素Ｐｒからの第２画像データに第２補正処理を行わない。
あるいは、第１処理部１５１と第２処理部１５２により、それぞれ第１撮像条件の画像データおよび第２撮像条件の画像データの双方を補正してもよい。すなわち、第１撮像条件の注目位置の画像データ、参照位置の画像データのうちの第１撮像条件の画像データ、および参照位置の画像データのうちの第２撮像条件の画像データに対してそれぞれ第２補正処理を施すことにより、第１撮像条件と第２撮像条件との差異に基づく画像の不連続性を緩和するようにしてもよい。
例えば、上記（例１）において、第１撮像条件（ＩＳＯ感度が１００）である、参照画素Ｐｒの画像データに、第２補正処理として４００／１００をかけ、第２撮像条件（ＩＳＯ感度が８００）である参照画素Ｐｒの画像データに、第２補正処理として４００／８００をかける。これにより、撮像条件の相違による画像データ間の差異を小さくする。なお、注目画素の画素データは、色補間処理後に１００／４００をかける第２補正処理を行う。この第２補正処理により色補間処理後の注目画素の画素データを第１撮像条件で撮像した場合と同様の値に変更することができる。さらに、上記（例１）において、第１領域と第２領域との境界からの距離によって第２補正処理の程度を変えてもよい。そして上記（例１）の場合に比べて第２補正処理により画像データが増加や減少する割合を少なくすることができ、第２補正処理により生じるノイズを減らすことができる。以上では、上記（例１）について説明したが、上記（例２）にも同様に適用することができる。
生成部３２３は、第１処理部１５１および第２処理部１５２からの画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
なお、第１処理部１５１は、注目画素Ｐが第２撮像領域１４２に位置する場合に、第１撮像領域１４１に含まれるすべての画素からの第１画像データを第２補正処理してもよく、第１撮像領域１４１に含まれる画素のうち、第２撮像領域１４２の注目画素Ｐの補間に用いられる可能性がある画素からの第１画像データだけを第２補正処理してもよい。同様に、第２処理部１５２は、注目画素Ｐが第１撮像領域１４１に位置する場合に、第２撮像領域１４２に含まれるすべての画素からの第２画像データを第２補正処理してもよく、第２撮像領域１４２に含まれる画素のうち、第１撮像領域１４１の注目画素Ｐの補間に用いられる可能性がある画素からの第２画像データだけを第２補正処理してもよい。
２．焦点検出処理を行う場合
第１の実施の形態と同様に、制御部３４のレンズ移動制御部３４ｄは、撮像画面の所定の位置（フォーカスポイント）に対応する信号データ（画像データ）を用いて焦点検出処理を行う。なお、分割した領域間で異なる撮像条件が設定されており、ＡＦ動作のフォーカスポイントが分割された領域の境界部分に位置する場合、すなわちフォーカスポイントが第１領域と第２領域とで２分されている場合、本実施の形態では、以下の２−２．で説明するように、制御部３４のレンズ移動制御部３４ｄは、補正部３２２に対して少なくとも１つの領域の焦点検出用の信号データに対する第２補正処理を行わせる。
２−１．図１５における枠１７０内の画素からの信号データに、第１撮像条件が適用された信号データと第２撮像条件が適用された信号データが混在しない場合
この場合、補正部３２２は第２補正処理を行わず、制御部３４のレンズ移動制御部３４ｄは枠１７０で示す焦点検出用画素による信号データをそのまま用いて焦点検出処理を行う。
２−２．図１５における枠１７０内の画素からの信号データに、第１撮像条件が適用された信号データと第２撮像条件が適用された信号データが混在する場合
この場合には、制御部３４のレンズ移動制御部３４ｄは、枠１７０内の画素のうち、第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２に対して以下の（例１）〜（例３）のように第２補正処理を行わせる。そして、制御部３４のレンズ移動制御部３４ｄは、第１撮像条件が適用された画素の信号データと、第２補正処理後の信号データとを用いて焦点検出処理を行う。
（例１）
第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でＩＳＯ感度のみが異なり、第１撮像条件のＩＳＯ感度が１００で、第２撮像条件のＩＳＯ感度が８００の場合、第２撮像条件の信号データに対し、第２補正処理として１００／８００をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。
（例２）
第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でシャッター速度のみが異なり、第１撮像条件のシャッター速度が１／１０００秒で、第２撮像条件のシャッター速度が１／１００秒の場合、第２撮像条件の信号データに対し、第２補正処理として１／１０００／１／１００＝１／１０をかける。これにより、撮像条件の相違による信号データ間の差異を小さくする。
（例３）
第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２は、例えば、第１撮像条件と第２撮像条件との間でフレームレートのみが異なり（電荷蓄積時間は同じ）、第１撮像条件のフレームレートが３０ｆｐｓで、第２撮像条件のフレームレートが６０ｆｐｓの場合、第２撮像条件（６０ｆｐｓ）の信号データについて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを採用することを第２補正処理とする。これにより、撮像条件の相違による信号データ間の差異を小さくする。
なお、第２撮像条件（６０ｆｐｓ）で取得した前後する複数のフレーム画像に基づいて、第１撮像条件（３０ｆｐｓ）で取得されたフレーム画像と取得開始タイミングが近いフレーム画像の信号データを補間算出することを第２補正処理としてもよい。
なお、上述したように、撮像条件に多少の差違があっても同一の撮像条件とみなす。
また、上記の例では、信号データのうちの第２撮像条件の信号データに対して第２補正処理を行う例を説明したが、信号データのうちの第１撮像条件の信号データに対して第２補正処理を行ってもよい。
さらにまた、信号データのうちの第１撮像条件の信号データおよび第２撮像条件のデータに対してそれぞれ第２補正処理を行うことにより、第２補正処理後の双方の信号データ間の差を小さくするようにしてもよい。
図２６は、焦点検出処理に係る、第１信号データと第２信号データとの処理について模式的に表した図である。
第１撮像領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１信号データが出力され、第２撮像領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２信号データが出力される。第１撮像領域１４１からの第１信号データは、第１処理部１５１に出力される。同様に、第２撮像領域１４２からの第２信号データは、第２処理部１５２に出力される。
第１処理部１５１は、必要に応じて、本画像データの第１信号データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。第２処理部１５２は、必要に応じて、本画像データの第２信号データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
上述した第１補正処理において、例えば、本画像データの注目ブロックが第１撮像領域１４１に含まれる場合、図２６に示すように第１処理部１５１によって上述した第１補正処理、すなわち置換処理が行われる。これにより、本画像データの注目ブロック内の白飛びまたは黒潰れが生じた第１信号データは、処理用画像データの第２撮像領域１４２に含まれる参照ブロックからの第２信号データによって置換される。このために、第１処理部１５１は、例えば第２処理部１５２からの情報１８２として、処理用画像データの参照ブロックからの第２信号データを受信する。
上述した第２補正処理において、信号データのうちの第２撮像条件の信号データに対して第２補正処理を行うことにより、第２補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第２処理部１５２が処理を行う。第２撮像領域１４２に含まれる画素からの第２信号データに、第２処理部１５２は上述した第２補正処理を行う。なお、第２処理部１５２は、撮像条件の相違による信号データ間の差異を小さくするために必要な第１撮像条件についての情報１８１を、例えば、第１処理部１５１から受信する。
なお、信号データのうちの第２撮像条件の信号データに対して第２補正処理を行うことにより、第２補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第１処理部１５１は、第１信号データに第２補正処理を行わない。
また、信号データのうちの第１撮像条件の信号データに対して第２補正処理を行うことにより、第２補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第１処理部１５１が処理を行う。第１撮像領域１４１に含まれる画素からの第１信号データに、第１処理部１５１は上述した第２補正処理を行う。なお、第１処理部１５１は、撮像条件の相違による信号データ間の差異を小さくするために必要な第２撮像条件についての情報を第２処理部１５２から受信する。
なお、信号データのうちの第１撮像条件の信号データに対して第２補正処理を行うことにより、第２補正処理後の信号データと第１撮像条件の信号データとの差を小さくする場合、第２処理部１５２は、第２信号データに第２補正処理を行わない。
さらにまた、信号データのうちの第１撮像条件の信号データおよび第２撮像条件のデータに対してそれぞれ第２補正処理を行うことにより、第２補正処理後の双方の信号データ間の差を小さくする場合、第１処理部１５１と第２処理部１５２とが処理を行う。第１処理部１５１は、第１撮像領域１４１に含まれる画素からの第１信号データに上述した第２補正処理を行い、第２処理部１５２は、第２撮像領域１４２に含まれる画素からの第２信号データに上述した第２補正処理を行う。
レンズ移動制御部３４ｄは、第１処理部１５１および第２処理部１５２からの信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
３．被写体検出処理を行う場合
分割した領域間で異なる撮像条件が設定されており、探索範囲１９０が分割された領域の境界を含む場合、本実施の形態では、以下の３−２．で説明するように、制御部３４の物体検出部３４ａは、補正部３２２に対して探索範囲１９０内の少なくとも１つの領域の画像データに対する第２補正処理を行わせる。
３−１．図１６における探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在しない場合
この場合、補正部３２２は第２補正処理を行わず、制御部３４の物体検出部３４ａは探索範囲１９０を構成する画像データをそのまま用いて被写体検出処理を行う。
３−２．図１６における探索範囲１９０の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合
この場合、制御部３４の物体検出部３４ａは、探索範囲１９０の画像のうち、第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２に対して、焦点検出処理を行う場合として上述した（例１）〜（例３）のように第２補正処理を行わせる。そして、制御部３４の物体検出部３４ａは、第１条件が適用された画素の画像データと、第２補正処理後の画像データとを用いて被写体検出処理を行う。
図２７は、被写体検出処理に係る、第１画像データと第２画像データとの処理について模式的に表した図である。
第１処理部１５１は、必要に応じて、本画像データの第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。第２処理部１５２は、必要に応じて、本画像データの第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
上述した第１補正処理において、例えば、本画像データの注目ブロックが第１撮像領域１４１に含まれる場合、図２７に示すように第１処理部１５１によって上述した第１補正処理、すなわち置換処理が行われる。これにより、本画像データの注目ブロック内の白飛びまたは黒潰れが生じた第１画像データは、処理用画像データの第２撮像領域１４２に含まれる参照ブロックからの第２画像データによって置換される。このために、第１処理部１５１は、例えば第２処理部１５２からの情報１８２として、処理用画像データの参照ブロックからの第２画像データを受信する。
第２補正処理において、第１処理部１５１または／および第２処理部１５２で行われる第２補正処理は、焦点検出処理を行う場合として上述した図２６についての第２補正処理と同じである。
物体検出部３４ａは、第１処理部１５１および第２処理部１５２からの画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
４．撮像条件を設定する場合
撮像画面の領域を分割し、分割した領域間で異なる撮像条件を設定した状態で、新たに測光し直して露出条件を決定する場合について説明する。
４−１．測光範囲の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在しない場合
この場合、補正部３２２は第２補正処理を行わず、制御部３４の設定部３４ｂは測光範囲を構成する画像データをそのまま用いて露出演算処理を行う。
４−２．測光範囲の画像データに、第１撮像条件が適用された画像データと第２撮像条件が適用された画像データが混在する場合
この場合、制御部３４の設定部３４ｂは、測光範囲の画像データのうち、第２撮像条件が適用された画素が属するブロック１１１ａに対応する補正部３２２に対して、焦点検出処理を行う場合として上述した（例１）〜（例３）のように第２補正処理を行わせる。そして、制御部３４の設定部３４ｂは、第２補正処理後の画像データを用いて露出演算処理を行う。
図２８は、露出演算処理等の撮像条件の設定に係る、第１画像データと第２画像データとの処理について模式的に表した図である。
上述した第１補正処理において、例えば、本画像データの注目ブロックが第１撮像領域１４１に含まれる場合、図２８に示すように第１処理部１５１によって上述した第１補正処理、すなわち置換処理が行われる。これにより、本画像データの注目ブロック内の白飛びまたは黒潰れが生じた第１画像データは、処理用画像データの第２撮像領域１４２に含まれる参照ブロックからの第２画像データによって置換される。このために、第１処理部１５１は、例えば第２処理部１５２からの情報１８２として、処理用画像データの参照ブロックからの第２画像データを受信する。
第２補正処理において、第１処理部１５１または／および第２処理部１５２で行われる第２補正処理は、焦点検出処理を行う場合として上述した図２６についての第２補正処理と同じである。
設定部３４ｂは、第１処理部１５１および第２処理部１５２からの画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
以上説明した第２の実施の形態によれば、次の作用効果が得られる。
（１）画像データに対する前処理（第１補正処理、第２補正処理）を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できる。
（２）画像データの前処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できるとともに、複数の補正部３２２による前処理が並列処理によって短時間に行われるので、レンズ移動制御部３４ｄでの焦点検出処理の開始までの時間を短縮化でき、焦点検出処理の高速化に資する。
（３）画像データの前処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できるとともに、複数の補正部３２２による前処理が並列処理によって短時間に行われるので、物体検出部３４ａでの被写体検出処理の開始までの時間を短縮化でき、被写体検出処理の高速化に資する。
（４）画像データの前処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減できるとともに、複数の補正部３２２による前処理が並列処理によって短時間に行われるので、設定部３４ｂでの撮像条件の設定処理の開始までの時間を短縮化でき、撮像条件の設定処理の高速化に資する。
−−−第２の実施の形態の変形例−−−
次のような変形も本発明の範囲内であり、変形例の１つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１３）
第１の実施の形態の変形例１における図１９(a)〜図１９(c)に示すように、撮像素子３２ａの撮像面において第１撮像領域および第２撮像領域を配置した場合の第１画像データと第２画像データとの処理について説明する。
本変形例においても、変形例１と同様に、図１９(a)〜図１９(c)のいずれの場合も、１フレームの撮像を行った撮像素子３２ａから読み出した画素信号によって、第１撮像領域から読み出した画像信号に基づく第１画像および第２撮像領域から読み出した画像信号に基づく第２画像がそれぞれ生成される。本変形例においても、変形例１と同様に、制御部３４は、第１画像を表示用として用いるとともに、第２画像を検出用として用いる。
第１画像を撮像する第１撮像領域に設定する撮像条件を第１撮像条件と呼び、第２画像を撮像する第２撮像領域に設定する撮像条件を第２撮像条件と呼ぶこととする。制御部３４は、第１撮像条件と、第２撮像条件とを異ならせてもよい。
１．一例として、第１撮像領域に設定される第１撮像条件が撮像画面の第１撮像領域の全体で同一であり、第２撮像領域に設定される第２撮像条件が撮像画面の第２撮像領域の全体で同一である場合について、図２９を参照して説明する。図２９は、第１画像データと第２画像データとの処理について模式的に表した図である。
第１撮像領域１４１に含まれる各画素からは、第１撮像条件で撮像された第１画像データが出力され、第２撮像領域１４２に含まれる各画素からは、第２撮像条件で撮像された第２画像データが出力される。第１撮像領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２撮像領域１４２からの第２画像データは、第２処理部１５２に出力される。
第１処理部１５１は、必要に応じて、第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
第２処理部１５２は、必要に応じて、第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
本例では、第１撮像条件が撮像画面の第１撮像領域の全体で同一であるので、第１処理部１５１は、第１撮像領域に含まれる参照画素Ｐｒからの第１画像データに第２補正処理を行わない。また、第２撮像条件が撮像画面の第２撮像領域の全体で同一であるので、第２処理部１５２は、焦点検出処理、被写体検出処理、および露出演算処理に用いる第２画像データについては第２補正処理を行わない。しかし、第２処理部１５２は、第１画像データの補間に用いる第２画像データについては、第１撮像条件と第２撮像条件との相違による画像データ間の差異を小さくする第２補正処理を行う。第２処理部１５２は、第２補正処理後の第２画像データを矢印１８２で示すように第１処理部１５１に出力する。なお、第２処理部１５２は、第２補正処理後の第２画像データを破線の矢印１８３で示すように生成部３２３に出力してもよい。
第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報１８１を、例えば、第１処理部１５１から受信する。
生成部３２３は、第１処理部１５１からの第１画像データ、および第２処理部１５２で第２補正処理された第２画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
物体検出部３４ａは、第２処理部１５２からの第２画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
設定部３４ｂは、第２処理部１５２からの第２画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
レンズ移動制御部３４ｄは、第２処理部１５２からの第２信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
２．他の一例として、第１撮像領域に設定される第１撮像条件が撮像画面の領域によって異なり、第２撮像領域に設定される第２撮像条件が撮像画面の第２撮像領域の全体で同一である場合について、図２９を参照して説明する。
第１撮像領域１４１に含まれる各画素からは、撮像画面の領域によって異なる第１撮像条件で撮像された第１画像データが出力され、第２撮像領域１４２に含まれる各画素からは、撮像画面の第２撮像領域の全体で同一の第２撮像条件で撮像された第２画像データが出力される。第１撮像領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２撮像領域１４２からの第２画像データは、第２処理部１５２に出力される。
第１処理部１５１は、必要に応じて、第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
第２処理部１５２は、必要に応じて、第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
上述したように本例では、第１撮像領域１４１に設定される第１撮像条件が撮像画面の領域によって異なる。すなわち、第１撮像条件が第１撮像領域１４１内の部分領域によって異なる。第１撮像領域１４１内にともに位置する注目画素Ｐと参照画素Ｐｒとで異なる第１撮像条件が設定されている場合、第１処理部１５１は、当該参照画素Ｐｒからの第１画像データに対して、上述した１−２．で述べた第２補正処理と同様の第２補正処理を行う。なお、注目画素Ｐと参照画素Ｐｒとで同じ第１撮像条件が設定されている場合、第１処理部１５１は、当該参照画素Ｐｒからの第１画像データに対して第２補正処理を行わない。
本例では、第２撮像領域１４２に設定される第２撮像条件が撮像画面の第２撮像領域の全体で同一であるので、第２処理部１５２は、焦点検出処理、被写体検出処理、および露出演算処理に用いる第２画像データについては第２補正処理を行わない。第１画像データの補間に用いる第２画像データについては、第２処理部１５２は、第１撮像領域１４１に含まれる注目画素Ｐについての撮像条件と第２撮像条件との相違による画像データ間の差異を小さくする第２補正処理を行う。第２処理部１５２は、第２補正処理後の第２画像データを第１処理部１５１に出力する（矢印１８２）。なお、第２処理部１５２は、第２補正処理後の第２画像データを生成部３２３に出力してもよい（矢印１８３）。
第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像領域１４１に含まれる注目画素Ｐについての撮像条件についての情報１８１を、例えば、第１処理部１５１から受信する。
生成部３２３は、第１処理部１５１からの第１画像データ、および第２処理部１５２で第２補正処理された第２画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
物体検出部３４ａは、第２処理部１５２からの第２画像データに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
設定部３４ｂは、第２処理部１５２からの第２画像データに基づいて露出演算処理等の撮像条件の算出処理を行い、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
レンズ移動制御部３４ｄは、第２処理部１５２からの第２信号データに基づいて焦点検出処理を行い、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
３．また、他の一例として、第１撮像領域１４１に設定される第１撮像条件が撮像画面の第１撮像領域１４１の全体で同一であり、第２撮像領域１４２に設定される第２撮像条件が撮像画面の領域によって異なる場合について、図２９を参照して説明する。
第１撮像領域１４１に含まれる各画素からは、撮像画面の第１撮像領域１４１の全体で同一の第１撮像条件で撮像された第１画像データが出力され、第２撮像領域１４２に含まれる各画素からは、撮像画面の領域によって異なる第４撮像条件で撮像された第２画像データが出力される。第１撮像領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２撮像領域１４２からの第２画像データは、第２処理部１５２に出力される。
第１処理部１５１は、必要に応じて、第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
第２処理部１５２は、必要に応じて、第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
本例では、第１撮像領域１４１に設定される第１撮像条件が撮像画面の第１撮像領域１４１の全体で同一であるので、第１処理部１５１は、第１撮像領域１４１に含まれる参照画素Ｐｒからの第１画像データに第２補正処理を行わない。
また、本例では、第２撮像領域１４２に設定される第２撮像条件が撮像画面の領域によって異なるので、第２処理部１５２は、第２画像データに対して次のように第２補正処理を行う。第２処理部１５２は、例えば、第２画像データのうちのある撮像条件で撮像された第２画像データに対して第２補正処理を行うことにより、第２補正処理後の第２画像データと、上述したある撮像条件とは異なる他の撮像条件で撮像された第２画像データとの差を小さくする。
本例では、第１画像データの補間に用いる第２画像データについては、第２処理部１５２は、第１撮像領域１４１に含まれる注目画素Ｐについての撮像条件と第２撮像条件との相違による画像データ間の差異を小さくする第２補正処理を行う。第２処理部１５２は、第２補正処理後の第２画像データを第１処理部１５１に出力する（矢印１８２）。なお、第２処理部１５２は、第２補正処理後の第２画像データを生成部３２３に出力してもよい（矢印１８３）。
第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１領域に含まれる注目画素Ｐについての撮像条件についての情報１８１を、例えば、第１処理部１５１から受信する。
生成部３２３は、第１処理部１５１からの第１画像データ、および第２処理部１５２で第２補正処理された第２画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
物体検出部３４ａは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２画像データと、他の撮像条件で撮像された第２画像データとに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
設定部３４ｂは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２画像データと、他の撮像条件で撮像された第２画像データとに基づいて露出演算処理等の撮像条件の算出処理を行う。設定部３４ｂは、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
レンズ移動制御部３４ｄは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２信号データと、他の撮像条件で撮像された第２信号データとに基づいて焦点検出処理を行う、レンズ移動制御部３４ｄは、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
４．さらにまた、他の一例として、第１撮像領域１４１に設定される第１撮像条件が撮像画面の領域によって異なり、第２撮像領域１４２に設定される第２撮像条件が撮像画面の領域によって異なる場合について、図２９を参照して説明する。
第１撮像領域１４１に含まれる各画素からは、撮像画面の領域によって異なる第１撮像条件で撮像された第１画像データが出力され、第２撮像領域１４２に含まれる各画素からは、撮像画面の領域によって異なる第２撮像条件で撮像された第２画像データが出力される。第１撮像領域１４１からの第１画像データは、第１処理部１５１に出力される。同様に、第２撮像領域１４２からの第２画像データは、第２処理部１５２に出力される。
第１処理部１５１は、必要に応じて、第１画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
第２処理部１５２は、必要に応じて、第２画像データに対して上記第１補正処理および上記第２補正処理、または、上記第１補正処理もしくは上記第２補正処理を行う。
上述したように本例では、第１撮像領域１４１に設定される第１撮像条件が撮像画面の領域によって異なる。すなわち、第１撮像条件が第１撮像領域１４１内の部分領域によって異なる。第１撮像領域１４１内にともに位置する注目画素Ｐと参照画素Ｐｒとで異なる第１撮像条件が設定されている場合、第１処理部１５１は、当該参照画素Ｐｒからの第１画像データに対して、上述した１−２．で述べた第２補正処理と同様の第２補正処理を行う。なお、注目画素Ｐと参照画素Ｐｒとで同じ第１撮像条件が設定されている場合、第１処理部１５１は、当該参照画素Ｐｒからの第１画像データに対して第２補正処理を行わない。
また、本例では、第２撮像領域１４２に設定される第２撮像条件が撮像画面の領域によって異なるので、第２処理部１５２は、第２画像データに対して上述した３．の一例のように第２補正処理を行う。
生成部３２３は、第１処理部１５１からの第１画像データ、および第２処理部１５２で第２補正処理された第２画像データに基づいて、画素欠陥補正処理、色補間処理、輪郭強調処理、およびノイズ低減処理等の画像処理を行い、画像処理後の画像データを出力する。
物体検出部３４ａは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２画像データと、他の撮像条件で撮像された第２画像データとに基づいて被写体要素を検出する処理を行い、検出結果を出力する。
設定部３４ｂは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２画像データと、他の撮像条件で撮像された第２画像データとに基づいて露出演算処理等の撮像条件の算出処理を行う。設定部３４ｂは、その演算結果に基づいて、撮像部３２による撮像画面を、検出した被写体要素を含む複数の領域に分割するとともに、複数の領域に対して撮像条件を再設定する。
レンズ移動制御部３４ｄは、第２処理部１５２で第２補正処理された、ある撮像条件で撮像された第２信号データと、他の撮像条件で撮像された第２信号データとに基づいて焦点検出処理を行う、レンズ移動制御部３４ｄは、その演算結果に基づいて、撮像光学系３１のフォーカスレンズを合焦位置へ移動させるための駆動信号を出力する。
（変形例１４）
上述した第２の実施の形態では、補正部３２２の１つとブロック１１１ａ（単位区分）の１つとが対応している。しかし、補正部３２２の１つと、複数のブロック１１１ａ（単位区分）を有する複合ブロック（複合区分）の１つとが対応するようにしてもよい。この場合、補正部３２２は、当該複合ブロックに含まれる複数のブロック１１１ａに属する画素からの画像データを順次補正する。複数の補正部３２２が、複数のブロック１１１ａを有する複合ブロック毎に対応して設けられていても、画像データの第２補正処理を複数の補正部３２２で並列処理できるので、補正部３２２における処理負担を軽減でき、撮像条件が異なる領域でそれぞれ生成された画像データから適切な画像を短時間で生成することができる。
（変形例１５）
上述した第２の実施の形態では、生成部３２３は撮像部３２Ａの内部に設けられている。しかし、生成部３２３を撮像部３２Ａの外部に設けてもよい。生成部３２３を撮像部３２Ａの外部に設けても上述した作用効果と同様の作用効果を奏する。
（変形例１６）
上述した第２の実施の形態では、積層型撮像素子１００Ａは、裏面照射型撮像チップ１１１と、信号処理チップ１１２と、メモリチップ１１３とに加えて、上述した前処理および画像処理を行う画像処理チップ１１４をさらに備える。しかし、積層型撮像素子１００Ａに画像処理チップ１１４を設けず、信号処理チップ１１２に画像処理部３２ｃが設けられていてもよい。
（変形例１７）
上述した第２の実施の形態では、第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報を、第１処理部１５１から受信した。また、第１処理部１５１は、撮像条件の相違による画像データ間の差異を小さくするために必要な第２撮像条件についての情報を、第２処理部１５２から受信した。しかし、第２処理部１５２は、撮像条件の相違による画像データ間の差異を小さくするために必要な第１撮像条件についての情報を、駆動部３２ｂや制御部３４から受信してもよい。同様に、第１処理部１５１は、撮像条件の相違による画像データ間の差異を小さくするために必要な第２撮像条件についての情報を、駆動部３２ｂや制御部３４から受信してもよい。
なお、上述した各実施の形態および変形例は、それぞれ組み合わせてもよい。
以上説明した撮像光学系３１は、ズームレンズやアオリレンズを含んでいてもよい。レンズ移動制御部３４ｄは、ズームレンズを光軸方向に移動させることによって、撮像光学系３１による画角を調節する。すなわち、ズームレンズの移動によって、広い範囲の被写体の像を得たり、遠くの被写体について大きな像を得たりするなど、撮像光学系３１による像を調節することができる。
また、レンズ移動制御部３４ｄは、アオリレンズを光軸に直交する方向に移動させることによって、撮像光学系３１による像の歪みを調節することができる。
そして、撮像光学系３１による像の状態（例えば画角の状態、または像の歪みの状態）を調節するために、上述したような前処理後の画像データを用いる方が好ましいという考え方に基づき、上述した前処理を行うとよい。
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
上述した第１の実施の形態と第２の実施の形態では、補正部３３ｂは、本画像データにおいて白飛びまたは黒潰れが生じた注目ブロックの本画像データを、処理用画像データに基づいて補正を行った。しかし、補正部３３ｂは、本画像データにおいて白飛びまたは黒潰れが生じていないブロックを注目ブロックとしてもよい。例えば、第１の実施の形態の図８において、画素８５ｂ、８５ｄの出力が白飛びまたは黒潰れしていない本画像データに対しても、第１補正処理を行ってもよい。上述した第１の実施の形態と第２の実施の形態では、第１補正処理は処理用画像データを用いて本画像データの一部を置換したが、画素８５ｂ、８５ｄの出力が白飛びまたは黒潰れしていない場合は、第１補正処理として処理用画像データを撮像した撮像条件を用いて、本画像データを出力した画素８５ｂ、８５ｄの出力を補正することとしてもよい。さらに、画素８５ｂ、８５ｄの出力が白飛びまたは黒潰れしていない場合は、第１補正処理として処理用画像データの信号値（画素値）を用いて、本画像データを出力した画素８５ｂ、８５ｄの出力を補正することとしてもよい。補正は、本画像データの撮像で、第１撮像条件が設定されたブロック８５の各画素８５ｂ、８５ｄの信号値を補正することにより、補正後の信号値と第４撮像条件が設定されたブロックの画素の信号値との差が、補正前の信号値と第４撮像条件が設定されたブロックの画素の信号値との差よりも小さくなって（平滑化）いればよい。
上述した第１の実施の形態と第２の実施の形態で説明したように、制御部３４は、本画像データを出力したブロック８５の画像データ（画素の信号値）により、ブロック８５の画像データを、処理用画像データの画素の値を用いて補正（置換）するか否かを判断する。すなわち、制御部３４は、本画像データを出力したブロック８５の画像データに白飛びまたは黒潰れが生じている場合には、処理用画像データの画素を出力した画素を選択し、選択した画素の画像データ（画素の信号値）で白飛びまたは黒潰れが生じた画像データを置換する。なお、処理用画像データの画素の値を使用する条件として、本画像データを出力したブロック８５の画像データ（画素の信号値）が第１閾値以上または第２閾値以下としてもよい。また、制御部３４は、ブロック８５の画像データに白飛びまたは黒潰れが生じていない場合には、ブロック８５の画像データ（画素の画素値）を用いる。この場合には、上述したように第１補正処理として処理用画像データを撮像した撮像条件を用いて補正したり、処理用画像データの信号値（画素値）を用いて、本画像データを出力した画素８５ｂ、８５ｄの出力を補正することとしてもよい。また、制御部３４は、本画像データを出力したブロック８５の画像データに白飛びまたは黒潰れが生じていない場合でも、処理用画像データを出力した画素を選択し、選択した画素の画像データ（画素の信号値）で白飛びまたは黒潰れが生じた画像データを置換こととしてもよい。また、制御部３４は、被写体認識を行い、認識結果に基づいて、第１の補正処理を行ってもよい。例えば、本撮影前に、設定部３４ｂが第１撮像条件と異なる撮像条件を設定して、物体検出部３４aが被写体認識を行う。そして、第１撮像条件で撮像し、補正を行う領域（例えば、画素８５ｂ、８５ｄ）と同じ被写体を撮像した画素の信号値を用いてもよい。このように、第１の実施の形態と第２の実施の形態で説明したように、第１撮像条件が設定されて撮像された被写体は、第１の補正処理により第４撮像条件が設定されて撮像されたように補正される。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１６年第７１９７４号（２０１６年３月３１日出願）
１，１Ｃ…カメラ
１Ｂ…撮像システム
３１…撮像光学系
３２…撮像部
３２ａ、１００…撮像素子
３３…画像処理部
３３ａ，３２１…入力部
３３ｂ，３２２…補正部
３３ｃ，３２３…生成部
３４…制御部
３４ａ…物体検出部
３４ｂ…設定部
３４ｃ…撮像制御部
３４ｄ…レンズ移動制御部
３５…表示部
３８…測光センサ
８０…所定範囲
９０…注目領域
１００１…撮像装置
１００２…表示装置
Ｐ…注目画素

Claims (59)

  1. 第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、
    前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する生成部と、
    を備える撮像装置。
  2. 第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、
    前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する生成部と、
    を備える撮像装置。
  3. 請求項１または２に記載の撮像装置において、
    前記生成部は、前記撮像部によって前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成し、
    前記撮像部によって前記第２撮像条件で撮像された光に基づく画像データは、前記生成部によって前記第１撮像領域で撮像された被写体の画像が生成される画像データとは異なる撮像装置。
  4. 請求項３に記載の撮像装置において、
    前記生成部は、前記撮像部によって前記第２撮像条件で撮像された、前記第１撮像領域に入射した光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する撮像装置。
  5. 請求項３に記載の撮像装置において、
    前記生成部は、前記撮像部によって前記第２撮像条件で撮像された、前記第２撮像領域に入射した光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する撮像装置。
  6. 請求項３から請求項５のいずれか一項に記載の撮像装置において、
    前記撮像部によって前記第２撮像条件で撮像された光に基づく画像データは、前記生成部によって前記第１撮像領域で撮像された被写体の画像が生成される画像データよりも前に前記撮像部によって撮像された撮像装置。
  7. 請求項３から請求項５のいずれか一項に記載の撮像装置において、
    前記撮像部によって前記第２撮像条件で撮像された光に基づく画像データは、前記生成部によって前記第１撮像領域で撮像された被写体の画像が生成される画像データよりも後に前記撮像部によって撮像された撮像装置。
  8. 請求項１または２に記載の撮像装置において、
    前記生成部は、前記撮像部とは異なる撮像部によって前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する撮像装置。
  9. 請求項１または２に記載の撮像装置において、
    前記第２撮像条件で撮像された光に基づく画像データを記憶する記憶部を備え、
    前記生成部は、前記記憶部に記憶されている前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する撮像装置。
  10. 請求項１または２に記載の撮像装置において、
    前記生成部は、前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の一部の画像を生成する撮像装置。
  11. 請求項１または２に記載の撮像装置において、
    前記生成部は、前記第２撮像条件で撮像された前記被写体の光に基づく画像データにより前記第１撮像領域で撮像された前記被写体の画像を生成する撮像装置。
  12. 請求項１または２に記載の撮像装置において、
    前記生成部は、前記第２撮像条件で撮像された前記被写体の光に基づく画像データにより前記第１撮像領域で撮像された、前記第２撮像条件で撮像されるべき前記被写体の画像を生成する撮像装置。
  13. 請求項５に記載の撮像装置において、
    前記第２撮像領域の面積は、前記第１撮像領域の面積よりも大きい撮像装置。
  14. 請求項５に記載の撮像装置において、
    前記第２撮像領域の面積は、前記第１撮像領域の面積以下である撮像装置。
  15. 請求項１４に記載の撮像装置において、
    前記第２撮像領域の面積は、前記第１撮像領域の面積よりも小さい撮像装置。
  16. 請求項５に記載の撮像装置において、
    前記生成部は、前記第２撮像領域の一部の領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像を生成する撮像装置。
  17. 請求項５に記載の撮像装置において、
    前記第２撮像領域は、光を電荷に変換する光電変換部を含む第１領域と光を電荷に変換する光電変換部を含む前記第１領域とは異なる第２領域とを有し、
    前記生成部は、前記第１領域及び前記第２領域のうち、いずれかの領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像を生成する撮像装置。
  18. 請求項１７に記載の撮像装置において、
    前記生成部は、前記第１撮像領域及び前記第１領域の間隔が前記第１撮像領域及び前記第２領域の間隔より短い場合、前記第１領域及び前記第２領域のうち、前記第１領域で撮像された被写体の光により前記第１撮像領域で撮像された被写体の画像を生成する撮像装置。
  19. 請求項５に記載の撮像装置において、
    前記生成部は、前記第２撮像領域で撮像された被写体の画像データから算出されたデータにより前記第１撮像領域で撮像された被写体の画像を生成する撮像装置。
  20. 請求項１９に記載の撮像装置において、
    前記生成部は、前記第２撮像領域で撮像された被写体の画像データを平均して算出されたデータにより前記第１撮像領域で撮像された被写体の画像を生成する撮像装置。
  21. 請求項５に記載の撮像装置において、
    前記生成部は、前記第１撮像領域に入射した被写体の画像の生成を行う第１の生成部と前記第２撮像領域に入射した被写体の画像の生成を行う第２の生成部とを有し、
    前記第１の生成部は、前記第２撮像領域に入射した被写体の光により前記第１撮像領域で撮像された被写体の画像を生成する撮像装置。
  22. 第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部と、
    前記第１撮像条件とは異なる撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する生成部と、
    を備える撮像装置。
  23. 請求項１から請求項２２のいずれか一項に記載の撮像装置において、
    前記撮像部は、前記第１撮像領域及び前記第２撮像領域を含む撮像チップと、前記撮像チップに接続され、前記撮像チップから出力された画像データをデジタルデータに変換する変換部を有する処理チップと、を有する撮像装置。
  24. 請求項２３に記載の撮像装置において、
    前記撮像部は、前記処理チップに接続され、前記処理チップによりデジタルデータに変換された画像データを記憶する記憶部を有するメモリチップを有し、
    前記処理チップは、前記撮像チップ及び前記メモリチップの間に配置されている撮像装置。
  25. 第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部からの画像データを入力する入力部と、
    前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する生成部と、
    を備える画像処理装置。
  26. 第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部からの画像データを入力する入力部と、
    前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像データを生成する生成部と、
    を備える画像処理装置。
  27. 請求項２５または２６に記載の画像処理装置において、
    前記生成部は、前記撮像部によって前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成し、
    前記撮像部によって前記第２撮像条件で撮像された光に基づく画像データは、前記生成部によって前記第１撮像領域で撮像された被写体の画像が生成される画像データとは異なる画像処理装置。
  28. 請求項２７に記載の画像処理装置において、
    前記生成部は、前記撮像部によって前記第２撮像条件で撮像された、前記第１撮像領域に入射した光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する画像処理装置。
  29. 請求項２７に記載の画像処理装置において、
    前記生成部は、前記撮像部によって前記第２撮像条件で撮像された、前記第２撮像領域に入射した光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する画像処理装置。
  30. 請求項２７から請求項２９のいずれか一項に記載の画像処理装置において、
    前記撮像部によって前記第２撮像条件で撮像された光に基づく画像データは、前記生成部によって前記第１撮像領域で撮像された被写体の画像が生成される画像データよりも前に前記撮像部によって撮像された画像処理装置。
  31. 請求項２７から請求項２９のいずれか一項に記載の画像処理装置において、
    前記撮像部によって前記第２撮像条件で撮像された光に基づく画像データは、前記生成部によって前記第１撮像領域で撮像された被写体の画像が生成される画像データよりも後に前記撮像部によって撮像された画像処理装置。
  32. 請求項２５または２６に記載の画像処理装置において、
    前記生成部は、前記撮像部とは異なる撮像部によって前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する画像処理装置。
  33. 請求項２５または２６に記載の画像処理装置において、
    前記第２撮像条件で撮像された光に基づく画像データを記憶する記憶部を備え、
    前記生成部は、前記記憶部に記憶されている前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する画像処理装置。
  34. 請求項２５または２６に記載の画像処理装置において、
    前記生成部は、前記第２撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の一部の画像を生成する画像処理装置。
  35. 請求項２５または２６に記載の画像処理装置において、
    前記生成部は、前記第２撮像条件で撮像された前記被写体の光に基づく画像データにより前記第１撮像領域で撮像された前記被写体の画像を生成する画像処理装置。
  36. 請求項２５または２６に記載の画像処理装置において、
    前記生成部は、前記第２撮像条件で撮像された前記被写体の光に基づく画像データにより前記第１撮像領域で撮像された、前記第２撮像条件で撮像されるべき前記被写体の画像を生成する画像処理装置。
  37. 請求項２９に記載の画像処理装置において、
    前記第２撮像領域の面積は、前記第１撮像領域の面積よりも大きい画像処理装置。
  38. 請求項２９に記載の画像処理装置において、
    前記第２撮像領域の面積は、前記第１撮像領域の面積以下である画像処理装置。
  39. 請求項３８に記載の画像処理装置において、
    前記第２撮像領域の面積は、前記第１撮像領域の面積よりも小さい画像処理装置。
  40. 請求項２９に記載の画像処理装置において、
    前記生成部は、前記第２撮像領域の一部の領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像を生成する画像処理装置。
  41. 請求項２９に記載の画像処理装置において、
    前記第２撮像領域は、光を電荷に変換する光電変換部を含む第１領域と光を電荷に変換する光電変換部を含む前記第１領域とは異なる第２領域とを有し、
    前記生成部は、前記第１領域及び前記第２領域のうち、いずれかの領域で撮像された被写体の画像データにより前記第１撮像領域で撮像された被写体の画像を生成する画像処理装置。
  42. 請求項４１に記載の画像処理装置において、
    前記生成部は、前記第１撮像領域及び前記第１領域の間隔が前記第１撮像領域及び前記第２領域の間隔より短い場合、前記第１領域及び前記第２領域のうち、前記第１領域で撮像された被写体の光により前記第１撮像領域で撮像された被写体の画像を生成する画像処理装置。
  43. 請求項２９に記載の画像処理装置において、
    前記生成部は、前記第２撮像領域で撮像された被写体の画像データから算出されたデータにより前記第１撮像領域で撮像された被写体の画像を生成する画像処理装置。
  44. 請求項４３に記載の画像処理装置において、
    前記生成部は、前記第２撮像領域で撮像された被写体の画像データを平均して算出されたデータにより前記第１撮像領域で撮像された被写体の画像を生成する画像処理装置。
  45. 請求項２９に記載の画像処理装置において、
    前記生成部は、前記第１撮像領域に入射した被写体の画像の生成を行う第１の生成部と前記第２撮像領域に入射した被写体の画像の生成を行う第２の生成部とを有し、
    前記第１の生成部は、前記第２撮像領域に入射した被写体の光により前記第１撮像領域で撮像された被写体の画像を生成する画像処理装置。
  46. 第１撮像条件で撮像する第１撮像領域と前記第１撮像条件とは異なる第２撮像条件で撮像する第２撮像領域とを有する撮像部からの画像データを入力する入力部と、
    前記第１撮像条件とは異なる撮像条件で撮像された光に基づく画像データにより前記第１撮像領域で撮像された被写体の画像を生成する生成部と、
    を備える画像処理装置。
  47. 被写体を撮像する複数の撮像領域を有する第１撮像素子と、
    被写体を撮像する第２撮像素子と、
    前記第１撮像素子の複数の前記撮像領域のうち、第１撮像領域を第２撮像領域とは異なる撮像条件に設定する設定部と、
    前記複数の撮像領域のうち、第1撮像条件で撮像された第１撮像領域の被写体の画像信号の一部を、前記第２撮像素子で撮像された被写体の画像信号により、第２撮像条件により撮像されたように補正して画像を生成する生成部と、
    を備える電子機器。
  48. 複数の画素が配置され、被写体を撮像する第１撮像領域および第２撮像領域を有する第１撮像素子と、
    複数の画素が配置され、被写体を撮像する第２撮像素子と、
    前記第１撮像領域を、前記第２撮像領域の撮像条件と異なる撮像条件に設定する設定部と、
    前記第１撮像素子の前記第１撮像領域に配置された前記画素と前記第２撮像素子に配置された前記画素とのうち、前記第１撮像領域に配置された前記画素からの信号を用いて選択された画素からの信号により、前記第１撮像領域で撮像された被写体の画像を生成する生成部と
    を備える電子機器。
  49. 請求項４８に記載の電子機器において、
    前記生成部は、前記第２撮像素子に配置された前記画素からの信号により、前記第１撮像領域で撮像された被写体の画像を生成する電子機器。
  50. 請求項４９に記載の電子機器において、
    前記生成部は、前記第２撮像素子により異なる撮像条件で撮像され生成された複数の画像のうち、前記第１撮像領域に配置された前記画素からの信号を用いて選択された画像を撮像した前記第２撮像素子に配置された前記画素からの信号により、前記第１撮像領域で撮像された被写体の画像を生成する電子機器。
  51. 請求項４７から請求項４９のいずれか一項に記載の電子機器において、
    前記第１撮像素子の撮像範囲の少なくとも一部は、前記第２撮像素子の撮像範囲の少なくとも一部と同じである電子機器。
  52. 請求項４７から請求項５１のいずれか一項に記載の電子機器において、
    前記第１撮像素子による被写体の撮像と、前記第２撮像素子よる被写体の撮像とは略同時に行われる電子機器。
  53. 被写体を撮像する複数の撮像領域を有する撮像素子と、
    前記撮像素子の複数の前記撮像領域のうち、第１撮像領域を第２撮像領域とは異なる撮像条件に設定する設定部と、
    前記複数の撮像領域のうち、第1撮像条件で撮像された前記第１撮像領域の被写体の画像信号の一部を、第２撮像条件で撮像された前記第１撮像領域の被写体の画像信号により、第２撮像条件により撮像されたように補正して画像を生成する生成部と、
    を備える電子機器。
  54. 複数の画素が配置され、被写体を撮像する第１撮像領域および第２撮像領域を有する撮像素子と、
    前記第１撮像領域を、前記第２撮像領域の撮像条件と異なる撮像条件に設定可能な設定部と、
    前記設定部により第１撮像条件に設定された前記第１撮像領域に配置された前記画素と、前記設定部により第２撮像条件に設定された前記第１撮像領域に配置された前記画素とのうち、前記設定部により前記第１撮像条件に設定された前記第１撮像領域に配置された前記画素からの信号を用いて選択された画素からの信号により、前記第１撮像領域で撮像された被写体の画像を生成する生成部と、
    を備える電子機器。
  55. 請求項５４に記載の電子機器において、
    前記生成部は、前記設定部により前記第２撮像条件に設定された前記第１撮像領域に配置された前記画素からの信号により、前記第１撮像領域で撮像された被写体の画像を生成する電子機器。
  56. 請求項５４に記載の電子機器において、
    前記生成部は、前記設定部により前記第２撮像条件に設定された前記第１撮像領域に配置された前記画素からの信号により、前記第１撮像領域の少なくとも一部で撮像された被写体の画像を生成する電子機器。
  57. 請求項５３から請求項５６のいずれか一項に記載の電子機器において、
    前記第１撮像条件に設定された前記第１撮像領域で撮像された第１画像と、前記第２撮像条件に設定された前記第１撮像領域で撮像された第２画像とは異なる電子機器。
  58. 請求項５７に記載の電子機器において、
    前記第２画像は、前記第１画像より先に撮像された電子機器。
  59. 請求項５７に記載の電子機器において、
    前記第２画像は、前記第１画像より後に撮像された電子機器。
JP2018509351A 2016-03-31 2017-03-29 撮像装置、画像処理装置、および電子機器 Pending JPWO2017170716A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016071974 2016-03-31
JP2016071974 2016-03-31
PCT/JP2017/012957 WO2017170716A1 (ja) 2016-03-31 2017-03-29 撮像装置、画像処理装置、および電子機器

Publications (1)

Publication Number Publication Date
JPWO2017170716A1 true JPWO2017170716A1 (ja) 2019-03-07

Family

ID=59965688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018509351A Pending JPWO2017170716A1 (ja) 2016-03-31 2017-03-29 撮像装置、画像処理装置、および電子機器

Country Status (5)

Country Link
US (1) US20190182419A1 (ja)
EP (1) EP3439282A4 (ja)
JP (1) JPWO2017170716A1 (ja)
CN (1) CN109196855A (ja)
WO (1) WO2017170716A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141531B (zh) * 2015-09-30 2021-01-05 株式会社尼康 摄像装置
US10284800B2 (en) * 2016-10-21 2019-05-07 Canon Kabushiki Kaisha Solid-state image pickup element, method of controlling a solid-state image pickup element, and image pickup apparatus
US11574945B2 (en) 2017-11-23 2023-02-07 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
JP7297406B2 (ja) 2017-12-18 2023-06-26 キヤノン株式会社 制御装置、撮像装置、制御方法およびプログラム
JP7156367B2 (ja) * 2018-03-30 2022-10-19 株式会社ニコン 動画圧縮装置、伸張装置、電子機器、動画圧縮プログラム、および伸張プログラム
EP3904956A4 (en) * 2018-12-28 2022-02-16 Sony Group Corporation IMAGING APPARATUS, IMAGING PROCEDURE AND PROGRAM
JP2023165433A (ja) * 2022-05-06 2023-11-16 コニカミノルタ株式会社 処理システム、処理装置、処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355650A (ja) * 1998-06-09 1999-12-24 Nikon Corp 画像取り込み装置
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US8022994B2 (en) * 2007-08-31 2011-09-20 Omnivision Technologies, Inc. Image sensor with high dynamic range in down-sampling mode
KR101563882B1 (ko) * 2011-09-21 2015-11-09 한국전자통신연구원 센서신호 처리 장치 및 이를 포함하는 센서신호 분산처리 시스템
CN109256404B (zh) * 2013-07-04 2023-08-15 株式会社尼康 摄像元件以及电子设备
CN105474627B (zh) * 2013-08-12 2019-06-04 株式会社尼康 电子设备
JP6547266B2 (ja) * 2013-10-01 2019-07-24 株式会社ニコン 電子機器、電子機器の制御方法、及び制御プログラム電子機器

Also Published As

Publication number Publication date
EP3439282A4 (en) 2019-11-13
WO2017170716A1 (ja) 2017-10-05
US20190182419A1 (en) 2019-06-13
EP3439282A1 (en) 2019-02-06
CN109196855A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
JP7372034B2 (ja) 撮像装置、および画像処理装置
JP6604384B2 (ja) 撮像装置
WO2017057279A1 (ja) 撮像装置、画像処理装置、および表示装置
WO2017170716A1 (ja) 撮像装置、画像処理装置、および電子機器
WO2017057492A1 (ja) 撮像装置および画像処理装置
WO2017170717A1 (ja) 撮像装置、焦点調節装置、および電子機器
JP2018160830A (ja) 撮像装置
WO2017170726A1 (ja) 撮像装置および電子機器
WO2017057494A1 (ja) 撮像装置および画像処理装置
WO2017170719A1 (ja) 撮像装置、および電子機器
WO2017170718A1 (ja) 撮像装置、被写体検出装置、および電子機器
JP6589988B2 (ja) 撮像装置
JP6589989B2 (ja) 撮像装置
JP6604385B2 (ja) 撮像装置
WO2017170724A1 (ja) 撮像装置、レンズ調節装置、および電子機器
WO2017170725A1 (ja) 撮像装置、被写体検出装置、および電子機器
JP6551533B2 (ja) 撮像装置および画像処理装置
WO2017057267A1 (ja) 撮像装置、および焦点検出装置
WO2017057493A1 (ja) 撮像装置および画像処理装置
WO2017057280A1 (ja) 撮像装置、および被写体検出装置
WO2017057268A1 (ja) 撮像装置、および制御装置