JP6585195B2 - 撮像装置、及び、画像データ生成方法 - Google Patents

撮像装置、及び、画像データ生成方法 Download PDF

Info

Publication number
JP6585195B2
JP6585195B2 JP2017563730A JP2017563730A JP6585195B2 JP 6585195 B2 JP6585195 B2 JP 6585195B2 JP 2017563730 A JP2017563730 A JP 2017563730A JP 2017563730 A JP2017563730 A JP 2017563730A JP 6585195 B2 JP6585195 B2 JP 6585195B2
Authority
JP
Japan
Prior art keywords
image data
pixel
light receiving
primary image
saturated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017563730A
Other languages
English (en)
Other versions
JPWO2017130581A1 (ja
Inventor
小野　修司
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017130581A1 publication Critical patent/JPWO2017130581A1/ja
Application granted granted Critical
Publication of JP6585195B2 publication Critical patent/JP6585195B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/626—Reduction of noise due to residual charges remaining after image readout, e.g. to remove ghost images or afterimages
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、撮像装置、及び、画像データ生成方法に係り、特に、複数の光学系を備えた撮影レンズ、及び、各受光センサが光の入射角に関して指向性を有するイメージセンサを使用することにより、一度に複数の画像を撮像可能な撮像装置、及び、画像データ生成方法に関する。
複数の光学系を備えた撮影レンズ、及び、各受光センサが光の入射角に関して指向性を有するイメージセンサを使用することにより、一度に複数の画像を撮像可能な撮像装置が知られている（たとえば、特許文献１）。この撮像装置では、撮影レンズの各光学系を通過する光をイメージセンサの各受光センサで選択的に受光することにより、各光学系に対応した画像を撮像する。しかし、各光学系からの光を各受光センサで完全に分離して受光することは難しい。この結果、混信（クロストーク）が生じる。混信とは、他の光学系からの光が混入して受光される現象である。混信が生じると、他の光学系の画像が重畳した画像が撮像される（図１３及び図１４参照）。特許文献２、３には、撮影により得られた各光学系の画像を相互に利用し、信号処理によって各画像から混信の影響を除去する方法が提案されている。
国際公開第２０１３／０１８４７１号 国際公開第２０１３／１４６５０６号 特開２０１４−１７８１９０号公報
イメージセンサは、露光量に比例した信号（電圧）を出力する。しかし、線形性が保たれる範囲は有限であり、飽和露光量を超えて露光すると、出力は一定となる。
一方、混信の影響を除去する処理は、各光学系の画像を相互に利用して行われる。このため、各光学系の画像に一部でも飽和が生じていると、正しく混信の影響を除去できず、却って画像品質が低下するという問題がある（図４２参照）。
本発明は、このような事情に鑑みてなされたもので、混信の影響を低減して高品質な画像を得られる撮像装置、及び、画像データ生成方法を提供することを目的とする。
課題を解決するための手段は、次のとおりである。
（１）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサを各画素に備えたイメージセンサと、イメージセンサの各画素の各受光センサから出力される画像信号を取得し、ｍ個の一次画像データを生成する一次画像データ生成部と、一次画像データから画素値が飽和している画素を検出する飽和画素検出部と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部であって、画素値が飽和している一次画像データを処理対象に含む場合、画素値が飽和している一次画像データを除外し、残りの一次画像データに混信除去処理を施して、二次画像データを生成する二次画像データ生成部と、を備えた撮像装置。
本態様によれば、イメージセンサの各画素に混信比率及び受光感度の組み合わせが異なるｍ個の受光センサが備えられる。これにより、1回の露光でｍ個の画像データを生成できる。すなわち、各画素から対応する受光センサの出力を取得することにより、ｍ個の画像データを生成できる。この画像データを一次画像データとする。各光学系に対応した画像データ（二次画像データ）は、このｍ個の一次画像データから生成される。すなわち、ｍ個の一次画像データに対して混信除去処理を施すことにより生成される。混信除去処理は、画素単位で行われる。処理の際、画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。これにより、正確に混信の影響を除去でき、高品質な画像を生成できる。また、各画素に受光感度の異なる受光センサを備えることにより、ダイナミックレンジも拡大できる。
なお、「混信比率」とは、各光学系から受光する光の割合のことをいう。たとえば、撮影レンズに３つの光学系が備えられているとする。３つの光学系を第１光学系、第２光学系、第３光学系とする。受光センサにおける混信比率が、第１光学系：第２光学系：第３光学系＝０．８：０．１：０．１であるとする。この場合、受光センサには、全受光量を１とすると、第１光学系から０．８、第２光学系から０．１、第３光学系から０．１の割合で光が受光される。すなわち、受光センサで受光される光のうち８割が第１光学系からの光、１割が第２光学系からの光、１割が第３光学系からの光となる。
「混信比率が異なる」とは、各光学系から受光する光の割合が異なる、ということである。したがって、「混信比率が異なる受光センサ」とは、各光学系から受光される光の割合が異なる受光センサのことである。
また、「受光感度が異なる受光センサ」とは、単位入射光量当たりで発生する出力信号（電圧）が異なる受光センサのことである。
また、「混信除去処理」とは、画像から混信の影響を除去する処理のことである。混信が生じると、他の光学系の画像が重畳した画像が撮像される。混信除去処理により、他の光学系の画像を分離し、除去する。
さらに、「撮像特性」とは、撮像に関わる性質のことをいい、「撮像特性の異なる光学系」とは、撮像に関わる性質が互いに異なる光学系のことをいう。たとえば、焦点距離の異なる光学系、合焦距離の異なる光学系、透過波長特性の異なる光学系などである。
（２）一次画像データの画素値をA1、A2、…、Am、二次画像データの画素値をB1、B2、…、Bn、各受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、各受光センサの受光感度に応じた係数をs1、s2、…、smとした場合に、二次画像データ生成部は、混信除去処理として、次の連立方程式
A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn
A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn
…
Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn
を解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して連立方程式を立て、二次画像データを生成する、（１）の撮像装置。
本態様によれば、混信除去処理として、所定の連立方程式を解く処理が行われる。連立方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して連立方程式が立てられる。
（３）各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと各受光センサの受光感度に応じた係数s1、s2、…、smとの積s1*C1＝s1*C11：s1*C12：…：s1*C1n、s2*C2＝s2*C21：s2*C22：…：s2*C2n、…、sm*Cm＝sm*Cm1：sm*Cm2：…：sm*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、二次画像データ生成部は、混信除去処理として、次の行列方程式Ｂ=Ｔ-1*Ａを解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して行列方程式を立て、二次画像データを生成する、（１）の撮像装置。
本態様によれば、混信除去処理として、所定の行列方程式を解く処理が行われる。行列方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して行列方程式が立てられる。
（４）逆行列Ｔ-1の情報を記憶した逆行列情報記憶部を更に備え、二次画像データ生成部は、逆行列情報記憶部に記憶された逆行列Ｔ-1の情報を利用して、行列方程式を解く、（３）の撮像装置。
本態様によれば、逆行列情報記憶部に記憶された逆行列Ｔ-1の情報を利用して、行列方程式が解かれる。
（５）逆行列情報記憶部は、画素ごとの逆行列Ｔ-1の情報を記憶する、（４）の撮像装置。
本態様によれば、画素ごとに逆行列Ｔ-1の情報が記憶される。これにより、より正確に混信の影響を除去できる。
（６）ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、二次画像データ生成部は、混信除去処理は実施せず、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、処理対象とする画素における二次画像データの画素値を算出する、（１）から（５）のいずれか１の撮像装置。
本態様によれば、画素値が飽和している一次画像データを除外した結果、処理対象とする画素における一次画像データの数（ｍ−ｋ）が、撮影レンズに備えられる光学系の数（ｎ）よりも少なくなる場合（（ｍ−ｋ）＜ｎ）、当該画素での混信除去処理が中止される。たとえば、撮影レンズに備えられる光学系の数（ｎ）が２、各画素に備えられる受光センサの数（ｍ）が４である場合において、特定の画素で３つの一次画像データの画素値が飽和している場合が該当する。この場合、当該画素については、混信除去処理が行われない。代替措置として、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、二次画像データの画素値が算出される。これにより、より適切に混信の影響を除去できる。なお、飽和していない一次画像データの混信比率は、当該一次画像データを生成した受光センサの混信比率となる。
（７）ｍ＝ｋの場合、二次画像データ生成部は、処理対象とする画素における二次画像データの画素値を飽和値とする、（６）の撮像装置。
本態様によれば、処理対処とする画素において、すべての受光センサが飽和している場合（ｍ＝ｋ）、当該画素における二次画像データの画素値が飽和値とされる。
（８）受光センサは、光電変換素子と、撮影レンズの射出瞳の像を光電変換素子に結像させるマイクロレンズと、マイクロレンズと受光センサとの間に配置される遮光マスクと、を備え、遮光マスクの形状が異なることにより、受光感度が異なる、（１）から（７）のいずれか１の撮像装置。
本態様によれば、遮光マスクの形状によって、個々の受光センサの受光感度が調整される。たとえば、開口のサイズを変えることにより、受光感度を調整できる。
（９）受光センサは、フィルタを備え、フィルタの透過率が異なることにより、受光感度が異なる、（１）から（７）のいずれか１の撮像装置。
本態様によれば、フィルタの透過率によって、個々の受光センサの受光感度が調整される。フィルタには、たとえば、ＮＤフィルタ（ＮＤ： Neutral Density）が使用され、そのＮＤフィルタの濃度（透過率）を変えることにより、個々の受光センサの受光感度が調整される。
（１０）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、混信比率の異なるｎ個以上の受光センサを各画素に備えたイメージセンサと、異なる露出値でイメージセンサを複数回露光させる露光制御部と、露光ごとにイメージセンサの各画素の各受光センサから出力される画像信号を取得し、ｍ＞ｎとなるｍ個の一次画像データを生成する一次画像データ生成部と、一次画像データから画素値が飽和している画素を検出する飽和画素検出部と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部であって、画素値が飽和している一次画像データを処理対象に含む場合、画素値が飽和している一次画像データを除外し、残りの一次画像データに混信除去処理を施して、二次画像データを生成する二次画像データ生成部と、を備えた撮像装置。
本態様によれば、１回の撮像指示に対して、複数回露光される。露光は、毎回露出値を変えて行われる。露出値を変えて複数回露光することにより、明るさの異なる画像データを複数個取得できる。これらの画像データは、混信比率及び受光感度の組み合わせが異なる画像データとなる。たとえば、混信比率の異なる２つの受光センサを各画素に備えたイメージセンサの場合、露出値を変えて２回撮像すると、４個の画像データを生成できる。この画像データを一次画像データとする。各光学系に対応した画像データ（二次画像データ）は、このｍ個の一次画像データから生成される。すなわち、ｍ個の一次画像データに対して混信除去処理を施すことにより生成される。混信除去処理は、画素単位で行われる。処理の際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。これにより、正確に混信の影響を除去でき、高品質な画像を得られる。また、各画素に受光感度の異なる受光センサを備えることにより、ダイナミックレンジも拡大できる。
なお、「露出値」とは、露出の明るさを示す数値である。露出値は、撮影レンズの絞り（Ｆ値）、露光時間（シャッタースピード）、及び、感度の組み合わせによって決まる。
（１１）一次画像データの画素値をA1、A2、…、Am、二次画像データの画素値をB1、B2、…、Bn、各一次画像データに対応する受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、各一次画像データの露光時の露出値に応じた係数をe1、e2、…、emとした場合に、二次画像データ生成部は、混信除去処理として、次の連立方程式
A1=e1*C11*B1+e1*C12*B2+…+e1*C1n*Bn
A2=e2*C21*B1+e2*C22*B2+…+e2*C2n*Bn
…
Am=em*Cm1*B1+em*Cm2*B2+…+em*Cmn*Bn
を解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して連立方程式を立て、二次画像データを生成する、（１０）の撮像装置。
本態様によれば、混信除去処理として、所定の連立方程式を解く処理が行われる。連立方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して連立方程式が立てられる。
（１２）各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、各一次画像データに対応する受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと各一次画像データの露光時の露出値に応じた係数e1、e2、…、emとの積e1*C1＝e1*C11：e1*C12：…：e1*C1n、e2*C2＝e2*C21：e2*C22：…：e2*C2n、…、em*Cm＝em*Cm1：em*Cm2：…：em*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、二次画像データ生成部は、混信除去処理として、次の行列方程式Ｂ=Ｔ-1*Ａを解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して行列方程式を立て、二次画像データを生成する、（１０）の撮像装置。
本態様によれば、混信除去処理として、所定の行列方程式を解く処理が行われる。行列方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して行列方程式が立てられる。
（１３）逆行列Ｔ-1の情報を記憶した逆行列情報記憶部を更に備え、二次画像データ生成部は、逆行列情報記憶部に記憶された逆行列Ｔ-1の情報を利用して、行列方程式を解く、（１２）の撮像装置。
本態様によれば、逆行列情報記憶部に記憶された逆行列Ｔ-1の情報を利用して、行列方程式が解かれる。
（１４）逆行列情報記憶部は、画素ごとの逆行列Ｔ-1の情報を記憶する、（１３）の撮像装置。
本態様によれば、画素ごとに逆行列Ｔ-1の情報が記憶される。これにより、より正確に混信の影響を除去できる。
（１５）ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している前記一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、二次画像データ生成部は、混信除去処理は実施せず、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、処理対象とする画素における二次画像データの画素値を算出する、（１０）から（１４）のいずれか１の撮像装置。
本態様によれば、画素値が飽和している一次画像データを除外した結果、処理対象とする画素における一次画像データの数（ｍ−ｋ）が、撮影レンズに備えられる光学系の数（ｎ）よりも少なくなる場合（（ｍ−ｋ）＜ｎ）、当該画素での混信除去処理が中止される。代替措置として、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、二次画像データの画素値が算出される。これにより、より適切に混信の影響を除去できる。
（１６）ｍ＝ｋの場合、二次画像データ生成部は、処理対象とする画素における二次画像データの画素値を飽和値とする、（１５）の撮像装置。
本態様によれば、処理対処とする画素において、すべての受光センサが飽和している場合（ｍ＝ｋ）、当該画素における二次画像データの画素値が飽和値とされる。
（１７）撮影レンズに備えられる複数の光学系は、互いに焦点距離が異なる、（１）から（１６）のいずれか１の撮像装置。
本態様によれば、撮影レンズに備えられる各光学系が、互いに焦点距離の異なる光学系で構成される。これにより、たとえば、望遠画像と広角画像のように、互いに焦点距離の異なる画像を撮像できる。
（１８）撮影レンズに備えられる複数の光学系は、互いに合焦距離が異なる、（１）から（１６）のいずれか１の撮像装置。
本態様によれば、撮影レンズに備えられる各光学系が、互いに合焦距離の異なる光学系で構成される。これにより、近距離の被写体に合焦した画像と遠距離の被写体に合焦した画像のように、互いに合焦距離の異なる画像を撮像できる。
（１９）撮影レンズに備えられる複数の光学系は、互いに透過波長特性の異なる、（１）から（１６）のいずれか１の撮像装置。
本態様によれば、撮影レンズに備えられる各光学系が、互いに透過波長特性の異なる光学系で構成される。「透過波長特性」とは、特定の波長域の光を透過させる性質のことをいい、「透過波長特性の異なる光学系」とは、特定の波長域の光を透過させる性質が互いに異なる光学系のことをいう。たとえば、撮影レンズが２つの光学系で構成される場合において、一方の光学系が赤外光領域の光を透過させる光学系で構成され、他方の光学系が可視光領域の光を透過させる光学系で構成される場合である。
（２０）撮影レンズに備えられる複数の光学系は、互いに同心状に配置される、（１）から（１９）のいずれか１の撮像装置。
本態様によれば、撮影レンズは、複数の光学系を同心状に配置して構成される。
（２１）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置の画像データ生成方法であって、イメージセンサを露光する工程と、イメージセンサの各画素の各受光センサから出力される画像信号を取得し、ｍ個の一次画像データを生成する工程と、一次画像データから画素値が飽和している画素を検出する工程と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する工程であって、画素値が飽和している一次画像データを処理対象に含む場合、画素値が飽和している一次画像データを除外し、残りの一次画像データに混信除去処理を施して、二次画像データを生成する工程と、を備えた撮像装置の画像データ生成方法。
本態様によれば、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサが、イメージセンサの各画素に備えられる。この受光センサの数（ｍ）は、撮影レンズに備えられる光学系の数（ｎ）よりも多くされる。露光により受光センサが飽和した場合は、飽和した受光センサを除いた残りの受光センサの出力に基づいて、混信除去処理が行われ、二次画像データが生成される。これにより、正確に混信の影響を除去でき、高品質な画像を得られる。また、各画素に受光感度の異なる受光センサを備えることにより、ダイナミックレンジも拡大できる。
（２２）一次画像データの画素値をA1、A2、…、Am、二次画像データの画素値をB1、B2、…、Bn、各受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、各受光センサの受光感度に応じた係数をs1、s2、…、smとした場合に、二次画像データを生成する工程は、混信除去処理として、次の連立方程式
A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn
A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn
…
Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn
を解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して連立方程式を立て、二次画像データを生成する、（２１）の撮像装置の画像データ生成方法。
本態様によれば、混信除去処理として、所定の連立方程式を解く処理が行われる。連立方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して連立方程式が立てられる。
（２３）各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと各受光センサの受光感度に応じた係数s1、s2、…、smとの積s1*C1＝s1*C11：s1*C12：…：s1*C1n、s2*C2＝s2*C21：s2*C22：…：s2*C2n、…、sm*Cm＝sm*Cm1：sm*Cm2：…：sm*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、二次画像データを生成する工程は、混信除去処理として、次の行列方程式Ｂ=Ｔ-1*Ａを解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して行列方程式を立て、二次画像データを生成する、（２１）の撮像装置の画像データ生成方法。
本態様によれば、混信除去処理として、所定の行列方程式を解く処理が行われる。行列方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して行列方程式が立てられる。
（２４）ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、二次画像データを生成する工程は、混信除去処理は実施せず、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、処理対象とする画素における二次画像データの画素値を算出する、（２１）から（２３）のいずれか１の撮像装置の画像データ生成方法。
本態様によれば、画素値が飽和している一次画像データを除外した結果、処理対象とする画素における一次画像データの数（ｍ−ｋ）が、撮影レンズに備えられる光学系の数（ｎ）よりも少なくなる場合（（ｍ−ｋ）＜ｎ）、当該画素での混信除去処理が中止される。この場合、代替措置として、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、二次画像データの画素値が算出される。これにより、より適切に混信の影響を除去できる。
（２５）ｍ＝ｋの場合、二次画像データを生成する工程は、処理対象とする画素における二次画像データの画素値を飽和値とする、（２４）の撮像装置の画像データ生成方法。
本態様によれば、処理対処とする画素において、すべての受光センサが飽和している場合（ｍ＝ｋ）、当該画素における二次画像データの画素値が飽和値とされる。
（２６）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、混信比率の異なるｎ個以上の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置の画像データ生成方法であって、異なる露出値でイメージセンサを複数回露光する工程と、露光ごとにイメージセンサの各画素の各受光センサから出力される画像信号を取得し、ｍ＞ｎとなるｍ個の一次画像データを生成する工程と、一次画像データから画素値が飽和している画素を検出する工程と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する工程であって、画素値が飽和している一次画像データを処理対象に含む場合、画素値が飽和している一次画像データを除外し、残りの一次画像データに混信除去処理を施して、二次画像データを生成する工程と、を備えた撮像装置の画像データ生成方法。
本態様によれば、１回の撮像指示に対して、複数回露光される。露光は、毎回露出値を変えて行われる。露出値を変えて複数回露光することにより、明るさの異なる画像データを複数個取得できる。これらの画像データは、混信比率及び受光感度の組み合わせが異なる画像データとなる。この画像データを一次画像データとする。各光学系に対応した画像データ（二次画像データ）は、このｍ個の一次画像データから生成される。すなわち、ｍ個の一次画像データに対して混信除去処理を施すことにより生成される。混信除去処理は、画素単位で行われる。処理の際、画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。これにより、正確に混信の影響を除去でき、高品質な画像を得られる。また、各画素に受光感度の異なる受光センサを備えることにより、ダイナミックレンジも拡大できる。
（２７）一次画像データの画素値をA1、A2、…、Am、二次画像データの画素値をB1、B2、…、Bn、各一次画像データに対応する受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、各一次画像データの露光時の露出値に応じた係数をe1、e2、…、emとした場合に、二次画像データを生成する工程は、混信除去処理として、次の連立方程式
A1=e1*C11*B1+e1*C12*B2+…+e1*C1n*Bn
A2=e2*C21*B1+e2*C22*B2+…+e2*C2n*Bn
…
Am=em*Cm1*B1+em*Cm2*B2+…+em*Cmn*Bn
を解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して連立方程式を立て、二次画像データを生成する、（２６）の撮像装置の画像データ生成方法。
本態様によれば、混信除去処理として、所定の連立方程式を解く処理が行われる。連立方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して連立方程式が立てられる。
（２８）各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、各一次画像データに対応する受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと各一次画像データの露光時の露出値に応じた係数e1、e2、…、emとの積e1*C1＝e1*C11：e1*C12：…：e1*C1n、e2*C2＝e2*C21：e2*C22：…：e2*C2n、…、em*Cm＝em*Cm1：em*Cm2：…：em*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、二次画像データを生成する工程は、混信除去処理として、次の行列方程式Ｂ=Ｔ-1*Ａを解いて、二次画像データを生成し、処理対象とする画素に画素値が飽和している一次画像データを含む場合、画素値が飽和している一次画像データを除外して行列方程式を立て、二次画像データを生成する、（２６）の撮像装置の画像データ生成方法。
本態様によれば、混信除去処理として、所定の行列方程式を解く処理が行われる。行列方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して行列方程式が立てられる。
（２９）ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、二次画像データを生成する工程は、混信除去処理は実施せず、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、処理対象とする画素における二次画像データの画素値を算出する、（２６）から（２８）のいずれか１の撮像装置の画像データ生成方法。
本態様によれば、画素値が飽和している一次画像データを除外した結果、処理対象とする画素における一次画像データの数（ｍ−ｋ）が、撮影レンズに備えられる光学系の数（ｎ）よりも少なくなる場合（（ｍ−ｋ）＜ｎ）、当該画素での混信除去処理が中止される。代替措置として、飽和していない一次画像データの画素値、及び、飽和していない一次画像データの混信比率に基づいて、二次画像データの画素値が算出される。これにより、より適切に混信の影響を除去できる。
（３０）ｍ＝ｋの場合、二次画像データを生成する工程は、処理対象とする画素における二次画像データの画素値を飽和値とする、（２９）の撮像装置の画像データ生成方法。
本態様によれば、処理対処とする画素において、すべての受光センサが飽和している場合（ｍ＝ｋ）、当該画素における二次画像データの画素値が飽和値とされる。
本発明によれば、混信の影響を低減して高品質な画像を得られる。
撮像装置のシステム構成を示すブロック図 撮影レンズの概略構成を示す正面図 図２の３−３断面図 第１光学系の概略構成を示す断面図 第２光学系の概略構成を示す断面図 イメージセンサの受光面の正面図 イメージセンサの１つの画素を拡大した正面図 受光センサの概略構成を示す断面図 受光センサの概略構成を示す断面図 第１受光センサ及び第２受光センサにおける入射光量と出力信号との関係を示すグラフ イメージセンサの出力から４個の一次画像データを生成する概念図 イメージセンサの出力から個々の一次画像データを生成する概念図 第１の一次画像データＦＩ１が表わす画像の一例を示す図 第２の一次画像データＦＩ２が表わす画像の一例を示す図 第１の二次画像データＳＩ１が表わす画像を示す図 第２の二次画像データＳＩ２が表わす画像を示す図 第１の一次画像データの構成の概念図 第２の一次画像データの構成の概念図 一次画像データと二次画像データとの関係を行列で表現した概念図 一次画像データと二次画像データとの関係を示す行列方程式 逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図 逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式 一次画像データと二次画像データとの関係を示す概念図 一次画像データと二次画像データとの関係を行列で表現した概念図 一次画像データと二次画像データとの関係を示す行列方程式 逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図 逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式 処理対象とする画素に画素値が飽和している一次画像データを含む場合の一次画像データと二次画像データとの関係を示す概念図 第１の一次画像データを除いた場合の一次画像データと二次画像データとの関係を行列で表現した概念図 第１の一次画像データを除いた場合の一次画像データと二次画像データ 逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図 逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式 二次画像データの生成処理の手順を示すフローチャート デジタル信号処理部が備える機能のブロック図 処理対象とする画素に画素値が飽和している一次画像データを含む場合の処理の手順を示すフローチャート 第２の実施の形態の撮像装置のシステム構成を示すブロック図 イメージセンサの一部を拡大した正面図 デジタル信号処理部が備える機能のブロック図 第２の実施の形態の撮像装置による画像データの生成処理の手順を示すフローチャート 一次画像データの生成の概念図 本発明に係る画像データ生成方法で生成した二次画像データが表わす画像 従来の方法で生成した二次画像データが表わす画像
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
［第１の実施の形態］
《撮像装置の装置構成》
図１は、撮像装置のシステム構成を示すブロック図である。
撮像装置１は、主として、撮影レンズ１０と、イメージセンサ１００と、レンズ駆動制御部２１０と、イメージセンサ駆動制御部２１２と、アナログ信号処理部２１４と、デジタル信号処理部２１６と、表示部２１８と、ワークメモリ２２０と、記憶部２２２と、メディアインターフェース２２４と、システム制御部２２６と、操作部２２８と、を備えて構成される。
〈撮影レンズ〉
図２は、撮影レンズの概略構成を示す正面図である。図３は、図２の３−３断面図である。
撮影レンズ１０は、２つの光学系２０及び３０を備える。２つの光学系２０及び３０は、同心状に配置される。したがって、各光学系２０及び３０は、同じ光軸Ｌを有する。以下、中央の光学系２０を第１光学系、外周の光学系３０を第２光学系と称して、各光学系を区別する。
第１光学系２０及び第２光学系３０は、互いに焦点距離の異なる光学系で構成される。第１光学系２０は、広角の光学系で構成され、第２光学系３０は、望遠の光学系で構成される。ここで、広角の光学系とは、標準の光学系（画角が５０°前後の光学系）よりも焦点距離の短い光学系をいう。また、望遠の光学系とは、標準の光学系よりも焦点距離の長い光学系をいう。
〔第１光学系〕
図４は、第１光学系の概略構成を示す断面図である。なお、同図において、破線は、第１光学系２０を通る光の光線軌跡を示している。
図４に示すように、第１光学系２０は、３群８枚のレンズで構成される。第１光学系２０は、第２レンズ群と第３レンズ群との間に絞り２２を有する。絞り２２は、環状の遮光部を有する。絞り２２は、環状の遮光部の内径を拡縮させて、第１光学系２０を通る光の光量を調節する。
〔第２光学系〕
図５は、第２光学系の概略構成を示す断面図である。なお、同図において、破線は、第２光学系３０を通る光の光線軌跡を示している。
図５に示すように、第２光学系３０は、いわゆる反射光学系で構成される。第２光学系３０は、第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃ、主鏡３０ｄ、及び、副鏡３０ｅを備える。第２光学系３０は、第１光学系２０の外周に配置されるため、各構成要素は環状に形成される。
第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃは、物体側から第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃの順で光軸Ｌに沿って配置される。
主鏡３０ｄは、第３レンズ３０ｃの像面側の面に備えられる。主鏡３０ｄは、第３レンズ３０ｃの像面側の面に反射膜を形成することにより、第３レンズ３０ｃに一体的に備えられる。主鏡３０ｄは、第３レンズ３０ｃの像面側の面の全面に備えられる。
副鏡３０ｅは、第２レンズ３０ｂの像面側の面に備えられる。副鏡３０ｅは、第２レンズ３０ｂの像面側の面に反射膜を形成することにより、第２レンズ３０ｂに一体的に備えられる。副鏡３０ｅは、第２レンズ３０ｂの像面側の面の内周部分に備えられる。
第２光学系３０に入射した光は、第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃを通過して、主鏡３０ｄに入射する。主鏡３０ｄに入射した光は、主鏡３０ｄで反射し、再び第３レンズ３０ｃを通って副鏡３０ｅに入射する。副鏡３０ｅに入射した光は、副鏡３０ｅで反射して出射する。
第２光学系３０は、副鏡３０ｅの後段に絞り３２を有する。絞り３２は、環状の遮光部を有する。絞り３２は、環状の遮光部の外径を拡縮させて、第２光学系３０を通る光の光量を調整する。
〔共通レンズ〕
撮影レンズ１０は、第１光学系２０及び第２光学系３０で共用される共通レンズ４０を有する。第１光学系２０及び第２光学系３０を通過した光は、それぞれ共通レンズ４０を介してイメージセンサ１００に入射する。共通レンズ４０は、第１光学系２０及び第２光学系３０を介してイメージセンサ１００に入射する光の入射角度を調整する作用を有する。
〔焦点調節機構〕
第１光学系２０及び第２光学系３０は、各々独立して焦点調節される。第１光学系２０は、光学系の全体を光軸Ｌに沿って前後移動させることにより、焦点調節される。同様に、第２光学系３０は、光学系の全体を光軸Ｌに沿って前後移動させることにより、焦点調節される。図示されていないが、撮影レンズ１０には、第１光学系２０を光軸Ｌに沿って前後移動させるための機構（焦点調節機構）と、第２光学系３０を光軸Ｌに沿って前後移動させるための機構（焦点調節機構）と、が備えられる。
〈イメージセンサ〉
図６は、イメージセンサの受光面の正面図である。
イメージセンサ１００は、受光面に複数の画素１１０を備える。複数の画素１１０は、受光面に二次元マトリクス状に配列される。
図７は、イメージセンサの１つの画素を拡大した正面図である。なお、同図において、斜線は遮光マスクによるマスク領域を示している。遮光マスクについては後述する。
イメージセンサ１００は、１つの画素１１０に複数個の受光センサを備える。複数個の受光センサは、二次元マトリクス状に配列される。本実施の形態のイメージセンサ１００は、図７に示すように、１つの画素１１０に４個の受光センサ１２０ａ、１２０ｂ、１２０ｃ及び１２０ｄを備える。４個の受光センサ１２０ａ、１２０ｂ、１２０ｃ及び１２０ｄは、２行２列（２×２）の配列で二次元マトリクス状に配置される。以下、符号１２０ａの受光センサを第１受光センサ、符号１２０ｂの受光センサを第２受光センサ、符号１２０ｃの受光センサを第３受光センサ、符号１２０ｄの受光センサを第４受光センサと称し、必要に応じて４個の受光センサ１２０ａ、１２０ｂ、１２０ｃ及び１２０ｄを区別する。
４個の受光センサ１２０ａ、１２０ｂ、１２０ｃ及び１２０ｄは、互いに混信比率及び受光感度の組み合わせが異なる受光センサで構成される。
ここで、「混信比率が異なる受光センサ」とは、各光学系から受光される光の割合が異なる受光センサのことをいう。また、「受光感度が異なる受光センサ」とは、単位入射光量当たりで発生する出力信号（電圧）が異なる受光センサのことをいう。
本実施の形態のイメージセンサ１００では、第１受光センサ１２０ａ及び第３受光センサ１２０ｃが、主として第１光学系２０からの光を受光する受光センサで構成され、第２受光センサ１２０ｂ及び第４受光センサ１２０ｄが、主として第２光学系３０からの光を受光する受光センサで構成される。また、第１受光センサ１２０ａ及び第２受光センサ１２０ｂが高感度な受光センサで構成され、第３受光センサ１２０ｃ及び第４受光センサ１２０ｄが低感度な受光センサで構成される。
なお、「主として第１光学系２０からの光を受光する構成の受光センサ」とは、第１光学系２０からの光を高感度に受光する構成の受光センサを意味する。この場合、受光センサで受光される大部分が第１光学系２０からの光となる。同様に、「主として第２光学系３０からの光を受光する構成の受光センサ」とは、第２光学系３０からの光を高感度に受光する構成の受光センサを意味する。この場合、受光センサで受光される光の大部分が第２光学系３０からの光となる。
第ｍ受光センサについて、混信比率をCm＝Cm1：Cm2で表わす。［Cm1：Cm2］は［第１光学系２０から受光される光の割合：第２光学系３０から受光される光の割合］の意味である。したがって、第１受光センサ１２０ａの混信比率は、C1＝C11：C12である。第２受光センサ１２０ｂの混信比率は、C2＝C21：C22である。第３受光センサ１２０ｃの混信比率は、C3＝C31：C32である。第４受光センサ１２０ｄの混信比率は、C4＝C41：C42である。
第１受光センサ１２０ａは、主として第１光学系２０からの光を受光するので、その混信比率C1の関係はC11＞C12となる。同様に、第３受光センサ１２０ｃは、主として第１光学系２０からの光を受光するので、その混信比率C3の関係はC31＞C32となる。一方、第２受光センサ１２０ｂは、主として第２光学系３０からの光を受光するので、その混信比率C2の関係はC21＜C22となる。同様に、第４受光センサ１２０ｄは、主として第２光学系３０からの光を受光するので、その混信比率C4の関係はC41＜C42となる。
また、ここでの「高感度」及び「低感度」は、相対的な意味での高感度及び低感度である。すなわち、第１受光センサ１２０ａ及び第２受光センサ１２０ｂが、第３受光センサ１２０ｃ及び第４受光センサ１２０ｄに対して高感度であることを意味する。あるいは、第３受光センサ１２０ｃ及び第４受光センサ１２０ｄが、第１受光センサ１２０ａ及び第２受光センサ１２０ｂに対して低感度であることを意味する。
以上から、第１受光センサ１２０ａは、主として第１光学系２０からの光を受光し、かつ、高感度の受光センサで構成される。第２受光センサ１２０ｂは、主として第２光学系３０からの光を受光し、かつ、高感度の受光センサで構成される。第３受光センサ１２０ｃは、主として第１光学系２０からの光を受光し、かつ、低感度の受光センサで構成される。第４受光センサ１２０ｄは、主として第２光学系３０からの光を受光し、かつ、低感度の受光センサで構成される。
各受光センサの混信比率は、各受光センサに備えられる遮光マスクの形状で調整される。また、各受光センサの受光感度は、各受光センサに備えられるフィルタの透過率で調整される。
図８及び図９は、受光センサの概略構成を示す断面図である。図８は、図７の８−８断面に相当し、図９は、図７の９−９断面に相当する。なお、図８及び図９において、波線で示す領域Ｌ１は、第１光学系２０から入射する光を概念的に示しており、斜格子で示す領域Ｌ２は、第２光学系３０から入射する光を概念的に示している。
各受光センサ１２０ａ〜１２０ｄの基本構成は同じである。各受光センサ１２０ａ〜１２０ｄは、光電変換素子１３０と、マイクロレンズ１３２と、遮光マスク１３４と、フィルタ１３６と、を備えて構成される。
光電変換素子１３０は、光を受け、受けた光の強さに比例した電荷を蓄積する。光電変換素子１３０は、たとえば、フォトダイオードで構成される。
マイクロレンズ１３２は、第１光学系２０及び第２光学系３０の射出瞳の像を光電変換素子１３０に結像させる。
遮光マスク１３４は、マイクロレンズ１３２と光電変換素子１３０との間に配置される。遮光マスク１３４は、マイクロレンズ１３２を通過した光の一部を遮光する。受光センサは、遮光マスク１３４の形状を調整することにより、混信比率が調整される。
上記のように、第１受光センサ１２０ａ及び第３受光センサ１２０ｃは、主として第１光学系２０からの光を受光する構成とされる。この場合、遮光マスク１３４は、中央に円形の開口部１３４Ａを備えた形状とされる。
一方、第２受光センサ１２０ｂ及び第４受光センサ１２０ｄは、主として第２光学系３０からの光を受光する構成とされる。この場合、遮光マスク１３４は、環状の開口部１３４Ａを備えた形状とされる。
このように、受光センサ１２０ａ〜１２０ｄは、遮光マスク１３４の形状を調整することにより、混信比率を調整できる。したがって、遮光マスク１３４の形状を厳密に規定すれば、理論的には２つの光学系からの光を完全に分離して受光できる。しかし、遮光マスクの製造誤差、マイクロレンズの収差などの影響で２つの光学系からの光を完全に分離して受光することは難しい。この結果、混信が生じる。
フィルタ１３６は、マイクロレンズ１３２と遮光マスク１３４との間に配置される。マイクロレンズ１３２を通過した光は、フィルタ１３６を透過して光電変換素子１３０に入射する。フィルタ１３６は、受光センサの受光感度の調整に使用される。フィルタ１３６は、たとえば、ＮＤフィルタ（ＮＤ： Neutral Density）で構成され、その濃度（透過率）を調整することにより、受光センサの受光感度が調整される。
上記のように、第１受光センサ１２０ａ及び第２受光センサ１２０ｂは、高感度な受光センサで構成される。この場合、フィルタ１３６には、透過率の高いフィルタ（濃度の低いフィルタ）が使用される。
一方、第３受光センサ１２０ｃ及び第４受光センサ１２０ｄが低感度な受光センサで構成される。この場合、フィルタ１３６には、透過率の低いフィルタ（濃度の高いフィルタ）が使用される。
図１０は、第１受光センサ及び第２受光センサにおける入射光量と出力信号との関係を示すグラフである。同図において、横軸は露光量、縦軸は出力信号レベル（出力電圧）を示している。また、同図において、符号Ｆ１を付したグラフが、高感度の受光センサである第１受光センサ１２０ａのグラフであり、符号Ｆ２を付したグラフが、低感度の受光センサである第３受光センサ１２０ｃのグラフである。
図１０に示すように、高感度の受光センサである第１受光センサ１２０ａは、露光量Ｅ１を超えると飽和し、出力信号レベルが一定の値Ｖ１になる。低感度の受光センサである第３受光センサ１２０ｃは、露光量Ｅ２を超えると飽和し、出力信号レベルが一定の値Ｖ２になる。第１受光センサ１２０ａが飽和する露光量Ｅ１は、第２受光センサ１２０ｂが飽和する露光量Ｅ２よりも小さい（Ｅ１＜Ｅ２）。すなわち、第１受光センサ１２０ａは、高感度であるが、入射光量が多くなると、飽和する性質を有する。一方、第３受光センサ１２０ｃは、低感度であるが、入射光量が多くても、線形性を維持した出力が可能という性質を有する。
高感度の受光センサである第２受光センサ１２０ｂ、及び、低感度の受光センサである第４受光センサ１２０ｄの関係も同様である。
イメージセンサ１００は、各画素１１０の各受光センサ１２０ａ〜１２０ｄの光電変換素子１３０に蓄積された電荷量を読み出し、電荷量に応じた信号（電圧）を画像信号として出力する。この画像信号を処理することにより、各光学系に対応した画像データを取得できる。この処理については、後に詳述する。
〈レンズ駆動制御部〉
レンズ駆動制御部２１０は、システム制御部２２６からの指令に基づき、撮影レンズ１０の駆動を制御する。すなわち、第１光学系２０の焦点を調節するために、第１光学系２０の焦点調節機構の駆動を制御し、かつ、第２光学系３０の焦点を調節するために、第２光学系３０の焦点調節機構の駆動を制御する。また、第１光学系２０の光量を調節するために、第１光学系２０の絞り２２の駆動を制御し、かつ、第２光学系３０の光量を調節するために、第２光学系３０の絞り３２の駆動を制御する。
〈イメージセンサ駆動制御部〉
イメージセンサ駆動制御部２１２は、システム制御部２２６からの指令に基づき、イメージセンサ１００の駆動を制御する。すなわち、イメージセンサ１００からの画像信号の読み出しを制御する。
〈アナログ信号処理部〉
アナログ信号処理部２１４は、イメージセンサ１００から出力されるアナログの画像信号を取り込み、所定のアナログの信号処理を施す。また、アナログ信号処理部２１４は、所定のアナログの信号処理を施した画像信号をデジタル信号に変換して出力する。
〈デジタル信号処理部〉
デジタル信号処理部２１６は、デジタル信号に変換された画像信号を取り込み、所定の信号処理を施して、各光学系に対応した画像データを生成する。この処理については、後に詳述する。
〈表示部〉
表示部２１８は、たとえば、液晶モニタで構成され、撮像済みの画像や撮像中の画像（いわゆるライブビュー画像）を表示する。また、表示部２１８は、必要に応じてＧＵＩ（GUI: Graphical User Interface）として機能する。
〈ワークメモリ〉
ワークメモリ２２０は、たとえば、ＲＡＭ（RAM：Random Access Memory）で構成され、ワークメモリとして機能する。
〈記憶部〉
記憶部２２２は、たとえば、ＥＥＰＲＯＭ（EEPROM：Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリで構成される。記憶部２２２には、制御に必要なデータ、信号処理に必要なデータ等が格納される。
〈メディアインターフェース〉
メディアインターフェース２２４は、システム制御部２２６からの指令に基づいて、メモリーカード等の外部メモリ２３０に対して、データの読み書きを行う。
〈システム制御部〉
システム制御部２２６は、撮像装置全体の動作を統括制御する。システム制御部２２６は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭを備えたマイクロコンピュータで構成され、所定の制御プログラムを実行して、撮像装置１の全体を制御する。制御に必要なプログラム及び各種データはＲＯＭに格納される。
〈操作部〉
操作部２２８は、電源ボタンやシャッターボタン等の各種操作ボタン、及び、その駆動回路を備えて構成される。操作部２２８の操作情報は、システム制御部２２６に入力される。システム制御部２２６は、操作部２２８からの操作情報に基づいて、各部を制御する。
撮像装置１は、以上のように構成される。
《各光学系に対応した画像データの生成処理》
〈処理の概要〉
上記のように、イメージセンサ１００には、各画素１１０に４個の受光センサ１２０ａ〜１２０ｄが備えられている。したがって、画素ごとに対応する受光センサの画像信号を取得することにより、１回の撮影で４個の画像データを生成できる。しかし、この４個の画像データには、混信が生じている。そこで、本実施の形態の撮像装置１では、撮影により得られた４個の画像データに混信除去処理を施して、各光学系に対応した画像データを生成する。以下、各処理について説明する。
なお、以下においては、イメージセンサ１００の各画素から対応する受光センサの画像信号を取得して生成される４個の画像データを一次画像データ、その４個の一次画像データに混信除去処理を施して生成される画像データを二次画像データと称して、両者を必要に応じて区別する。
〈一次画像データの生成〉
図１１は、イメージセンサの出力から４個の一次画像データを生成する概念図である。
一次画像データは、イメージセンサ１００の各画素１１０から対応する受光センサ１２０ａ〜１２０ｄの画像信号を取得することにより生成される。
たとえば、イメージセンサ１００の各画素１１０から第１受光センサ１２０ａの画像信号を取得することにより、第１受光センサ１２０ａに対応した一次画像データが生成される。同様に、各画素１１０から第２受光センサ１２０ｂの画像信号を取得することにより、第２受光センサ１２０ｂに対応した一次画像データが生成され、各画素１１０から第３受光センサ１２０ｃの画像信号を取得することにより、第３受光センサ１２０ｃに対応した一次画像データが生成される。また、各画素１１０から第４受光センサ１２０ｄの画像信号を取得することにより、第４受光センサ１２０ｄに対応した一次画像データが生成される。
各画素１１０の第１受光センサ１２０ａから取得した画像信号で生成される一次画像データを第１の一次画像データＦＩ１、各画素１１０の第２受光センサ１２０ｂから取得した画像信号で生成される一次画像データを第２の一次画像データＦＩ２、各画素１１０の第３受光センサ１２０ｃから取得した画像信号で生成される一次画像データを第３の一次画像データＦＩ３、各画素１１０の第４受光センサ１２０ｄから取得した画像信号で生成される一次画像データを第４の一次画像データＦＩ４とする。
図１２は、イメージセンサの出力から個々の一次画像データを生成する概念図である。特に、同図は、イメージセンサの出力から第１の一次画像データＦＩ１を生成する場合を示している。
図１２に示すように、第１の一次画像データＦＩ１は、イメージセンサ１００の各画素１１０から第１受光センサ１２０ａの画像信号を取得して生成される。たとえば、第１の一次画像データＦＩ１の画素位置（０，０）における値（画素値）は、イメージセンサ１００の画素位置（０，０）にある第１受光センサ１２０ａから画像信号を取得して生成される。同様に、第１の一次画像データＦＩ１の画素位置（０，１）における値（画素値）は、イメージセンサ１００の画素位置（０，１）にある第１受光センサ１２０ａから画像信号を取得して生成される。このように、第１の一次画像データＦＩ１の各画素の値（画素値）は、イメージセンサ１００の対応する画素１１０にある第１受光センサ１２０ａから画像信号を取得して生成される。
なお、画素位置（ｘ，ｙ）は、画素の位置をｘｙ座標で表わしたものである。ｘｙ座標は、次のように設定される。すなわち、イメージセンサ１００においては、図６に示すように、画面左上隅を座標原点とし、水平方向をｘ座標、垂直方向をｙ座標としている。この場合、特定の画素の位置は（ｘ，ｙ）と表現される。画像データについても同様であり、画面左上隅を座標原点とし、水平方向をｘ座標、垂直方向をｙ座標としている。
他の一次画像データも同様にして、イメージセンサ１００の各画素１１０から対応する受光センサの画像信号を取得して生成される。
〈二次画像データの生成〉
二次画像データは、一次画像データに対して画素単位で混信除去処理を行うことにより生成される。以下、混信除去処理について説明する。
〔混信除去処理の基本概念〕
まず、混信除去処理の基本概念について説明する。
ここでは、発明の理解を容易にするため、撮影レンズに備えられる光学系の数（ｎ）が２個、イメージセンサの各画素に備えられる受光センサの数（ｍ）が２個の場合（ｍ＝n）を例に説明する。
撮影レンズに備えられる２つの光学系について、一方の光学系を第１光学系、他方の光学系を望遠の第２光学系とする。第１光学系は広角の光学系で構成され、第２光学系は望遠の光学系で構成されるものとする。
また、各画素に備えられる２つの受光センサについて、一方の受光センサを第１受光センサ、他方の受光センサを第２受光センサとする。各画素に備えられる第１受光センサは、すべて同じ混信比率であると仮定する。同様に、各画素に備えられる第２受光センサは、すべて同じ混信比率であると仮定する。
第１受光センサの混信比率をC1＝C11：C12とし、第２受光センサの混信比率をC2＝C21：C22とする。ここで、第１受光センサについて、混信比率C1がC11：C12とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C11：C12、という意味である。すなわち、第１光学系からC11、第２光学系からC12の割合で光を受光する、という意味である。同様に、第２の光学系について、混信比率C2がC21：C22とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C21：C22、という意味である。
イメージセンサは、１画素に２個の受光センサ（第１受光センサ及び第２受光センサ）を備えているので（ｍ＝２）、１回の撮影で２個の一次画像データが生成される。第１受光センサに基づく一次画像データを第１の一次画像データＦＩ１とし、第２受光センサに基づく一次画像データを第２の一次画像データＦＩ２とする。第１の一次画像データＦＩ１は、混信比率C1＝C11：C12の割合で混信が生じており、第２の一次画像データＦＩ２は、混信比率C2＝C21：C22の割合で混信が生じている。
図１３は、第１の一次画像データＦＩ１が表わす画像の一例を示す図である。また、図１４は、第２の一次画像データＦＩ２が表わす画像の一例を示す図である。なお、図１３及び図１４に示す例では、第１受光センサの混信比率C1がC11＞C12、第２受光センサの混信比率C2がC21＜C22の場合の例を示している。すなわち、第１受光センサが、第１光学系からの光をより多く受光するように構成され、第２受光センサが、第２光学系からの光をより多く受光するように構成された場合の例を示している。この場合、図１３に示すように、第１受光センサから得られる画像（第１の一次画像データＦＩ１が表わす画像）は、本来の第１光学系の画像（広角の画像）に加えて、第２の光学系の画像（望遠の画像）が、かすかに重畳した画像となる。一方、第２受光センサから得られる画像（第２の一次画像データＦＩ２が表わす画像）は、図１４に示すように、本来の第２光学系の画像（望遠の画像）に加えて、第１の光学系の画像（広角の画像）が、かすかに重畳した画像となる。
二次画像データについては、撮影レンズに備えられる光学系の数が２であるので（ｍ＝２）、２個の二次画像データが生成される。第１光学系に対応する二次画像データを第１の二次画像データＳＩ１とし、第２光学系に対応する二次画像データを第２の二次画像データＳＩ２とする。
図１５は、第１の二次画像データＳＩ１が表わす画像を示す図であり、図１６は、第２の二次画像データＳＩ２が表わす画像を示す図である。図１５及び図１６に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２が表わす画像は、混信の影響が除去された画像となる。
いま、ある特定の画素位置（ｘ，ｙ）における第１の一次画像データＦＩ１の画素値（当該画素が持つ値）をA1、第２の一次画像データＦＩ２の画素値をA2とする。また、対応する画素位置における第１の二次画像データＳＩ１の画素値をB1、第２の二次画像データＳＩ２の画素値をB2とする。
第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1、B2は、次の連立方程式
A1 = C11*B1 + C12*B2
A2 = C21*B1 + C22*B2
を解いて算出される。
すなわち、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分（第１光学系の成分と同義）と第２の二次画像データＳＩ２の成分（第２光学系の成分と同義）とをC11：C12の割合で含むデータである。したがって、この関係を式で表わすと、A1=C11*B1+C12*B2となる。同様に、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分（第１光学系の成分）と第２の二次画像データＳＩ２の成分（第２光学系の成分）をC21：C22の割合で含むデータであるので、この関係を式で表わすと、A2=C21*B1+C22*B2となる。この関係を図で示すと、図１７及び図１８のようになる。
図１７は、第１の一次画像データの構成の概念図である。
同図に示すように、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分をC11の割合で含み、かつ、第２の二次画像データＳＩ２の成分をC12の割合で含む。この関係を式で表わすと、特定の画素位置（ｘ，ｙ）について、A1=C11*B1+C12*B2の関係が成り立つ。
図１８は、第２の一次画像データの構成の概念図である。
同図に示すように、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分をC21の割合で含み、かつ、第２の二次画像データＳＩ２の成分をC22の割合で含む。この関係を式で表わすと、特定の画素位置（ｘ，ｙ）について、A2=C21*B1+C22*B2の関係が成り立つ。
よって、画素単位で上記連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1及びB2を算出でき、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２を生成できる。そして、この連立方程式を解くことにより、混信の影響を除去した画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成できる。
ここで、連立方程式については、行列を使って解くことができる。
図１９は、一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図２０は、一次画像データと二次画像データとの関係を示す行列方程式である。
図１９及び図２０に示すように、第１の一次画像データＦＩ１及び第２の一次画像データＦＩ２の画素値A1及びA2を要素とする２行１列の行列をＡ、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2を要素とする２行１列の行列をＢ、第１受光センサの混信比率C1＝C11：C12及び第２受光センサの混信比率C2＝C21：C22を要素とする２行２列の行列をＣとすると、上記連立方程式は、Ａ＝Ｃ＊Ｂと表現できる。
そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｃ＊Ｂの両辺にＣの逆行列Ｃ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。
図２１は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図２２は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
図２１及び図２２に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｃの逆行列Ｃ-1を掛けることで算出できる。
各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｃ-1については、あらかじめ取得できる。したがって、各一次画像データの画素値A1及びA2を取得できれば、逆行列Ｃ-1を用いて、各二次画像データの画素値B1及びB2を算出できる。
以上のように、一次画像データに対して所定の演算処理（混信除去処理）を施すことにより、混信の影響を除去した二次画像データを生成できる。
〔画素値が飽和している場合の影響〕
上記のように、混信除去処理は、一次画像データと二次画像データとの間にA1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2という関係が成立することを利用して行われる。
しかし、上記関係が成立するのは、イメージセンサの入力と出力との間に線形性が成立する場合だけである。一部でも飽和していると、その画素で上記関係が成立しなくなり、正確に混信の影響を除去できなくなる。
〔本実施の形態の撮像装置における混信除去処理〕
本実施の形態の撮像装置１には、イメージセンサ１００の各画素１１０に４個の受光センサ１２０ａ〜１２０ｄが備えられている。この受光センサ１２０ａ〜１２０ｄの数（ｍ＝４）は、撮影レンズ１０に備えられる光学系の数（ｎ＝２）よりも多い（ｍ＞ｎ）。そして、各受光センサ１２０ａ〜１２０ｄは、それぞれ混信比率及び受光感度の組み合わせが異なっている。
本実施の形態の撮像装置１は、イメージセンサ１００の各画素１１０に４個の受光センサ１２０ａ〜１２０ｄを備えていることから、１回の露光で４個の一次画像データが生成される。混信除去処理は、この４個の一次画像データを使用して行われる。すなわち、４個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応した二次画像データを生成する。この際、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。したがって、本実施の形態の撮像装置１では、処理対象とする画素に画素値が飽和している一次画像データを含む場合と、含まない場合とで、処理内容が異なる。以下、場合を分けて説明する。
（Ａ）処理対象とする画素に画素値が飽和している一次画像データを含まない場合
混信除去に対する基本的な考え方は、上記ｍ＝ｎの場合と同じである。すなわち、一次画像データと二次画像データとの間に成立する関係を利用して、複数の一次画像データから各光学系に対応した二次画像データを算出し、混信の影響を除去する。
図２３は、一次画像データと二次画像データとの関係を示す概念図である。
イメージセンサ１００の特定の画素位置（ｘ，ｙ）に備えられる第１受光センサ１２０ａの混信比率C1がC1=C11:C12、第２受光センサ１２０ｂの混信比率C2がC2=C21:C22、第３受光センサ１２０ｃの混信比率C3がC3=C31:C32、第４受光センサ１２０ｄの混信比率C4がC4=C41:C42、であるとする。
また、各受光センサ１２０ａ〜１２０ｄの受光感度に応じた係数をs1、s2、s3及びs4とする。係数s1、s2、s3及びs4は、たとえば、特定の受光センサを基準に設定される。たとえば、第１受光センサ１２０ａを基準とする場合、第１受光センサ１２０ａの係数s1をs1＝１とする。第２受光センサ１２０ｂの受光感度が、第１受光センサ１２０ａの受光感度の１／５の場合、第２受光センサ１２０ｂの係数s2はs2＝１／５とされる。また、第３受光センサ１２０ｃの受光感度が、第１受光センサ１２０ａの受光感度と同じ場合、第３受光センサ１２０ｃの係数s3はs3＝１とされる。
この場合、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分（第１光学系２０の成分と同義）と第２の二次画像データＳＩ２の成分（第２光学系３０の成分と同義）とをs1*C11: s1*C12の割合で含むデータとなる。この関係を式で表わすと、第１の一次画像データＦＩ１は、特定の画素位置（ｘ，ｙ）について、A1= s1*C11*B1+ s1*C12*B2の関係が成り立つ。
第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分と第２の二次画像データＳＩ２の成分をs2*C21: s2*C22の割合で含むデータとなる。この関係を式で表わすと、第２の一次画像データＦＩ２は、特定の画素位置（ｘ，ｙ）について、A2= s2*C21*B1+ s2*C22*B2の関係が成り立つ。
第３の一次画像データＦＩ３は、第１の二次画像データＳＩ１の成分と第２の二次画像データＳＩ２の成分をs3*C31: s3*C32の割合で含むデータとなる。この関係を式で表わすと、第３の一次画像データＦＩ３は、特定の画素位置（ｘ，ｙ）について、A3= s3*C31*B1+ s3*C32*B2の関係が成り立つ。
第４の一次画像データＦＩ４は、第１の二次画像データＳＩ１の成分と第２の二次画像データＳＩ２の成分をs4*C41: s4*C42の割合で含むデータとなる。この関係を式で表わすと、第４の一次画像データＦＩ４は、特定の画素位置（ｘ，ｙ）について、A4= s4*C41*B1+ s4*C42*B2の関係が成り立つ。
すなわち、各一次画像データの特定の画素位置（ｘ，ｙ）における画素値をA1、A2、A3及びA4とし、各二次画像データの特定の画素位置（ｘ，ｙ）の画素値をB1及びB2とした場合、各一次画像データと二次画像データとの間には、次の関係が成り立つ。
A1 = s1*C11*B1 + s1*C12*B2
A2 = s2*C21*B1 + s2*C22*B2
A3 = s3*C31*B1 + s3*C32*B2
A4 = s4*C41*B1 + s4*C42*B2
この連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1及びB2を算出できる。そして、この連立方程式を解くことにより、混信の影響を除去した画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成できる。
上記のように、連立方程式については、行列を用いて解くことができる。
図２４は、一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図２５は、一次画像データと二次画像データとの関係を示す行列方程式である。
図２４及び図２５に示すように、各一次画像データＦＩ１〜ＦＩ４の特定の画素位置（ｘ，ｙ）の画素値A1〜A4を要素とする4行１列の行列をＡ、各二次画像データＳＩ１、ＳＩ２の特定の画素位置（ｘ，ｙ）の画素値B1及びB2を要素とする２行１列の行列をＢ、各受光センサ１２０ａ〜１２０ｄの混信比率C1＝C11：C12、C2＝C21：C22、C3＝C31：C32、C4＝C41：C42と各受光センサ１２０ａ〜１２０ｄの受光感度に応じた係数s1、s2、s3、s4との積s1*C1＝s1*C11：s1*C12、s2*C2＝s2*C21：s2*C22、s3*C3＝s3*C31：s3*C32、s4*C4＝s4*C41：s4*C42を要素とする４行２列の行列をＴとすると、上記連立方程式は、Ａ＝Ｔ＊Ｂと表現できる。
そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｔ＊Ｂの両辺にＴの逆行列Ｔ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｔ-1＊Ａを解くことにより算出できる。
図２６は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図２７は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
図２６及び図２７に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｔの逆行列Ｔ-1を掛けることで算出できる。
各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｔ-1については、あらかじめ取得できる。
なお、行列Ｔが正則ではない場合、その逆行列Ｔ-1については、行列Ｔの一般逆行列を算出して、逆行列Ｔ-1を取得する。一般逆行列は、たとえば、ムーア・ペンローズ逆行列等の公知の手法で算出される。
このように、処理対象とする画素に画素値が飽和している一次画像データを含まない場合、二次画像データについては、行列方程式Ｂ＝Ｔ-1＊Ａを解くことにより算出できる。そして、この行列方程式Ｂ＝Ｔ-1＊Ａを解くことにより、混信の影響を除去した二次画像データを生成できる。
（Ｂ）処理対象とする画素に画素値が飽和している一次画像データを含む場合
処理対象とする画素に画素値が飽和している一次画像データを含む場合は、当該一次画像データを除外して混信除去処理を行う。
一次画像データと二次画像データとの間に一定の関係が成立するのは、受光センサの入力と出力との間に線形性が確保されている場合だけである。そして、受光センサの入力と出力との間に線形性が確保されるのは、受光センサが飽和するまでである。受光センサが飽和すると、入力と出力との間に線形性は確保されなくなる。飽和した受光センサの出力を利用して、混信除去処理を行うと、正確に混信除去できなくなる。
そこで、処理対象とする画素に画素値が飽和している一次画像データを含む場合は、当該一次画像データを除外して混信除去処理を行う。
図２８は、処理対象とする画素に画素値が飽和している一次画像データを含む場合の一次画像データと二次画像データとの関係を示す概念図である。特に、同図においては、第１の一次画像データＦＩ１の画素値が飽和している場合を示している。
第１の一次画像データＦＩ１の画素値が飽和している場合、第１の一次画像データＦＩ１と、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２との間にA1= s1*C11*B1+ s1*C12*B2の関係は成立しない。すなわち、A1 ≠ s1*C11*B1+ s1*C12*B2となる。
一方、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２との間にA2 = s2*C21*B1+ s2*C22*B2の関係が成り立つ。同様に、第３の一次画像データＦＩ３は、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２との間にA3 = s3*C31*B1+ s3*C32*B2の関係が成り立ち、第４の一次画像データＦＩ４は、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２との間にA4 = s4*C41*B1+ s4*C42*B2の関係が成り立つ。
すなわち、第１の一次画像データＦＩ１を除くと、他の一次画像データと二次画像データとの間には、次の関係が成り立つ。
A2 = s2*C21*B1 + s2*C22*B2
A3 = s3*C31*B1 + s3*C32*B2
A4 = s4*C41*B1 + s4*C42*B2
この連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1、B2を算出する。この場合も行列を用いて、連立方程式を解くことができる。
図２９は、第１の一次画像データを除いた場合の一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図３０は、第１の一次画像データを除いた場合の一次画像データと二次画像データとの関係を示す行列方程式である。
図２９及び図３０に示すように、第１の一次画像データＦＩ１を除いた各一次画像データＦＩ２、ＦＩ３及びＦＩ４の特定の画素位置（ｘ，ｙ）の画素値A2、A3及びA4を要素とする３行１列の行列をＡ、各二次画像データＳＩ１及びＳＩ２の特定の画素位置（ｘ，ｙ）の画素値B1及びB2を要素とする２行１列の行列をＢ、各受光センサ１２０ｂ、１２０ｃ及び１２０ｄの混信比率C2＝C21：C22、C3＝C31：C32及びC4＝C41：C42と各受光センサ１２０ａ〜１２０ｄの受光感度に応じた係数s1、s2、s3及びs4との積s1*C1＝s1*C11：s1*C12、s2*C2＝s2*C21：s2*C22、s3*C3＝s3*C31：s3*C32、s4*C4＝s4*C41：s4*C42を要素とする３行２列の行列をＴとすると、上記連立方程式は、Ａ＝Ｔ＊Ｂと表現できる。
そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｔ＊Ｂの両辺にＴの逆行列Ｔ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｔ-1＊Ａを解くことにより算出できる。
図３１は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図３２は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
図３１及び図３２に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｔの逆行列Ｔ-1を掛けることで算出できる。
各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｔ-1については、あらかじめ取得できる。
なお、行列Ｔが正則ではない場合、その逆行列Ｔ-1については、行列Ｔの一般逆行列を算出して、逆行列Ｔ-1を取得する。一般逆行列は、たとえば、ムーア・ペンローズ逆行列等の公知の手法で算出される。
このように、処理対象とする画素に画素値が飽和している一次画像データを含む場合は、当該一次画像データを除外して混信除去処理を行う。これにより、混信の影響を正確に除去できる。
（Ｃ）処理対象とする画素において、すべての一次画像データの画素値が飽和している場合
処理対象とする画素において、すべての一次画像データの画素値が飽和している場合は、二次画像データを算出することができない。したがって、この場合は、混信除去処理を行わない。これにより、無駄な処理を省略できる。
処理対象とする画素において、すべての一次画像データの画素値が飽和している場合、当該画素位置における二次画像データの画素値は飽和値とされる。飽和値とは、受光センサが飽和した場合に出力される信号値である。
〔飽和している画素の検出〕
一次画像データを解析して、画素値が飽和している画素を検出する。具体的には、画素値が飽和値の画素を検出して、飽和している画素を検出する。画素値が飽和している画素の検出は、デジタル信号処理部２１６で行われる。この点については、後述する。
〈二次画像データの生成処理の流れ〉
上記のように、二次画像データは、一次画像データに混信除去処理を施して生成される。
図３３は、二次画像データの生成処理の手順を示すフローチャートである。
混信除去処理は、画素ごとに行われる。画像の左上隅を座標原点とすると、座標原点から処理が開始される。
まず、ｘ＝０、ｙ＝０とする（ステップＳ１）。各一次画像データＦＩ１〜ＦＩ４から画素位置（ｘ，ｙ）の画素値を取得する（ステップＳ２）。画素位置（ｘ，ｙ）に画素値が飽和している一次画像データを含むか否か判定する（ステップＳ３）。
画素位置（ｘ，ｙ）に画素値が飽和している一次画像データを含まない場合、すべての一次画像データＦＩ１〜ＦＩ４を用いて混信除去処理を行う（ステップＳ４）。これにより、当該画素位置における第１の二次画像データ及び第２の二次画像データの画素値が取得される。
一方、画素位置（ｘ，ｙ）に画素値が飽和している一次画像データを含む場合、そのすべての一次画像データの画素値が飽和しているか否かを判定する（ステップＳ５）。
画素位置（ｘ，ｙ）におけるすべての一次画像データの画素値が飽和していない場合、画素値が飽和している一次画像データを除外して、混信除去処理を行う（ステップＳ６）。これにより、当該画素位置における第１の二次画像データ及び第２の二次画像データの画素値が取得される。
一方、画素位置（ｘ，ｙ）におけるすべての一次画像データの画素値が飽和している場合、混信除去処理は行わず、当該画素位置における第１の二次画像データ及び第２の二次画像データの画素値を飽和値とする（ステップＳ７）。
このように、処理対象とする画素に画素値が飽和している一次画像データを含むか否かによって、混信除去処理の内容が切り替えられる。
この後、処理した画素のｘ座標の値がｘ方向の終点か否かを判定する（ステップＳ８）。処理した画素のｘ座標の値がｘ方向の終点ではない場合、ｘ座標の値をインクリメントする（ステップＳ９）。これにより、次の処理対象が新たに設定される。ｘ座標の値をインクリメント後、ステップＳ２に戻り、新たに設定された画素を対象に上記一連の処理を再度実行する。
処理した画素のｘ座標の値がｘ方向の終点の場合、処理した画素のｙ座標の値がｙ方向の終点か否かを判定する（ステップＳ１０）。処理した画素のｙ座標の値がｙ方向の終点ではない場合、ｙ座標の値をインクリメントする（ステップＳ１１）。これにより、次の処理対象が新たに設定される。ｙ座標の値をインクリメント後、ステップＳ２に戻り、新たに設定された画素を対象に上記一連の処理を再度実行する。
処理した画素のｙ座標の値がｙ方向の終点の場合、処理を終了する。これにより、すべての画素で混信除去処理が完了する。すべての画素で混信除去処理が完了することにより、二次画像データが生成される。
《デジタル信号処理部の構成》
上述した一連の信号処理は、デジタル信号処理部２１６で行われる。デジタル信号処理部２１６は、イメージセンサ１００の各画素の各受光センサから画像信号を取得して一次画像データを生成し、かつ、その一次画像データに画素単位で混信除去処理を施して、各光学系に対応した二次画像データを生成する。また、デジタル信号処理部２１６は、一次画像データを解析し、画素値が飽和している画素を検出する。
図３４は、デジタル信号処理部が備える機能のブロック図である。
デジタル信号処理部２１６は、一次画像データを生成する機能、すなわち、一次画像データ生成部２１６Ａとしての機能と、画像データから画素値が飽和している画素を検出する機能、すなわち、飽和画素検出部２１６Ｂとしての機能と、二次画像データを生成する機能、すなわち、二次画像データ生成部２１６Ｃとしての機能と、を備える。
一次画像データ生成部２１６Ａは、イメージセンサの各画素から対応する受光センサの画像信号を取得して、ｍ個の一次画像データを生成する。本実施の形態の撮像装置１は、イメージセンサ１００の各画素１１０に４個（ｍ＝４）の受光センサ１２０ａ〜１２０ｄを備えているので、４個の一次画像データを生成する。
飽和画素検出部２１６Ｂは、一次画像データ生成部２１６Ａで生成された一次画像データを解析し、画素値が飽和している画素を検出する。具体的には、各一次画像データから画素値が飽和値の画素を検出して、画素値が飽和している画素を検出する。画素値が飽和している画素が検出されると、その画素位置の情報が、飽和画素位置情報として、ワークメモリ２２０に記録される。
二次画像データ生成部２１６Ｃは、一次画像データ生成部２１６Ａで生成された４個の一次画像データを取得し、混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する。本実施の形態の撮像装置１は、撮影レンズ１０に２つ（ｎ＝２）の光学系を備えているので、２つの二次画像データを生成する。具体的には、第１光学系２０に対応した第１の二次画像データと、第２光学系３０に対応した第２の二次画像データとを生成する。
上記のように、混信除去処理は、画素ごとに行われる。処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。二次画像データ生成部２１６Ｃは、ワークメモリ２２０に格納された飽和画素位置情報を参照して、処理対象とする画素に画素値が飽和している一次画像データを含むか否かを判定する。
ここで、処理対象とする画素に画素値が飽和している一次画像データを含まない場合、二次画像データ生成部２１６Ｃは、連立方程式A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn … Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn を解いて、二次画像データを生成する。本実施の形態の撮像装置１は、ｍ＝４、ｎ＝２なので、連立方程式A1=s1*C11*B1+s1*C12*B2、A2=s2*C21*B1+s2*C22*B2、A3=s3*C31*B1+s3*C32*B2、A4=s4*C41*B1+s4*C42*B2を解いて、各光学系に対応した二次画像データを生成する。
一方、処理対象とする画素に画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して、連立方程式を立て、二次画像データを生成する。
また、処理対象とする画素において、すべての一次画像データの画素値が飽和している場合、当該画素における二次画像データの画素値を飽和値として、二次画像データを生成する。
二次画像データ生成部２１６Ｃは、行列を利用して、連立方程式を解く処理を実施する。すなわち、行列方程式Ｂ=Ｔ-1*Ａを解いて、二次画像データを生成する。演算に使用する逆行列Ｔ-1の情報は、記憶部２２２に記憶される。記憶部２２２は、その記憶領域の一部に逆行列Ｔ-1の情報を記憶する逆行列情報記憶部２２２Ａを備える。なお、逆行列Ｔ-1の情報は、画素単位で記憶される。また、逆行列Ｔ-1の情報は、連立方程式を立てる際の式の組み合わせの数だけ用意される。二次画像データ生成部２１６Ｃは、処理する画素ごとに逆行列Ｔ-1の情報を読み出して、混信除去処理を実施する。
《撮像装置における処理の流れ（画像データ生成方法）》
本実施の形態の撮像装置では、（１）撮影指示に基づく露光（露光工程）、（２）露光に基づく一次画像データの生成（一次画像データ生成工程）、（３）画素値が飽和している画素の検出（飽和画素検出工程）、（４）一次画像データに基づく二次画像データの生成（二次画像データ生成工程）の順で処理が行われて、記録用の画像データが生成される。
記録用の撮影（露光）は、操作部２２８からの指示に基づいて実施される。ここでは、シャッターボタンの全押しで記録用の撮影が指示されるものとする。撮影者は、各光学系の焦点調節を行った後、シャッターボタンを全押しして、記録用の撮影を指示する。
シャッターボタンが全押しされると、まず、測光処理が実施される。システム制御部２２６及びイメージセンサ１００から得られる画像信号に基づいて、ＥＶ値（EV：Exposure Value）を算出し、露出を決定する。
露出が決定すると、決定した露出でイメージセンサ１００が露光される（露光工程）。露光により各受光センサ１２０ａ〜１２０ｉの光電変換素子１３０に電荷が蓄積される。イメージセンサ１００は、各受光センサ１２０ａ〜１２０ｉの光電変換素子１３０に蓄積された電荷量を読み出して、電荷量に応じた画像信号を出力する。
イメージセンサ１００から出力された画像信号は、アナログ信号処理部２１４を経てワークメモリ２２０に取り込まれる。このワークメモリ２２０に取り込まれた画像信号に対して、デジタル信号処理部２１６が所定の信号処理を施すことにより、各光学系に対応した画像データ（第１の二次画像データ、及び、第２の二次画像データ）が生成される。すなわち、画素ごとに各受光センサの画像信号を取得して、４個の一次画像データを生成し（一次画像データ生成工程）、生成した一次画像データに混信除去処理を施して、各光学系に対応した二次画像データ（第１の二次画像データ、及び、第２の二次画像データ）を生成する（二次画像データ生成工程）。その際、処理対象とする画素に画素値が飽和している一次画像データを含む場合は、当該一次画像データを除外して混信除去処理を行い、二次画像データを生成する。
生成された画像データ（第１の二次画像データ、及び、第２の二次画像データ）は、必要に応じて所定フォーマットのデータ形式に変換されて、外部メモリ２３０に記録される。
このように、本実施の形態の撮像装置１によれば、１回の露光で複数の画像を撮像できる。そして、本実施の形態の撮像装置１によれば、イメージセンサ１００の各画素１１０に混信比率及び受光感度の組み合わせが異なる複数個の受光センサ１２０ａ〜１２０ｄを備えることにより、受光センサの飽和の影響をなくして、正確に混信を除去できる。これにより、高品質な画像を生成できる。また、ダイナミックレンジも拡大できる。
《第１の実施の形態の撮像装置の変形例》
〈受光センサの受光感度の調整方法の他の例〉
上記実施の形態では、フィルタの透過率を調整して、受光センサの受光感度を調整しているが、受光センサの受光感度を調整する方法は、これに限定されるものではない。この他、たとえば、個々の受光センサに備えられる遮光マスクの開口のサイズを調整して、個々の受光センサの受光感度を調整することもできる。また、受光センサごとに露光時間（シャッタースピード）を調整できるイメージセンサの場合は、受光センサごとに露光時間（シャッタースピード）を調整して、個々の受光センサの受光感度を調整してもよい。また、これらを組み合わせて、個々の受光センサの受光感度を調整してもよい。
〈受光センサの混信比率の調整方法の他の例〉
上記実施の形態では、遮光マスクの形状によって各受光センサの混信比率を調整しているが、受光センサの混信比率を調整する方法は、これに限定されるものではない。この他、たとえば、マイクロレンズの結像特性を変えることにより、混信比率を調整することもできる。たとえば、マイクロレンズのレンズパワー、倍率、結像位置などを変えることにより、混信比率を変えることができる。この場合、遮光マスクは不要となる。
なお、遮光マスクとマイクロレンズを併用して、混信比率を調整することもできる。すなわち、遮光マスクの形状と、マイクロレンズの結像特性の双方を変えることによって、混信比率を調整することもできる。
〈光学系の数（ｎ）と受光センサの数（ｍ）との関係〉
イメージセンサの各画素に備える受光センサの数（ｍ）は、撮影レンズに備えられる光学系の数（ｎ）よりも多ければよい。すなわち、ｍ＞ｎの関係を満たせばよい。したがって、撮影レンズ１０に備えられる光学系の数が２の場合、少なくとも３個の受光センサが各画素に備えられていればよい。
また、上記実施の形態では、イメージセンサの各画素に４個の受光センサを２行２列（２×２）の配列で配置しているが、受光センサの配置は、これに限定されるものではない。たとえば、１行４列（１×４）の配列で配置することもできる。また、各画素を構成する受光センサは、離散的に配置することもできる。すなわち、イメージセンサの１画素を構成する受光センサとは、一次画像データを生成する際に同じ画素位置の画素値を生成する受光センサのことである。換言すると、イメージセンサの出力から一次画像データを生成する際に、同じ画素位置の画素値を生成する受光センサの集まりが、イメージセンサの１画素を構成する受光センサとなる。
撮影レンズに備えられる光学系の数がｎ個（ｎ＞１）、イメージセンサの各画素に備えられる受光センサの数がｍ個（ｍ＞ｎ）であるとする。また、各受光センサの混信比率が、C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnであり、各受光センサの受光感度に応じた係数がs1、s2、…、smであるとする。
一次画像データの画素値をA1、A2、…、Am、二次画像データの画素値をB1、B2、…、Bnとすると、イメージセンサの入力と出力との間に線形性が成立している場合、一次画像データと二次画像データとの間には、次の関係が成立する。
A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn
A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn
…
Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn
したがって、撮影レンズに備えられる光学系の数がｎ個（ｎ＞１）、イメージセンサの各画素に備えられる受光センサの数がｍ個（ｍ＞ｎ）の場合は、上記連立方程式を解くことで、一次画像データから混信の影響を除去した二次画像データを生成できる。
連立方程式を立てる際、処理対象とする画素に画素値が飽和している一次画像データを含む場合は、その一次画像データを除外して連立方程式を立てる。これにより、飽和の影響を排除して、正確に混信を除去できる。
行列を使用して連立方程式を解く場合は、行列方程式Ｂ=Ｔ-1*Ａを生成する。ここで、行列Ａは、各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列であり、行列Ｂは、各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列である。また、逆行列Ｔ-1は、各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと各受光センサの受光感度に応じた係数s1、s2、…、smとの積s1*C1＝s1*C11：s1*C12：…：s1*C1n、s2*C2＝s2*C21：s2*C22：…：s2*C2n、…、sm*Cm＝sm*Cm1：sm*Cm2：…：sm*Cmnを要素とするｍ行ｎ列の行列Ｔの逆行列である。
上記実施の形態では、あらかじめ画素ごとに逆行列Ｔ-1を算出して、逆行列情報記憶部２２２Ａに格納しておく構成としているが、逆行列Ｔ-1は、混信除去処理時に算出する構成とすることもできる。
〈混信除去処理の他の例〉
上記実施の形態では、画素単位で処理方法を切り替えているが、画像単位で処理方法を切り替えることもできる。
たとえば、生成した複数の一次画像データに対して画像単位で飽和の有無を判定し、飽和のない一次画像データのみを使用して二次画像データを生成するようにしてもよい。
画像単位で飽和の有無を判定するとは、画素値が飽和している画素を含むか否か画像単位で判定する、ということである。画素値が飽和している画素を含む場合、当該一次画像データは、飽和していると判定する。この場合、当該一次画像データは使用せず、残りの飽和していない一次画像データを使用して、二次画像データを生成する。
このように処理することにより、すべての画素で処理を共通化でき、全体の処理を簡素化できる。これにより、二次画像データの生成処理を高速化できる。
画像単位で飽和の有無を判定する際、画素値が飽和している画素を一定数以上含む場合に飽和していると判定することもできる。
〈画素値が飽和している一次画像データを含む場合の混信除去処理〉
上記のように、処理対象とする画素において、画素値が飽和している一次画像データを含む場合、当該一次画像データを除外して混信除去処理が行われる。
しかし、除外する一次画像データの数が多くなると、生成可能な関係式（一次画像データと二次画像データとの間に成立する関係式）の数も少なくなる。この結果、生成可能な関係式の数が、生成する二次画像データの数を下回る場合も生じ得る。
生成可能な関係式は、立てられる連立方程式の数であるので、立てられる連立方程式の数が、生成する二次画像データの数を下回ると、正確に混信除去できなくなる。
そこで、生成可能な関係式の数が、生成する二次画像データの数を下回った場合は、次の処理を行って、該当画素における二次画像データの画素値を算出する。
いま、撮影レンズに備えられる光学系の数がｎ個、イメージセンサの各画素に備えられる受光センサの数がｍ個であるとする。
各受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnとする。
生成する二次画像データの数は、撮影レンズに備えられる光学系の数（ｎ）であるので、ｎ個となる。
生成可能な関係式の数は、画素値が飽和している一次画像データの数をｋ（ただし、ｋはｋ＞０を満たす整数）とすると、（ｍ−ｋ）個となる。
まず、各画素に備えられる受光センサに属性を示すラベルを付与する。属性を示すラベルとは、当該受光センサが、どの光学系を担当する受光センサであるかを示すラベルである。どの光学系を担当する受光センサかは、どの光学系からの光を最も多く受光するかによって定められる。すなわち、どの光学系に最も感度があるかによって定められる。各受光センサの属性は、混信比率の情報から算出される。たとえば、ある受光センサの混信比率Cmが、Cm1：Cm2：…：Cmn＝第１光学系：第２光学系：…：第ｍ光学系の場合において、Cm1が最大値の場合、当該受光センサの属性第１光学系となる。したがって、当該受光センサには、属性が第１光学系であることを示すラベルが付与される。
〔（ｍ−ｋ）＜ｎとなる場合の処理〕
（ｍ−ｋ）＜ｎとなる場合とは、生成可能な連立方程式の数（ｍ−ｋ）が、生成する二次画像データの数（ｎ）よりも少なくなる場合である。
この場合、飽和していない一次画像データの画素値に基づいて、当該画素の二次画像データを生成する。生成は次のように行われる。
第１の二次画像データは、第１光学系に対応する画像データである。したがって、第１の二次画像データの画素値B1は、属性が第１光学系である受光センサから出力された画素値に基づいて生成する。すなわち、第１光学系を担当する属性を示すラベルが付与された受光センサから出力された画素値に基づいて、第１の二次画像データを生成する。
ここで、属性が第１光学系である受光センサから出力された画素値が存在するが、そのすべてが飽和している場合、飽和値を当該画素における第１の二次画像データの画素値とする。
一方、属性が第１光学系である受光センサから出力された画素値が存在し、かつ、飽和していない画素値が存在する場合は、その画素値を当該画素における第１の二次画像データの画素値とする。なお、属性が第１光学系の受光センサから出力された画素値であって、飽和していない画素値が複数存在する場合は、その平均値を当該画素における第１の二次画像データの画素値とする。
同様の手法で残りの二次画像データの画素値を算出する。すなわち、第ｎの二次画像データは、第ｎ光学系に対応する画像データであるので、第ｎの二次画像データの画素値Bnは、属性が第ｎ光学系である受光センサから出力された画素値に基づいて生成する。すなわち、属性を示すラベルが、第ｎ光学系の受光センサから出力された画素値に基づいて、第ｎの二次画像データを生成する。
ここで、属性が第ｎ光学系の受光センサから出力された画素値が存在するが、そのすべてが飽和している場合、当該画素における第ｎの二次画像データの画素値を飽和値とする。一方、属性が第ｎ光学系の受光センサから出力された画素値が存在し、かつ、飽和していない画素値が存在する場合は、その画素値を当該画素における第ｎの二次画像データの画素値とする。なお、属性が第ｎ光学系の受光センサから出力された画素値であって、飽和していない画素値が複数存在する場合は、その平均値を当該画素における第ｎの二次画像データの画素値とする。
上記実施の形態の撮像装置１では、撮影レンズ１０に備えられる光学系の数が２（ｎ＝２）、イメージセンサ１００の各画素１１０に備えられる受光センサ１２０ａ〜１２０ｄの数が４（ｍ＝４）であるので、生成可能な連立方程式の数（ｍ−ｋ）が１個となる場合、上記処理が実施される。
上記実施の形態の撮像装置１では、第１受光センサ１２０ａ及び第２受光センサ１２０ｂの属性が第１光学系、第３受光センサ１２０ｃ及び第４受光センサ１２０ｄの属性が第２光学系となる。
たとえば、特定の画素において、第１受光センサ１２０ａ、第２受光センサ１２０ｂ、及び、第３受光センサ１２０ｃが飽和したとする。この場合、飽和していない第４受光センサ１２０ｄから出力された画素値に基づいて、当該画素における二次画像データの画素値を算出する。第４受光センサ１２０ｄの属性は、第２光学系であるので、当該画素における第２の二次画像データの画素値は、第４受光センサ１２０ｄから出力された画素値、すなわち、第４の一次画像データの画素値とされる。一方、第１の二次画像データの画素値は飽和値とされる。
このように、生成可能な連立方程式の数が、生成する二次画像データの数を下回る場合は、飽和していない受光センサから出力された一次画像データの画素値に基づいて、当該画素における二次画像データの画素値を算出する。これにより、飽和の影響を低減できる。
図３５は、本例の処理手順を示すフローチャートであり、処理対象とする画素に飽和した受光センサから出力された画素値を含む場合の処理の手順を示すフローチャートである。
まず、生成可能な連立方程式の数（ｍ−ｋ）が、生成する二次画像データの数（ｎ）よりも少なくなるか否かを判定する（ステップＳ２１）。
まず、生成可能な連立方程式の数（ｍ−ｋ）が、生成する二次画像データの数（ｎ）よりも多い場合は、画素値が飽和している一次画像データを除外して、混信除去処理を行う（ステップＳ２８）。
一方、生成可能な連立方程式の数（ｍ−ｋ）が、生成する二次画像データの数（ｎ）よりも少なくなる場合、変数ｉを１に設定する（ステップＳ２２）。そして、飽和していない受光センサから出力された画素値の中に、属性が第ｉ光学系の受光センサから出力された画素値が存在するか否かを判定する（ステップＳ２３）。
飽和していない受光センサから出力された画素値の中に、属性が第ｉ光学系の受光センサから出力された画素値が存在しない場合、第ｉの二次画像データの画素値を飽和値に設定する（ステップＳ２５）。
飽和していない受光センサから出力された画素値の中に、属性が第ｉ光学系の受光センサから出力された画素値が存在する場合、属性が第ｉ光学系の受光センサから出力された画素値の平均値を第ｉの二次画像データの画素値に設定する（ステップＳ２４）。
ステップＳ２４又はステップＳ２５の後、変数ｉが、ｉ＝ｎであるか否かを判定する（ステップＳ２６）。すなわち、すべての二次画像データの画素値が算出されたか否かを判定する。すべての二次画像データの画素値が算出されると、当該画素における処理を終了する。
一方、すべての二次画像データの画素値の取得が完了していない場合（ｉ≠ｎ）、変数ｉをインクリメントする（ステップＳ２７）。この後、ステップＳ２３に戻り、ステップＳ２３以降の処理を再度実行する。
このように、生成可能な連立方程式の数が、生成する二次画像データの数を下回る場合は、飽和していない受光センサから出力された一次画像データの画素値に基づいて、各二次画像データの画素値を算出する。
なお、各受光センサの属性を示すラベルの情報は、属性ラベル情報として、記憶部２２２に格納される。デジタル信号処理部２１６は、記憶部２２２に格納された属性ラベル情報を参照して、上記処理を実行する。
［第２の実施の形態］
上記第１の実施の形態の撮像装置１では、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサを各画素に備えたイメージセンサを用いて、混信比率及び受光感度の組み合わせが異なるｍ個の一次画像データを生成する構成としている。
本実施の形態の撮像装置１αは、露出値を変えて複数回露光することにより、混信比率及び受光感度の組み合わせが異なるｍ個の一次画像データを生成する。
そして、生成したｍ個の一次画像データに基づいて、各光学系に対応した二次画像データを生成する。
図３６は、第２の実施の形態の撮像装置のシステム構成を示すブロック図である。
一次画像データの生成に関わる構成以外は、上記第１の実施の形態の撮像装置１の構成と同じである。すなわち、撮影レンズ１０と、イメージセンサ１００αと、レンズ駆動制御部２１０と、イメージセンサ駆動制御部２１２と、アナログ信号処理部２１４と、デジタル信号処理部２１６αと、表示部２１８と、ワークメモリ２２０と、記憶部２２２と、メディアインターフェース２２４と、システム制御部２２６αと、操作部２２８と、を備えて構成される。
撮影レンズ１０には、第１光学系２０及び第２光学系３０の２つの光学系が備えられる（ｎ＝２）。
イメージセンサ１００αの各画素１１０αには、撮影レンズに備えられる光学系の数以上の受光センサが備えられる。本実施の形態では、２個の受光センサが備えられる。
図３７は、イメージセンサの一部を拡大した正面図である。
同図に示すように、イメージセンサ１００αの各画素１１０αには、２個の受光センサ１２０αａ、１２０αｂが備えられる。符号１２０αａの受光センサを第１受光センサ、符号１２０αｂの受光センサを第２受光センサとする。第１受光センサ１２０αａ及び第２受光センサ１２０αｂは、互いに混信比率の異なる受光センサで構成される。第１受光センサ１２０αａは、主として第１光学系２０からの光を受光する受光センサで構成とされ、第２受光センサ１２０αｂは、主として第２光学系３０からの光を受光する受光センサで構成とされる。
露光の制御は、システム制御部２２６αで行われる。システム制御部２２６αは、所定の露光制御プログラムを実行することにより、露光制御部２２６αＡとして機能する。
露光制御部２２６αＡは、撮像指示を受けると、異なる露出値でイメージセンサ１００αを複数回露光させる。本実施の形態では、２回露光する。２回の露光は、適正露出となる露出値と、適正露出に対して一定量アンダーとなる露出値で実施する。なお、ここでの適正露出となる露出値とは、測光によって算出した露出値である。露出値は、撮影レンズの絞り（Ｆ値）、露光時間（シャッタースピード）、及び、感度の組み合わせによって定まる。露光は連続して行われる。
２回露光することにより、４個の一次画像データを生成できる。一次画像データの生成は、デジタル信号処理部２１６αで行われる。
図３８は、デジタル信号処理部が備える機能のブロック図である。
上記第１の実施の形態の撮像装置１と同様に、デジタル信号処理部２１６αは、一次画像データを生成する機能、すなわち、一次画像データ生成部２１６αＡとしての機能と、画像データから画素値が飽和している画素を検出する機能、すなわち、飽和画素検出部２１６αＢとしての機能と、二次画像データを生成する機能、すなわち、二次画像データ生成部２１６αＣとしての機能と、を備える。
一次画像データ生成部２１６αＡは、イメージセンサ１００αの各画素１１０αから対応する受光センサの画像信号を取得して、一次画像データを生成する。１回目の露光で各画素の第１受光センサ１２０αａから画像信号を取得して、１つの一次画像データを生成する。この一次画像データを第１の一次画像データとする。また、１回目の露光で各画素の第２受光センサ１２０αｂから画像信号を取得して、１つの一次画像データを生成する。この一次画像データを第２の一次画像データとする。また、２回目の露光で各画素の第１受光センサ１２０αａから画像信号を取得して、１つの一次画像データを生成する。この一次画像データを第３の一次画像データとする。また、２回目の露光で各画素の第２受光センサ１２０αｂから画像信号を取得して、１つの一次画像データを生成する。この一次画像データを第４の一次画像データとする。このように２回の露光で合計４個の一次画像データを生成できる。
飽和画素検出部２１６αＢは、一次画像データ生成部２１６αＡで生成された一次画像データを解析し、画素値が飽和している画素を検出する。画素値が飽和している画素を検出する方法は、第１の実施の形態の撮像装置１と同じである。
二次画像データ生成部２１６αＣは、一次画像データ生成部２１６αＡで生成された４個の一次画像データを取得し、混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する。混信除去の方法は、第１の実施の形態の撮像装置１と同じである。したがって、ここでは、その詳細についての説明は省略する。
なお、混信除去処理時に必要な各受光センサの受光感度に応じた係数s1、s2、…、smは、各一次画像データの露光時の露出値に応じた係数をe1、e2、…、emとして設定される。
図３９は、第２の実施の形態の撮像装置による画像データの生成処理の手順を示すフローチャートである。
撮像指示を受けると（ステップＳ１００）、測光処理が行われる（ステップＳ１０１）。測光結果に基づいて、１回目の露光の露出値と２回目の露光の露出値とが決定される。１回目の露光の露出値は、適正露出となる露出値である。２回目の露光の露出値は、適正露出に対して一定量アンダーとなる露出値である。
露出値の決定後、１回目の露光が行われる（ステップＳ１０２）。露光後、１回目の露光の画像信号が取り込まれる（ステップＳ１０３）。この画像信号は、ワークメモリ２２０に格納される。
次に、露出を変えた２回目の露光が行われる（ステップＳ１０４）。露光後、２回目の露光の画像信号が取り込まれる（ステップＳ１０５）。この画像信号もワークメモリ２２０に格納される。
２回の露光後、取り込んだ画像信号から一次画像データが生成される（ステップＳ１０６）。そして、生成された一次画像データから画素値が飽和している画素が検出される（ステップＳ１０７）。この後、検出した画素の位置情報を利用して、混信除去処理が行われ、二次画像データが生成される（ステップＳ１０８）。
このように、複数回露光することにより複数個の一次画像データを生成し、生成した一次画像データに混信除去処理を施して、二次画像データを生成することもできる。これにより、上記第１の実施の形態の撮像装置１と同様に、飽和の影響を排除して、正確に混信の影響を除去できる。
《第２の実施の形態の撮像装置の変形例》
〈受光センサの数〉
各画素に備える受光センサの数は、撮影レンズに備えられる光学系の数以上であればよい。したがって、撮影レンズに備えられる光学系の数が２であれば、２以上の受光センサが各画素に備えられていればよい。
なお、各画素には、混信比率及び受光感度の組み合わせが異なる受光センサを備えてもよい。
〈露光の回数〉
露光は、少なくとも２回行われればよい。なお、少なくとも１回は、適正露出に対してアンダーとなる露出値で露光することが好ましい。また、露出値は、露光時間が一定時間以上長くならないように設定することが好ましい。露光時間が長くなると、像ブレの影響が現れるからである。
［その他の実施の形態］
《撮影レンズの変形例》
上記実施の形態では、撮影レンズに２個の光学系を備えているが、撮影レンズに備える光学系の数（ｎ）は、これに限定されるものではない。撮影レンズには、互いに撮像特性の異なる２以上の光学系が備えられていればよい。
また、上記実施の形態では、焦点距離の異なる光学系が撮影レンズに備えられているが、撮影レンズに備える光学系の種類は、これに限定されるものではない。この他、たとえば、互いに合焦距離の異なる光学系を備えてもよい。これにより、近距離の被写体に合焦した画像と遠距離の被写体に合焦した画像のように、互いに合焦距離の異なる画像を同時に撮像できる。また、たとえば、互いに透過波長特性の異なる光学系を備えてもよい。これにより、たとえば、赤外光領域の光を透過させる光学系、及び、可視光領域の光を透過させる光学系を備えることにより、赤外光画像と可視光画像とを同時に撮像できる。
また、上記実施の形態では、複数の光学系が同心状に配置される構成としているが、複数の光学系の配置は、これに限定されるものではない。たとえば、光軸を中心として、周方向に領域を分割し、各領域に光学系を配置する構成とすることもできる。
《混信除去処理の変形例》
上記のように、混信除去処理は、画素ごとに行われ、行列を利用する場合は、画素ごとに逆行列Ｃ-1の情報を読み出して、混信除去処理を実施する。したがって、逆行列Ｃ-1の情報は、画素ごとに逆行列情報記憶部２２２Ａに記憶される。一方、各画素に備えられる受光センサの混信比率が、画素間で近似している場合は、代表となる逆行列を定めて、混信除去処理を実施してもよい。すなわち、各画素において共通の逆行列を使用して、混信除去処理を実施してもよい。これにより、演算負荷を低減できる。また、画面を複数の領域に分割し、領域ごとに共通の逆行列を定めてもよい。
《画素値がノイズレベル以下の場合》
一次画像データの画素値がノイズレベル以下になると、二次画像データとの間に一定の関係が成立しなくなる。
したがって、処理対象とする画素に画素値がノイズレベル以下となっている一次画像データを含む場合も、当該一次画像データを除外して二次画像データを生成することが好ましい。
すなわち、入力と出力との間に線形性が確保さている一次画像データのみを使用して混信除去処理を行い、二次画像データを生成することが好ましい。
《カラー画素の生成》
また、上記実施の形態では、説明の便宜上、カラー画像については言及していないが、カラー画像を生成する場合は、所定のフィルタ配列で各画素にカラーフィルタを配置する。これにより、カラー画像の生成が可能になる。
本発明の効果を確認するため、擬似的に生成した一次画像データに本発明に係る混信除去処理を施して、二次画像データが生成する実験を行った。
〈一次画像データの生成〉
図４０は、一次画像データの生成の概念図である。
一次画像データは、２つの画像データＷ、Ｔを合成して擬似的に生成した。合成する画像の数が、撮影レンズに備えられる光学系の数（ｎ）に相当する。２つの画像データＷ、Ｔを合成しているので、撮影レンズに備えられる光学系の数は２個（ｎ＝２）となる。
生成する一次画像データの数が、イメージセンサの各画素に備えられる受光センサの数（ｍ）に相当する。４つの一次画像データを生成した。この場合、イメージセンサの各画素に備えられる受光センサの数は、４個（ｍ＝４）となる。４つの一次画像データを第１の一次画像データＦＩ１、第２の一次画像データＦＩ２、第３の一次画像データＦＩ３、第４の一次画像データＦＩ４とする。
合成時の混合比率（２つの画像データＷ、Ｔを合成する比率）が、混信比率に相当する。第１の一次画像データＦＩ１の混信比率C1をＷ：Ｔ＝０．８：０．２、第２の一次画像データＦＩ２の混信比率C2をＷ：Ｔ＝０．２：０．８、第３の一次画像データＦＩ３の混信比率C3をＷ：Ｔ＝０．８：０．２、第４の一次画像データＦＩ４の混信比率C4をＷ：Ｔ＝０．２：０．８とした。
合成後の各画像の輝度を調整して、受光感度を擬似的に調整した。第１の一次画像データＦＩ１及び第２の一次画像データＦＩ２に対して、第３の一次画像データＦＩ３及び第４の一次画像データＦＩ４の輝度を１／５に設定した。この場合、受光感度に応じた係数をs1、s2、s3及びs4は、s1＝１、s2＝１、s3＝０．２、s4＝０．２となる。
混信比率及び受光感度の組み合わせが異なる４つの一次画像データＦＩ１〜ＦＩ４を生成した。
〈二次画像データの生成〉
（１）本発明
図４１は、本発明に係る画像データ生成方法で生成した二次画像データが表わす画像である。
すなわち、４つの一次画像データ（第１の一次画像データＦＩ１、第２の一次画像データＦＩ２、第３の一次画像データＦＩ３、第４の一次画像データＦＩ４）に対して本発明の方法で混信除去処理を施し、２つの二次画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成した。
同図に示すように、飽和の影響を排除して、２つの画像から互いに混信の影響を除去できることが確認できた。
（２）比較例
図４２は、従来の方法で生成した二次画像データが表わす画像である。
第１の一次画像データＦＩ１及び第２の一次画像データＦＩ２に対して、従来の方法で混信除去処理を施し、２つの二次画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成した。
同図に示すように、生成される画像（二次画像データ）は、飽和の影響を受けて破綻することが確認できた。
１ 撮像装置
１α 撮像装置
１０ 撮影レンズ
２０ 第１光学系
２２ 絞り
３０ 第２光学系
３０ａ 第１レンズ
３０ｂ 第２レンズ
３０ｃ 第３レンズ
３０ｄ 主鏡
３０ｅ 副鏡
３２ 絞り
４０ 共通レンズ
１００ イメージセンサ
１００α イメージセンサ
１１０ 画素
１１０α 画素
１２０ａ 第１受光センサ
１２０ｂ 第２受光センサ
１２０ｃ 第３受光センサ
１２０ｄ 第４受光センサ
１２０ｅ 受光センサ
１２０ｆ 受光センサ
１２０ｇ 受光センサ
１２０ｈ 受光センサ
１２０ｉ 受光センサ
１２０αａ 第１受光センサ
１２０αｂ 第２受光センサ
１３０ 光電変換素子
１３２ マイクロレンズ
１３４ 遮光マスク
１３４Ａ 開口部
１３６ フィルタ
２１０ レンズ駆動制御部
２１２ イメージセンサ駆動制御部
２１４ アナログ信号処理部
２１６ デジタル信号処理部
２１６Ａ 一次画像データ生成部
２１６Ｂ 飽和画素検出部
２１６Ｃ 二次画像データ生成部
２１６α デジタル信号処理部
２１６αＡ 一次画像データ生成部
２１６αＢ 飽和画素検出部
２１６αＣ 二次画像データ生成部
２１８ 表示部
２２０ ワークメモリ
２２２ 記憶部
２２２Ａ 逆行列情報記憶部
２２４ メディアインターフェース
２２６ システム制御部
２２６α システム制御部
２２６αＡ 露光制御部
２２８ 操作部
２３０ 外部メモリ
ＦＩ１ 第１の一次画像データ
ＦＩ２ 第２の一次画像データ
ＦＩ３ 第３の一次画像データ
ＦＩ４ 第４の一次画像データ
Ｌ 光軸
Ｌ１ 領域
Ｌ２ 領域
ＳＩ１ 第１の二次画像データ
ＳＩ２ 第２の二次画像データ
Ｓ１〜Ｓ１１ 二次画像データの生成処理時の各工程
Ｓ２１〜Ｓ２７ 画素値が飽和している一次画像データを含む場合の処理の各工程

Claims (30)

  1. ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、
    ｍがｍ＞ｎを満たす整数とした場合に、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサを各画素に備えたイメージセンサと、
    前記イメージセンサの各画素の前記各受光センサから出力される画像信号を取得し、ｍ個の一次画像データを生成する一次画像データ生成部と、
    前記一次画像データから画素値が飽和している画素を検出する飽和画素検出部と、
    ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部であって、画素値が飽和している前記一次画像データを処理対象に含む場合、画素値が飽和している前記一次画像データを除外し、残りの前記一次画像データに混信除去処理を施して、前記二次画像データを生成する二次画像データ生成部と、
    を備えた撮像装置。
  2. 前記一次画像データの画素値をA1、A2、…、Am、前記二次画像データの画素値をB1、B2、…、Bn、前記各受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、前記各受光センサの受光感度に応じた係数をs1、s2、…、smとした場合に、
    前記二次画像データ生成部は、前記混信除去処理として、次の連立方程式
    A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn
    A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn
    …
    Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn
    を解いて、前記二次画像データを生成し、
    処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記連立方程式を立て、前記二次画像データを生成する、
    請求項１に記載の撮像装置。
  3. 前記各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、前記各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと前記各受光センサの受光感度に応じた係数s1、s2、…、smとの積s1*C1＝s1*C11：s1*C12：…：s1*C1n、s2*C2＝s2*C21：s2*C22：…：s2*C2n、…、sm*Cm＝sm*Cm1：sm*Cm2：…：sm*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の行列方程式
    Ｂ=Ｔ-1*Ａ
    を解いて、前記二次画像データを生成し、
    処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記行列方程式を立て、前記二次画像データを生成する、
    請求項１に記載の撮像装置。
  4. 前記逆行列Ｔ-1の情報を記憶した逆行列情報記憶部を更に備え、
    前記二次画像データ生成部は、前記逆行列情報記憶部に記憶された前記逆行列Ｔ-1の情報を利用して、前記行列方程式を解く、
    請求項３に記載の撮像装置。
  5. 前記逆行列情報記憶部は、前記画素ごとの前記逆行列Ｔ-1の情報を記憶する、
    請求項４に記載の撮像装置。
  6. ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している前記一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、前記二次画像データ生成部は、前記混信除去処理は実施せず、飽和していない前記一次画像データの画素値、及び、飽和していない前記一次画像データの混信比率に基づいて、処理対象とする画素における前記二次画像データの画素値を算出する、
    請求項１から５のいずれか１項に記載の撮像装置。
  7. ｍ＝ｋの場合、前記二次画像データ生成部は、処理対象とする画素における前記二次画像データの画素値を飽和値とする、
    請求項６に記載の撮像装置。
  8. 前記受光センサは、
    光電変換素子と、
    前記撮影レンズの射出瞳の像を前記光電変換素子に結像させるマイクロレンズと、
    前記マイクロレンズと前記受光センサとの間に配置される遮光マスクと、
    を備え、前記遮光マスクの形状が異なることにより、受光感度が異なる、
    請求項１から７のいずれか１項に記載の撮像装置。
  9. 前記受光センサは、
    フィルタを備え、前記フィルタの透過率が異なることにより、受光感度が異なる、
    請求項１から７のいずれか１項に記載の撮像装置。
  10. ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、
    混信比率の異なるｎ個以上の受光センサを各画素に備えたイメージセンサと、
    異なる露出値で前記イメージセンサを複数回露光させる露光制御部と、
    露光ごとに前記イメージセンサの各画素の前記各受光センサから出力される画像信号を取得し、ｍ＞ｎとなるｍ個の一次画像データを生成する一次画像データ生成部と、
    前記一次画像データから画素値が飽和している画素を検出する飽和画素検出部と、
    ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部であって、画素値が飽和している前記一次画像データを処理対象に含む場合、画素値が飽和している前記一次画像データを除外し、残りの前記一次画像データに混信除去処理を施して、前記二次画像データを生成する二次画像データ生成部と、
    を備えた撮像装置。
  11. 前記一次画像データの画素値をA1、A2、…、Am、前記二次画像データの画素値をB1、B2、…、Bn、前記各一次画像データに対応する前記受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、前記各一次画像データの露光時の露出値に応じた係数をe1、e2、…、emとした場合に、
    前記二次画像データ生成部は、前記混信除去処理として、次の連立方程式
    A1=e1*C11*B1+e1*C12*B2+…+e1*C1n*Bn
    A2=e2*C21*B1+e2*C22*B2+…+e2*C2n*Bn
    …
    Am=em*Cm1*B1+em*Cm2*B2+…+em*Cmn*Bn
    を解いて、前記二次画像データを生成し、
    処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記連立方程式を立て、前記二次画像データを生成する、
    請求項１０に記載の撮像装置。
  12. 前記各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、前記各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記各一次画像データに対応する前記受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと前記各一次画像データの露光時の露出値に応じた係数e1、e2、…、emとの積e1*C1＝e1*C11：e1*C12：…：e1*C1n、e2*C2＝e2*C21：e2*C22：…：e2*C2n、…、em*Cm＝em*Cm1：em*Cm2：…：em*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の行列方程式
    Ｂ=Ｔ-1*Ａ
    を解いて、前記二次画像データを生成し、
    処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記行列方程式を立て、前記二次画像データを生成する、
    請求項１０に記載の撮像装置。
  13. 前記逆行列Ｔ-1の情報を記憶した逆行列情報記憶部を更に備え、
    前記二次画像データ生成部は、前記逆行列情報記憶部に記憶された前記逆行列Ｔ-1の情報を利用して、前記行列方程式を解く、
    請求項１２に記載の撮像装置。
  14. 前記逆行列情報記憶部は、前記画素ごとの前記逆行列Ｔ-1の情報を記憶する、
    請求項１３に記載の撮像装置。
  15. ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している前記一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、前記二次画像データ生成部は、前記混信除去処理は実施せず、飽和していない前記一次画像データの画素値、及び、飽和していない前記一次画像データの混信比率に基づいて、処理対象とする画素における前記二次画像データの画素値を算出する、
    請求項１０から１４のいずれか１項に記載の撮像装置。
  16. ｍ＝ｋの場合、前記二次画像データ生成部は、処理対象とする画素における前記二次画像データの画素値を飽和値とする、
    請求項１５に記載の撮像装置。
  17. 前記撮影レンズに備えられる複数の前記光学系は、互いに焦点距離が異なる、
    請求項１から１６のいずれか１項に記載の撮像装置。
  18. 前記撮影レンズに備えられる複数の前記光学系は、互いに合焦距離が異なる、
    請求項１から１６のいずれか１項に記載の撮像装置。
  19. 前記撮影レンズに備えられる複数の前記光学系は、互いに透過波長特性の異なる、
    請求項１から１６のいずれか１項に記載の撮像装置。
  20. 前記撮影レンズに備えられる複数の前記光学系は、互いに同心状に配置される、
    請求項１から１９のいずれか１項に記載の撮像装置。
  21. ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率及び受光感度の組み合わせが異なるｍ個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置を用いる画像データ生成方法であって、
    前記イメージセンサを露光する工程と、
    前記イメージセンサの各画素の前記各受光センサから出力される画像信号を取得し、ｍ個の一次画像データを生成する工程と、
    前記一次画像データから画素値が飽和している画素を検出する工程と、
    ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する工程であって、画素値が飽和している前記一次画像データを処理対象に含む場合、画素値が飽和している前記一次画像データを除外し、残りの前記一次画像データに混信除去処理を施して、前記二次画像データを生成する工程と、
    を備えた画像データ生成方法。
  22. 前記一次画像データの画素値をA1、A2、…、Am、前記二次画像データの画素値をB1、B2、…、Bn、前記各受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、前記各受光センサの受光感度に応じた係数をs1、s2、
    …、smとした場合に、
    前記二次画像データを生成する工程は、前記混信除去処理として、次の連立方程式
    A1=s1*C11*B1+s1*C12*B2+…+s1*C1n*Bn
    A2=s2*C21*B1+s2*C22*B2+…+s2*C2n*Bn
    …
    Am=sm*Cm1*B1+sm*Cm2*B2+…+sm*Cmn*Bn
    を解いて、前記二次画像データを生成し、
    処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記連立方程式を立て、前記二次画像データを生成する、
    請求項２１に記載の画像データ生成方法。
  23. 前記各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、前記各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと前記各受光センサの受光感度に応じた係数s1、s2、…、smとの積s1*C1＝s1*C11：s1*C12：…：s1*C1n、s2*C2＝s2*C21：s2*C22：…：s2*C2n、…、sm*Cm＝sm*Cm1：sm*Cm2：…：sm*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、前記二次画像データを生成する工程は、前記混信除去処理として、次の行列方程式
    Ｂ=Ｔ-1*Ａ
    を解いて、前記二次画像データを生成し、
    処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記行列方程式を立て、前記二次画像データを生成する、
    請求項２１に記載の画像データ生成方法。
  24. ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している前記一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、前記二次画像データを生成する工程は、前記混信除去処理は実施せず、飽和していない前記一次画像データの画素値、及び、飽和していない前記一次画像データの混信比率に基づいて、処理対象とする画素における前記二次画像データの画素値を算出する、
    請求項２１から２３のいずれか１項に記載の画像データ生成方法。
  25. ｍ＝ｋの場合、前記二次画像データを生成する工程は、処理対象とする画素における前記二次画像データの画素値を飽和値とする、
    請求項２４に記載の画像データ生成方法。
  26. ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、混信比率の異なるｎ個以上の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置を用いる画像データ生成方法であって、
    異なる露出値で前記イメージセンサを複数回露光する工程と、
    露光ごとに前記イメージセンサの各画素の前記各受光センサから出力される画像信号を取得し、ｍ＞ｎとなるｍ個の一次画像データを生成する工程と、
    前記一次画像データから画素値が飽和している画素を検出する工程と、
    ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する工程であって、画素値が飽和している前記一次画像データを処理対象に含む場合、画素値が飽和している前記一次画像データを除外し、残りの前記一次画像データに混信除去処理を施して、前記二次画像データを生成する工程と、
    を備えた画像データ生成方法。
  27. 前記一次画像データの画素値をA1、A2、…、Am、前記二次画像データの画素値をB1、B2、…、Bn、前記各一次画像データに対応する前記受光センサの混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmn、前記各一次画像データの露光時の露出値に応じた係数をe1、e2、…、emとした場合に、
    前記二次画像データを生成する工程は、前記混信除去処理として、次の連立方程式
    A1=e1*C11*B1+e1*C12*B2+…+e1*C1n*Bn
    A2=e2*C21*B1+e2*C22*B2+…+e2*C2n*Bn
    …
    Am=em*Cm1*B1+em*Cm2*B2+…+em*Cmn*Bn
    を解いて、前記二次画像データを生成し、
    処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記連立方程式を立て、前記二次画像データを生成する、
    請求項２６に記載の画像データ生成方法。
  28. 前記各一次画像データの画素値A1、A2、…、Amを要素とするｍ行１列の行列をＡ、前記各二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記各一次画像データに対応する前記受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cm＝Cm1：Cm2：…：Cmnと前記各一次画像データの露光時の露出値に応じた係数e1、e2、…、emとの積e1*C1＝e1*C11：e1*C12：…：e1*C1n、e2*C2＝e2*C21：e2*C22：…：e2*C2n、…、em*Cm＝em*Cm1：em*Cm2：…：em*Cmnを要素とするｍ行ｎ列の行列をＴとし、Ｔの逆行列をＴ-1とした場合に、前記二次画像データを生成する工程は、前記混信除去処理として、次の行列方程式
    Ｂ=Ｔ-1*Ａ
    を解いて、前記二次画像データを生成し、
    処理対象とする画素に画素値が飽和している前記一次画像データを含む場合、画素値が飽和している前記一次画像データを除外して前記行列方程式を立て、前記二次画像データを生成する、
    請求項２６に記載の画像データ生成方法。
  29. ｋがｋ＞０を満たす整数とした場合に、処理対象とする画素に画素値が飽和している前記一次画像データをｋ個含み、かつ、（ｍ−ｋ）＜ｎとなる場合、前記二次画像データを生成する工程は、前記混信除去処理は実施せず、飽和していない前記一次画像データの画素値、及び、飽和していない前記一次画像データの混信比率に基づいて、処理対象とする画素における前記二次画像データの画素値を算出する、
    請求項２６から２８のいずれか１項に記載の画像データ生成方法。
  30. ｍ＝ｋの場合、前記二次画像データを生成する工程は、処理対象とする画素における前記二次画像データの画素値を飽和値とする、
    請求項２９に記載の画像データ生成方法。
JP2017563730A 2016-01-26 2016-12-08 撮像装置、及び、画像データ生成方法 Active JP6585195B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016012537 2016-01-26
JP2016012537 2016-01-26
PCT/JP2016/086590 WO2017130581A1 (ja) 2016-01-26 2016-12-08 撮像装置、及び、画像データ生成方法

Publications (2)

Publication Number Publication Date
JPWO2017130581A1 JPWO2017130581A1 (ja) 2018-10-25
JP6585195B2 true JP6585195B2 (ja) 2019-10-02

Family

ID=59397653

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017563730A Active JP6585195B2 (ja) 2016-01-26 2016-12-08 撮像装置、及び、画像データ生成方法

Country Status (5)

Country Link
US (1) US10594964B2 (ja)
EP (1) EP3410693B1 (ja)
JP (1) JP6585195B2 (ja)
CN (1) CN108605083B (ja)
WO (1) WO2017130581A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7455620B2 (ja) 2020-03-11 2024-03-26 三星電子株式会社 動画像処理装置及び動画像処理方法
CN113038043B (zh) * 2021-03-25 2021-12-03 无锡物联网创新中心有限公司 一种传感器阵列电串扰消除方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9502063L (sv) * 1995-06-07 1996-10-28 Integrated Vision Prod Anordning för inläsning och behandling av bildinformation
JP2004112739A (ja) * 2002-07-25 2004-04-08 Fujitsu Ltd 固体イメージセンサ
JP5269425B2 (ja) * 2008-01-29 2013-08-21 株式会社東芝 固体撮像素子および固体撮像装置
US20100087714A1 (en) * 2008-10-03 2010-04-08 Nellcor Puritan Bennett Ireland Reducing cross-talk in a measurement system
CN103155543B (zh) * 2010-10-01 2014-04-09 富士胶片株式会社 成像设备
EP2628059A1 (en) * 2010-10-11 2013-08-21 General Electric Company Systems, methods, and apparatus for detecting and removing sensor signal impulse disturbances
WO2013018471A1 (ja) * 2011-07-29 2013-02-07 富士フイルム株式会社 撮像装置
JP5525107B2 (ja) * 2011-08-16 2014-06-18 富士フイルム株式会社 撮像装置
JP5507764B2 (ja) * 2011-08-24 2014-05-28 富士フイルム株式会社 撮像装置
WO2013146506A1 (ja) * 2012-03-27 2013-10-03 富士フイルム株式会社 撮像装置及び撮像方法
EP2881775B1 (en) 2012-08-06 2018-03-07 FUJIFILM Corporation Imaging device
JP6156724B2 (ja) 2013-03-14 2017-07-05 株式会社リコー ステレオカメラ
JP6165680B2 (ja) * 2014-06-27 2017-07-19 富士フイルム株式会社 撮像装置

Also Published As

Publication number Publication date
EP3410693A4 (en) 2019-01-02
EP3410693B1 (en) 2023-01-11
JPWO2017130581A1 (ja) 2018-10-25
CN108605083B (zh) 2020-09-15
EP3410693A1 (en) 2018-12-05
WO2017130581A1 (ja) 2017-08-03
US20180316879A1 (en) 2018-11-01
US10594964B2 (en) 2020-03-17
CN108605083A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN102369721B (zh) 具有合成全色图像的彩色滤光器阵列(cfa)图像
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
US10070038B2 (en) Image processing apparatus and method calculates distance information in a depth direction of an object in an image using two images whose blur is different
US8988582B2 (en) Multi-channel image sensors
US20150185434A1 (en) Image pickup apparatus, control method thereof, and program
US9531960B2 (en) Imaging apparatus for generating HDR image from images captured at different viewpoints and method for controlling imaging apparatus
WO2011152531A1 (ja) 撮像装置
JPWO2013046973A1 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
JP2015220716A (ja) 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
US10691002B2 (en) Imaging device and image data generation method
JP6585195B2 (ja) 撮像装置、及び、画像データ生成方法
JP6353233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
US10043247B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium
US10341580B2 (en) Image processing device configured to correct an image so as to decrease output data
US20090102939A1 (en) Apparatus and method for simultaneously acquiring multiple images with a given camera
JP2014165778A (ja) 固体撮像素子、撮像装置及び焦点検出装置
US9699394B2 (en) Filter arrangement for image sensor
JPWO2017199559A1 (ja) 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
US7898591B2 (en) Method and apparatus for imaging using sensitivity coefficients
US20180183984A1 (en) Image processing method, image processing apparatus, and imaging apparatus
JP2022158486A (ja) 撮像素子、焦点検出装置および撮像装置
JP2016046773A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190904

R150 Certificate of patent or registration of utility model

Ref document number: 6585195

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250