JPWO2017126242A1 - 撮像装置、及び、画像データ生成方法 - Google Patents

撮像装置、及び、画像データ生成方法 Download PDF

Info

Publication number
JPWO2017126242A1
JPWO2017126242A1 JP2017562464A JP2017562464A JPWO2017126242A1 JP WO2017126242 A1 JPWO2017126242 A1 JP WO2017126242A1 JP 2017562464 A JP2017562464 A JP 2017562464A JP 2017562464 A JP2017562464 A JP 2017562464A JP WO2017126242 A1 JPWO2017126242 A1 JP WO2017126242A1
Authority
JP
Japan
Prior art keywords
image data
light receiving
pixel
optical system
primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017562464A
Other languages
English (en)
Other versions
JP6545829B2 (ja
Inventor
小野　修司
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017126242A1 publication Critical patent/JPWO2017126242A1/ja
Application granted granted Critical
Publication of JP6545829B2 publication Critical patent/JP6545829B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Cameras In General (AREA)

Abstract

混信除去後の画像に現れるノイズを低減できる撮像装置、及び、画像データ生成方法を提供する。撮像特性の異なる複数の光学系を備えた撮影レンズ（１０）と、混信比率の異なる複数の受光センサを各画素に備えたイメージセンサ（１００）とを使用して、各光学系に対応した画像を一度に撮像する撮像装置（１）において、撮影レンズ（１０）に備える光学系の数（ｎ）よりもイメージセンサ（１００）の各画素に備える受光センサの数（ｍ）を多くする（ｍ＞ｎ）。これにより、混信除去後の画像に現れるノイズを低減できる。

Description

本発明は、撮像装置、及び、画像データ生成方法に係り、特に、複数の光学系を備えた撮影レンズ、及び、各受光センサが光の入射角に関して指向性を有するイメージセンサを使用することにより、一度に複数の画像を撮像可能な撮像装置、及び、画像データ生成方法に関する。
複数の光学系を備えた撮影レンズ、及び、各受光センサが光の入射角に関して指向性を有するイメージセンサを使用することにより、一度に複数の画像を撮像可能な撮像装置が知られている（たとえば、特許文献１）。この撮像装置では、撮影レンズの各光学系を通過する光をイメージセンサの各受光センサで選択的に受光することにより、各光学系に対応した画像を撮像する。しかし、各光学系からの光を各受光センサで完全に分離して受光することは難しい。この結果、混信（クロストーク）が生じる。混信とは、他の光学系からの光が混入して受光される現象である。混信が生じると、他の光学系の画像が重畳した画像が撮像される（図１３及び図１４参照）。特許文献２及び３には、撮影により得られた各光学系の画像を相互に利用し、信号処理によって各画像から混信の影響を除去する方法が提案されている。
国際公開第２０１３／０１８４７１号 国際公開第２０１３／１４６５０６号 特開２０１４−１７８１９０号公報
ところで、撮影により得られる画像には、種々の要因でノイズが発生する。ノイズは、ランダムに発生する細かな変動成分であり、画像にザラツキとなって現れる。特許文献２及び３のように、信号処理によって混信の影響を除去する場合において、処理対象の画像にノイズが含まれていると、処理結果にもノイズの影響が現れるという問題がある。
本発明は、このような事情に鑑みてなされたもので、混信除去後の画像に現れるノイズを低減できる撮像装置、及び、画像データ生成方法を提供することを目的とする。
課題を解決するための手段は、次のとおりである。
（１）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、イメージセンサの各画素の各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する一次画像データ生成部と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部と、を備えた撮像装置。
従来、この種の撮像装置では、撮影レンズに備えられる光学系の数（ｎ）と同じ数の受光センサが、イメージセンサの各画素に備えられていた（ｎ＝ｍ）。たとえば、撮影レンズに備えられる光学系の数（ｎ）が２の場合、イメージセンサの各画素に備えられる受光センサの数（ｍ）も２であった。本出願の発明者は、各画素に備える受光センサの数（ｍ）を光学系の数（ｎ）よりも多くすることにより、混信除去処理後に得られる画像のノイズを低減できることを見出した。そこで、本態様では、イメージセンサの各画素に備える受光センサの数（ｍ）を光学系の数（ｎ）よりも多くしている。これにより、混信除去後の画像に現れるノイズを低減できる。
なお、「混信比率」とは、各光学系から受光する光の割合のことをいう。たとえば、撮影レンズに３つの光学系が備えられているとする。３つの光学系を第１光学系、第２光学系、第３光学系とする。受光センサにおける混信比率が、第１光学系：第２光学系：第３光学系＝０．８：０．１：０．１であるとする。この場合、受光センサには、全受光量を１とすると、第１光学系から０．８、第２光学系から０．１、第３光学系から０．１の割合で光が受光される。すなわち、受光センサで受光される光のうち８割が第１光学系からの光、１割が第２光学系からの光、１割が第３光学系からの光となる。
「混信比率が異なる」とは、各光学系から受光する光の割合が異なる、ということである。したがって、混信比率が異なる受光センサとは、各光学系から受光される光の割合が異なる受光センサのことである。
また、「混信除去処理」とは、画像から混信の影響を除去する処理のことである。混信が生じると、他の光学系の画像が重畳した画像が撮像される。混信除去処理により、他の光学系の画像を分離し、除去する。
さらに、「撮像特性」とは、撮像に関わる性質のことをいい、「撮像特性の異なる光学系」とは、撮像に関わる性質が互いに異なる光学系のこという。たとえば、焦点距離の異なる光学系、合焦距離の異なる光学系、透過波長特性の異なる光学系などである。
（２）一次画像データの画素値をA1、A2、…、Aｍ、二次画像データの画素値をB1、B2、…、Bn、混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、二次画像データ生成部は、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する、（１）の撮像装置。
本態様によれば、二次画像データ生成部は、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する。これにより、混信除去後の画像に現れるノイズを低減できる。
（３）一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、二次画像データ生成部は、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する、（１）に記載の撮像装置。
本態様によれば、二次画像データ生成部は、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する。これにより、混信除去後の画像に現れるノイズを低減できる。なお、行列Ｃが正則ではない場合、行列Ｃの一般逆行列を算出して、逆行列Ｃ-1を取得する。一般逆行列は、たとえば、ムーア・ペンローズ逆行列等の公知の手法で算出できる。
（４）逆行列Ｃ-1の情報を記憶した逆行列情報記憶部を更に備え、二次画像データ生成部は、逆行列情報記憶部に記憶された逆行列Ｃ-1の情報を利用して、行列方程式を解く、（３）の撮像装置。
本態様によれば、演算に必要な逆行列Ｃ-1があらかじめ算出されている。これにより、混信除去の処理速度を向上できる。
（５）逆行列情報記憶部は、画素ごとの逆行列Ｃ-1の情報を記憶する、（４）の撮像装置。
本態様によれば、画素ごとに逆行列Ｃ-1が算出される。これにより、高精度に混信を除去できる。
（６）撮影シーンの情報を取得する撮影シーン情報取得部を更に備え、二次画像データ生成部は、撮影シーンに応じて、二次画像データの生成に使用する一次画像データの数を変更する、（１）から（５）のいずれかの撮像装置。
本態様によれば、撮影シーンに応じて、二次画像データの生成に使用する一次画像データの数が変更される。たとえば、ノイズが気になる撮影シーンでは、二次画像データの生成に使用する一次画像データの数が増やされる。一方、ノイズが気にならない撮影シーンでは、二次画像データの生成に使用する一次画像データの数を減らされる。これにより、撮影シーンに応じて適切に画像データを処理できる。ノイズが気になる撮影シーンにおいて、二次画像データの生成に使用する一次画像データの数を増やすことにより、よりノイズを抑制できる。一方、ノイズが気にならない撮影シーンにおいて、二次画像データの生成に使用する一次画像データの数を減らすことにより、処理速度を向上できる。
（７）撮影シーン情報取得部は、一次画像データを解析して、撮影シーンを特定する、（６）の撮像装置。
本態様によれば、撮影シーンは、一次画像データを解析して特定される。これにより、自動で撮影シーンを特定できる。
（８）受光センサは、光電変換素子と、撮影レンズの射出瞳の像を光電変換素子に結像させるマイクロレンズと、マイクロレンズと受光センサとの間に配置される遮光マスクと、を備え、遮光マスクの形状、及び／又は、マイクロレンズの結像特性が異なることにより、混信比率が異なる、（１）から（７）のいずれかの撮像装置。
本態様によれば、各画素に備えられる受光センサは、光電変換素子と、マイクロレンズと、遮光マスクと、を備えて構成される。そして、各受光センサは、それぞれ遮光マスクの形状、及び／又は、マイクロレンズの結像特性を変えることにより、混信比率が変えられる。ここで、「結像特性」とは、結像に関わる性質のことをいい、「マイクロレンズの結像特性が異なる」とは、マイクロレンズの結像に関わる性質が互いに異なることをいう。たとえば、マイクロレンズのレンズパワー、倍率、結像位置などが異なることをいう。
（９）受光センサは、光電変換素子と、撮影レンズの射出瞳の像を光電変換素子に結像させるマイクロレンズと、を備え、マイクロレンズの結像特性が異なることにより、混信比率が異なる、（１）から（７）のいずれかの撮像装置。
本態様によれば、各画素に備えられる受光センサは、光電変換素子と、マイクロレンズと、を備えて構成される。そして、各受光センサは、それぞれマイクロレンズの結像特性を変えることにより、混信比率が変えられる。
（１０）撮影レンズに備えられるｎ個の光学系は、焦点距離が異なる、（１）から（９）のいずれかの撮像装置。
本態様によれば、撮影レンズに備えられる各光学系が、互いに焦点距離の異なる光学系で構成される。これにより、たとえば、望遠画像と広角画像のように、互いに焦点距離の異なる画像を撮像できる。
（１１）撮影レンズに備えられるｎ個の光学系は、合焦距離が異なる、（１）から（９）のいずれかの撮像装置。
本態様によれば、撮影レンズに備えられる各光学系が、互いに合焦距離の異なる光学系で構成される。これにより、近距離の被写体に合焦した画像と遠距離の被写体に合焦した画像のように、互いに合焦距離の異なる画像を撮像できる。
（１２）撮影レンズに備えられるｎ個の光学系は、透過波長特性の異なる、（１）から（９）のいずれかの撮像装置。
本態様によれば、撮影レンズに備えられる各光学系が、互いに透過波長特性の異なる光学系で構成される。「透過波長特性」とは、特定の波長域の光を透過させる性質のことをいい、「透過波長特性の異なる光学系」とは、特定の波長域の光を透過させる性質が互いに異なる光学系のことをいう。たとえば、撮影レンズが２つの光学系で構成される場合において、一方の光学系が赤外光領域の光を透過させる光学系で構成され、他方の光学系が可視光領域の光を透過させる光学系で構成される場合である。
（１３）撮影レンズに備えられるｎ個の光学系は、同心状に配置される、（１０）から（１２）のいずれかの撮像装置。
（１４）ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置を用いる画像データ生成方法であって、イメージセンサを露光する工程と、イメージセンサの各画素の各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する工程と、ｍ個の一次画像データに画素単位で混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する工程と、を備えた撮像装置の画像データ生成方法。
本態様では、イメージセンサの各画素に備える受光センサの数（ｍ）を、撮影レンズに備えられる光学系の数（ｎ）よりも多くする。これにより、混信除去後の画像に現れるノイズを低減できる。
（１５）一次画像データの画素値をA1、A2、…、Aｍ、二次画像データの画素値をB1、B2、…、Bn、混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する、（１４）の撮像装置の画像データ生成方法。
本態様では、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解く処理を行って、二次画像データが生成される。これにより、混信除去後の画像に現れるノイズを低減できる。
（１６）一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する、（１４）の撮像装置の画像データ生成方法。
本態様では、混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解く処理を行って、二次画像データが生成される。これにより、混信除去後の画像に現れるノイズを低減できる。なお、行列Ｃが正則ではない場合、行列Ｃの一般逆行列を算出して、逆行列Ｃ-1を取得する。
本態様によれば、撮影レンズは、複数の光学系を同心状に配置して構成される。
本発明によれば、混信除去後の画像に現れるノイズを低減できる。
撮像装置のシステム構成を示すブロック図 撮影レンズの概略構成を示す正面図 図２の３−３断面図 第１光学系の概略構成を示す断面図 第２光学系の概略構成を示す断面図 イメージセンサの受光面の正面図 イメージセンサの１つの画素を拡大した正面図 受光センサの概略構成を示す断面図 受光センサの一例を示す図 受光センサの一例を示す図 イメージセンサの出力から９個の一次画像データを生成する概念図 イメージセンサの出力から個々の一次画像データを生成する概念図 第１の一次画像データＦＩ１が表わす画像の一例を示す図 第２の一次画像データＦＩ２が表わす画像の一例を示す図 第１の二次画像データＳＩ１が表わす画像を示す図 第２の二次画像データＳＩ２が表わす画像を示す図 第１の一次画像データの構成の概念図 第２の一次画像データの構成の概念図 一次画像データと二次画像データとの関係を行列で表現した概念図 一次画像データと二次画像データとの関係を示す行列方程式 逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図 逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式 一次画像データと二次画像データとの関係を示す概念図 一次画像データと二次画像データとの関係を行列で表現した概念図 一次画像データと二次画像データとの関係を示す行列方程式 逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図 逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式 混信がないとした場合における一次画像データと二次画像データとの関係を示すグラフ 混信がある場合における一次画像データと二次画像データとの関係を示すグラフ ｍ＞ｎの場合における一次画像データと二次画像データとの関係を示すグラフ デジタル信号処理部が備える機能のブロック図 撮像装置の第２の実施の形態のシステム構成を示すブロック図 ｍ＝ｎの場合に生成された第１の二次画像データが表わす画像 ｍ＝ｎの場合に生成された第１の二次画像データが表わす画像 ｍ＞ｎの場合に生成された第１の二次画像データが表わす画像 ｍ＞ｎの場合に生成された第２の二次画像データが表わす画像
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
［第１の実施の形態］
《撮像装置の装置構成》
図１は、撮像装置のシステム構成を示すブロック図である。
撮像装置１は、主として、撮影レンズ１０と、イメージセンサ１００と、レンズ駆動制御部２１０と、イメージセンサ駆動制御部２１２と、アナログ信号処理部２１４と、デジタル信号処理部２１６と、表示部２１８と、ワークメモリ２２０と、記憶部２２２と、メディアインターフェース２２４と、システム制御部２２６と、操作部２２８と、を備えて構成される。
〈撮影レンズ〉
図２は、撮影レンズの概略構成を示す正面図である。図３は、図２の３−３断面図である。
撮影レンズ１０は、２つの光学系２０及び３０を備える。２つの光学系２０及び３０は、同心状に配置される。したがって、各光学系２０及び３０は、同じ光軸Ｌを有する。以下、中央の光学系２０を第１光学系、外周の光学系３０を第２光学系と称して、各光学系を必要に応じて区別する。
第１光学系２０及び第２光学系３０は、互いに焦点距離の異なる光学系で構成される。第１光学系２０は、広角の光学系で構成され、第２光学系３０は、望遠の光学系で構成される。ここで、広角の光学系とは、標準の光学系（画角が５０°前後の光学系）よりも焦点距離の短い光学系をいう。また、望遠の光学系とは、標準の光学系よりも焦点距離の長い光学系をいう。
〔第１光学系〕
図４は、第１光学系の概略構成を示す断面図である。なお、同図において、破線は、第１光学系２０を通る光の光線軌跡を示している。
図４に示すように、第１光学系２０は、３群８枚のレンズで構成される。第１光学系２０は、第２レンズ群と第３レンズ群との間に絞り２２を有する。絞り２２は、環状の遮光部を有する。絞り２２は、環状の遮光部の内径を拡縮させて、第１光学系２０を通る光の光量を調節する。
〔第２光学系〕
図５は、第２光学系の概略構成を示す断面図である。なお、同図において、破線は、第２光学系３０を通る光の光線軌跡を示している。
図５に示すように、第２光学系３０は、いわゆる反射光学系で構成される。第２光学系３０は、第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃ、主鏡３０ｄ、及び、副鏡３０ｅを備える。第２光学系３０は、第１光学系２０の外周に配置されるため、各構成要素は環状に形成される。
第１レンズ３０ａ、第２レンズ３０ｂ及び第３レンズ３０ｃは、物体側から第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃの順で光軸Ｌに沿って配置される。
主鏡３０ｄは、第３レンズ３０ｃの像面側の面に備えられる。主鏡３０ｄは、第３レンズ３０ｃの像面側の面に反射膜を形成することにより、第３レンズ３０ｃに一体的に備えられる。主鏡３０ｄは、第３レンズ３０ｃの像面側の面の全面に備えられる。
副鏡３０ｅは、第２レンズ３０ｂの像面側の面に備えられる。副鏡３０ｅは、第２レンズ３０ｂの像面側の面に反射膜を形成することにより、第２レンズ３０ｂに一体的に備えられる。副鏡３０ｅは、第２レンズ３０ｂの像面側の面の内周部分に備えられる。
第２光学系３０に入射した光は、第１レンズ３０ａ、第２レンズ３０ｂ、第３レンズ３０ｃを通過して、主鏡３０ｄに入射する。主鏡３０ｄに入射した光は、主鏡３０ｄで反射し、再び第３レンズ３０ｃを通って副鏡３０ｅに入射する。副鏡３０ｅに入射した光は、副鏡３０ｅで反射して出射する。
第２光学系３０は、副鏡３０ｅの後段に絞り３２を有する。絞り３２は、環状の遮光部を有する。絞り３２は、環状の遮光部の外径を拡縮させて、第２光学系３０を通る光の光量を調整する。
〔共通レンズ〕
撮影レンズ１０は、第１光学系２０及び第２光学系３０で共用される共通レンズ４０を有する。第１光学系２０及び第２光学系３０を通過した光は、それぞれ共通レンズ４０を介してイメージセンサ１００に入射する。共通レンズ４０は、第１光学系２０及び第２光学系３０を介してイメージセンサ１００に入射する光の入射角度を調整する作用を有する。
〔焦点調節機構〕
第１光学系２０及び第２光学系３０は、各々独立して焦点調節される。第１光学系２０は、光学系の全体を光軸Ｌに沿って前後移動させることにより、焦点調節される。同様に、第２光学系３０は、光学系の全体を光軸Ｌに沿って前後移動させることにより、焦点調節される。図示されていないが、撮影レンズ１０には、第１光学系２０を光軸Ｌに沿って前後移動させるための機構（焦点調節機構）と、第２光学系３０を光軸Ｌに沿って前後移動させるための機構（焦点調節機構）と、が備えられる。
〈イメージセンサ〉
図６は、イメージセンサの受光面の正面図である。
イメージセンサ１００は、受光面に複数の画素１１０を備える。複数の画素１１０は、受光面に二次元マトリクス状に配列される。
図７は、イメージセンサの１つの画素を拡大した正面図である。なお、同図において、斜線は遮光マスクによるマスク領域を示している。遮光マスクについては後述する。
イメージセンサ１００は、１つの画素１１０に複数個の受光センサを備える。複数個の受光センサは、二次元マトリクス状に配列される。本実施の形態のイメージセンサ１００は、図７に示すように、１つの画素１１０に９個の受光センサ１２０ａ〜１２０ｉを備える。９個の受光センサ１２０ａ〜１２０ｉは、３行３列（３×３）の配列で二次元マトリクス状に配置される。以下、符号１２０ａの受光センサを第１受光センサ、符号１２０ｂの受光センサを第２受光センサ、符号１２０ｃの受光センサを第３受光センサ、符号１２０ｄの受光センサを第４受光センサ、符号１２０ｅの受光センサを第５受光センサ、符号１２０ｆの受光センサを第６受光センサ、符号１２０ｇの受光センサを第７受光センサ、符号１２０ｈの受光センサを第８受光センサ、符号１２０ｉの受光センサを第９受光センサと称して、各受光センサを必要に応じて区別する。
９個の受光センサ１２０ａ〜１２０ｉは、互いに異なる混信比率を有する。「異なる混信比率を有する」とは、各光学系から異なる割合で光を受光する、ということである。すなわち、各受光センサ１２０ａ〜１２０ｉは、第１光学系２０及び第２光学系３０から異なる割合で光を受光する。
図８は、受光センサの概略構成を示す断面図である。なお、同図において、波線で示す領域Ｌ１は、第１光学系２０から入射する光を概念的に示しており、斜格子で示す領域Ｌ２は、第２光学系３０から入射する光を概念的に示している。
各受光センサ１２０ａ〜１２０ｉの基本構成は同じである。各受光センサ１２０ａ〜１２０ｉは、光電変換素子１３０と、マイクロレンズ１３２と、遮光マスク１３４と、を備えて構成される。
光電変換素子１３０は、光を受け、受けた光の強さに比例した電荷を蓄積する。光電変換素子１３０は、たとえば、フォトダイオードで構成される。
マイクロレンズ１３２は、第１光学系２０及び第２光学系３０の射出瞳の像を光電変換素子１３０に結像させる。
遮光マスク１３４は、マイクロレンズ１３２と光電変換素子１３０との間に配置される。遮光マスク１３４は、マイクロレンズ１３２を通過した光の一部を遮光する。
受光センサ１２０ａ〜１２０ｉは、遮光マスク１３４の形状を調整することにより、混信比率が調整される。
図９は、受光センサの一例を示す図である。同図（Ａ）は、受光センサの断面図（同図（Ｂ）のＡ−Ａ断面図）、同図（Ｂ）は、受光センサの正面図である。なお、同図（Ｂ）において、斜線で示す領域は、遮光マスク１３４の遮光領域を示している。
図９は、主に第１光学系２０からの光を受光する場合の一例を示している。この場合、遮光マスク１３４は、図９（Ｂ）に示すように、中央に円形の開口部１３４Ａを備えた形状とされる。本例の受光センサ１２０ａ〜１２０ｉでは、図９（Ａ）に示すように、第２光学系３０からの光が遮光マスク１３４で遮光されるので、主に第１光学系２０からの光が光電変換素子１３０で受光される。
図１０は、受光センサの一例を示す図である。同図（Ａ）は、受光センサの断面図（同図（Ｂ）のＡ−Ａ断面図）、同図（Ｂ）は、受光センサの正面図である。なお、同図（Ｂ）において、斜線で示す領域は、遮光マスク１３４の遮光領域を示している。
図１０は、主に第２光学系３０からの光を受光する場合の一例を示している。この場合、遮光マスク１３４は、図１０（Ｂ）に示すように、環状の開口部１３４Ａを備えた形状とされる。本例の受光センサ１２０ａ〜１２０ｉでは、図１０（Ａ）に示すように、第１光学系２０からの光が遮光マスク１３４で遮光されるので、主に第２光学系３０からの光が光電変換素子１３０で受光される。
このように、受光センサ１２０ａ〜１２０ｉは、遮光マスク１３４の形状を調整することにより、混信比率を調整できる。
イメージセンサ１００は、各画素１１０の各受光センサ１２０ａ〜１２０ｉの光電変換素子１３０に蓄積された電荷量を読み出し、電荷量に応じた信号を画像信号として出力する。この画像信号を処理することにより、各光学系に対応した画像データを取得できる。この処理については、後に詳述する。
〈レンズ駆動制御部〉
レンズ駆動制御部２１０は、システム制御部２２６からの指令に基づき、撮影レンズ１０の駆動を制御する。すなわち、第１光学系２０の焦点を調節するために、第１光学系２０の焦点調節機構の駆動を制御し、かつ、第２光学系３０の焦点を調節するために、第２光学系３０の焦点調節機構の駆動を制御する。また、第１光学系２０の光量を調節するために、第１光学系２０の絞り２２の駆動を制御し、かつ、第２光学系３０の光量を調節するために、第２光学系３０の絞り３２の駆動を制御する。
〈イメージセンサ駆動制御部〉
イメージセンサ駆動制御部２１２は、システム制御部２２６からの指令に基づき、イメージセンサ１００の駆動を制御する。すなわち、イメージセンサ１００からの画像信号の読み出しを制御する。
〈アナログ信号処理部〉
アナログ信号処理部２１４は、イメージセンサ１００から出力されるアナログの画像信号を取り込み、所定のアナログの信号処理を施す。また、アナログ信号処理部２１４は、所定のアナログの信号処理を施した画像信号をデジタル信号に変換して出力する。
〈デジタル信号処理部〉
デジタル信号処理部２１６は、デジタル信号に変換された画像信号を取り込み、所定の信号処理を施して、各光学系に対応した画像データを生成する。この処理については、後に詳述する。
〈表示部〉
表示部２１８は、たとえば、液晶モニタで構成され、撮像済みの画像や撮像中の画像（いわゆるライブビュー画像）を表示する。また、表示部２１８は、必要に応じてＧＵＩ（GUI: Graphical User Interface）として機能する。
〈ワークメモリ〉
ワークメモリ２２０は、たとえば、ＲＡＭ（RAM：Random Access Memory）で構成され、ワークメモリとして機能する。
〈記憶部〉
記憶部２２２は、たとえば、ＥＥＰＲＯＭ（EEPROM：Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリで構成される。記憶部２２２には、制御に必要なデータ、信号処理に必要なデータ等が格納される。
〈メディアインターフェース〉
メディアインターフェース２２４は、システム制御部２２６から指令に基づいて、メモリーカード等の外部メモリ２３０に対して、データの読み書きを行う。
〈システム制御部〉
システム制御部２２６は、撮像装置全体の動作を統括制御する。システム制御部２２６は、たとえば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭを備えたマイクロコンピュータで構成され、所定の制御プログラムを実行して、撮像装置１の全体を制御する。制御に必要なプログラム及び各種データはＲＯＭに格納される。
〈操作部〉
操作部２２８は、電源ボタンやシャッターボタン等の各種操作ボタン、及び、その駆動回路を備えて構成される。操作部２２８の操作情報は、システム制御部２２６に入力される。システム制御部２２６は、操作部２２８からの操作情報に基づいて、各部を制御する。
撮像装置１は、以上のように構成される。
《各光学系に対応した画像データの生成処理》
〈処理の概要〉
上記のように、イメージセンサ１００には、各画素１１０に９個の受光センサ１２０ａ〜１２０ｉが備えられている。したがって、画素ごとに対応する受光センサの画像信号を取得することにより、１回の撮影で９個の画像データを生成できる。しかし、この９個の画像データには、混信が生じている。そこで、本実施の形態の撮像装置１では、撮影により得られた９個の画像データに混信除去処理を施して、各光学系に対応した画像データを生成する。以下、各処理について説明する。
なお、以下においては、イメージセンサ１００の各画素から対応する受光センサの画像信号を取得して生成される９個の画像データを一次画像データ、その９個の一次画像データに混信除去処理を施して生成される画像データを二次画像データと称して、両者を必要に応じて区別する。
〈一次画像データの生成〉
図１１は、イメージセンサの出力から９個の一次画像データを生成する概念図である。
一次画像データは、イメージセンサ１００の各画素１１０から対応する受光センサ１２０ａ〜１２０ｉの画像信号を取得することにより生成される。
たとえば、イメージセンサ１００の各画素１１０から第１受光センサ１２０ａの画像信号を取得することにより、第１受光センサ１２０ａに対応した一次画像データが生成される。同様に、イメージセンサ１００の各画素１１０から第２受光センサ１２０ｂの画像信号を取得することにより、第２受光センサ１２０ｂに対応した一次画像データが生成される。
ここで、各画素１１０の第１受光センサ１２０ａから取得した画像信号で生成される一次画像データを第１の一次画像データＦＩ１、各画素１１０の第２受光センサ１２０ｂから取得した画像信号で生成される一次画像データを第２の一次画像データＦＩ２、各画素１１０の第３受光センサ１２０ｃから取得した画像信号で生成される一次画像データを第３の一次画像データＦＩ３、各画素１１０の第４受光センサ１２０ｄから取得した画像信号で生成される一次画像データを第４の一次画像データＦＩ４、各画素１１０の第５受光センサ１２０ｅから取得した画像信号で生成される一次画像データを第５の一次画像データＦＩ５、各画素１１０の第６受光センサ１２０ｆから取得した画像信号で生成される一次画像データを第６の一次画像データＦＩ６、各画素１１０の第７受光センサ１２０ｇから取得した画像信号で生成される一次画像データを第７の一次画像データＦＩ７、各画素１１０の第８受光センサ１２０ｈから取得した画像信号で生成される一次画像データを第８の一次画像データＦＩ８、各画素１１０の第９受光センサ１２０ｉから取得した画像信号で生成される一次画像データを第９の一次画像データＦＩ９とする。
図１２は、イメージセンサの出力から個々の一次画像データを生成する概念図である。特に、同図は、イメージセンサの出力から第１の一次画像データＦＩ１を生成する場合を示している。
図１２に示すように、第１の一次画像データＦＩ１は、イメージセンサ１００の各画素１１０から第１受光センサ１２０ａの画像信号を取得して生成される。たとえば、第１の一次画像データＦＩ１の画素位置（０，０）における値（画素値）は、イメージセンサ１００の画素位置（０，０）にある第１受光センサ１２０ａから画像信号を取得して生成される。同様に、第１の一次画像データＦＩ１の画素位置（０，１）における値（画素値）は、イメージセンサ１００の画素位置（０，１）にある第１受光センサ１２０ａから画像信号を取得して生成される。このように、第１の一次画像データＦＩ１の各画素の値（画素値）は、イメージセンサ１００の対応する画素１１０にある第１受光センサ１２０ａから画像信号を取得して生成される。
なお、画素位置（ｘ，ｙ）は、画素の位置をｘｙ座標で表わしたものである。ｘｙ座標は、次のように設定される。すなわち、イメージセンサ１００においては、図６に示すように、画面左上隅を座標原点とし、水平方向をｘ座標、垂直方向をｙ座標としている。この場合、特定の画素の位置は（ｘ，ｙ）と表現される。画像データについても同様であり、画面左上隅を座標原点とし、水平方向をｘ座標、垂直方向をｙ座標としている。
他の一次画像データも同様にして、イメージセンサ１００の各画素１１０から対応する受光センサの画像信号を取得して生成される。
〈二次画像データの生成〉
二次画像データは、一次画像データに対して画素単位で混信除去処理を行うことにより生成される。以下、混信除去処理について説明する。
〔混信除去処理の基本概念〕
まず、混信除去処理の基本概念について説明する。ここでは、発明の理解を容易にするため、撮影レンズに備えられる光学系の数（ｎ）が２個、イメージセンサの各画素に備えられる受光センサの数（ｍ）が２個の場合を例に説明する。
撮影レンズに備えられる２つの光学系について、一方の光学系を第１光学系、他方の光学系を望遠の第２光学系とする。第１光学系は広角の光学系で構成され、第２光学系は望遠の光学系で構成されるものとする。
また、各画素に備えられる２つの受光センサについて、一方の受光センサを第１受光センサ、他方の受光センサを第２受光センサとする。各画素に備えられる第１受光センサは、すべて同じ混信比率であると仮定する。同様に、各画素に備えられる第２受光センサは、すべて同じ混信比率であると仮定する。
第１受光センサの混信比率をC1＝C11：C12とし、第２受光センサの混信比率をC2＝C21：C22とする。ここで、第１受光センサについて、混信比率C1がC11：C12とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C11：C12、という意味である。すなわち、第１光学系からC11、第２光学系からC12の割合で光を受光する、という意味である。同様に、第２の光学系について、混信比率C2がC21：C22とは、第１光学系及び第２光学系から受光する光の割合が、第１光学系：第２光学系＝C21：C22、という意味である。
イメージセンサは、１画素に２個の受光センサ（第１受光センサ及び第２受光センサ）を備えているので（ｍ＝２）、１回の撮影で２個の一次画像データが生成される。第１受光センサに基づく一次画像データを第１の一次画像データＦＩ１とし、第２受光センサに基づく一次画像データを第２の一次画像データＦＩ２とする。第１の一次画像データＦＩ１は、混信比率C1＝C11：C12の割合で混信が生じており、第２の一次画像データＦＩ２は、混信比率C2＝C21：C22の割合で混信が生じている。
図１３は、第１の一次画像データＦＩ１が表わす画像の一例を示す図である。また、図１４は、第２の一次画像データＦＩ２が表わす画像の一例を示す図である。なお、図１３及び図１４に示す例では、第１受光センサの混信比率C1がC11＞C12、第２受光センサの混信比率C2がC21＜C22の場合の例を示している。すなわち、第１受光センサが、第１光学系からの光をより多く受光するように構成され、第２受光センサが、第２光学系からの光をより多く受光するように構成された場合の例を示している。この場合、図１３に示すように、第１受光センサから得られる画像（第１の一次画像データＦＩ１が表わす画像）は、本来の第１光学系の画像（広角の画像）に加えて、第２の光学系の画像（望遠の画像）が、かすかに重畳した画像となる。一方、第２受光センサから得られる画像（第２の一次画像データＦＩ２が表わす画像）は、図１４に示すように、本来の第２光学系の画像（望遠の画像）に加えて、第１の光学系の画像（広角の画像）が、かすかに重畳した画像となる。
二次画像データについては、撮影レンズに備えられる光学系の数が２であるので（ｍ＝２）、２個の二次画像データが生成される。第１光学系に対応する二次画像データを第１の二次画像データＳＩ１とし、第２光学系に対応する二次画像データを第２の二次画像データＳＩ２とする。
図１５は、第１の二次画像データＳＩ１が表わす画像を示す図であり、図１６は、第２の二次画像データＳＩ２が表わす画像を示す図である。図１５及び図１６に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２が表わす画像は、混信の影響が除去された画像となる。
いま、ある特定の画素位置（ｘ，ｙ）における第１の一次画像データＦＩ１の画素値をA1、第２の一次画像データＦＩ２の画素値をA2とする。また、対応する画素における第１の二次画像データＳＩ１の画素値をB1、第２の二次画像データＳＩ２の画素値をB2とする。
第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1及びB2は、次の連立方程式
A1 = C11*B1 + C12*B2
A2 = C21*B1 + C22*B2
を解いて算出できる。
すなわち、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分（第１光学系の成分と同義）と第２の二次画像データＳＩ２の成分（第２光学系の成分と同義）とをC11：C12の割合で含むデータである。したがって、この関係を式で表わすと、A1=C11*B1+C12*B2となる。同様に、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分（第１光学系の成分）と第２の二次画像データＳＩ２の成分（第２光学系の成分）をC21：C22の割合で含むデータであるので、この関係を式で表わすと、A2=C21*B1+C22*B2となる。この関係を図で示すと、図１７及び図１８のようになる。
図１７は、第１の一次画像データの構成の概念図である。
同図に示すように、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分をC11の割合で含み、かつ、第２の二次画像データＳＩ２の成分をC12の割合で含む。この関係を式で表わすと、特定の画素位置（ｘ，ｙ）について、A1=C11*B1+C12*B2の関係が成り立つ。
図１８は、第２の一次画像データの構成の概念図である。
同図に示すように、第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分をC21の割合で含み、かつ、第２の二次画像データＳＩ２の成分をC22の割合で含む。この関係を式で表わすと、特定の画素位置（ｘ，ｙ）について、A2=C21*B1+C22*B2の関係が成り立つ。
よって、画素単位で上記連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1、B2を算出でき、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２を生成できる。そして、この連立方程式を解くことにより、混信の影響を除去した画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成できる。
ここで、連立方程式については、行列を使って解くことができる。
図１９は、一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図２０は、一次画像データと二次画像データとの関係を示す行列方程式である。
図１９及び図２０に示すように、第１の一次画像データＦＩ１及び第２の一次画像データＦＩ２の画素値A1及びA2を要素とする２行１列の行列をＡ、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2を要素とする２行１列の行列をＢ、第１受光センサの混信比率C1＝C11：C12及び第２受光センサの混信比率C2＝C21：C22を要素とする２行２列の行列をＣとすると、上記連立方程式は、Ａ＝Ｃ＊Ｂと表現できる。
そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｃ＊Ｂの両辺にＣの逆行列Ｃ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。
図２１は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図２２は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
図２１及び図２２に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｃの逆行列Ｃ-1を掛けることで算出できる。
各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｃ-1については、あらかじめ取得できる。したがって、各一次画像データの画素値A1及びA2を取得できれば、逆行列Ｃ-1を用いて、各二次画像データの画素値B1及びB2を算出できる。
以上のように、一次画像データに対して所定の演算処理（混信除去処理）を施すことにより、混信の影響を除去した二次画像データを生成できる。
〔ｍ＞ｎとなる場合の混信除去処理〕
ｍ＞ｎとなる場合とは、撮影レンズに備えられる光学系の数（ｎ：ｎはｎ＞１を満たす整数）よりもイメージセンサの各画素に備えられる受光センサの数（ｍ：ｍは整数）の方が多い場合のことである。本実施の形態の撮像装置１は、撮影レンズ１０に備えられる光学系の数（ｎ）が２、イメージセンサ１００の各画素１１０に備えられる受光センサの数（ｍ）が９であるので、ｍ＞ｎの場合に該当する。この場合も混信除去処理の基本的な考え方は同じである。
図２３は、一次画像データと二次画像データとの関係を示す概念図である。
イメージセンサ１００の特定の画素位置（ｘ，ｙ）に備えられる第１受光センサ１２０ａの混信比率C1がC1=C11:C12、第２受光センサ１２０ｂの混信比率C2がC2=C21:C22、第３受光センサ１２０ｃの混信比率C3がC3=C31:C32、第４受光センサ１２０ｄの混信比率C4がC4=C41:C42、第５受光センサ１２０ｅの混信比率C5がC5=C51:C52、第６受光センサ１２０ｆの混信比率C6がC6=C61:C62、第７受光センサ１２０ｇの混信比率C7がC7=C71:C72、第８受光センサ１２０ｈの混信比率C8がC8=C81:C82、第９受光センサ１２０ｉの混信比率C9がC9=C91:C92、であるとする。
この場合、第１の一次画像データＦＩ１は、第１の二次画像データＳＩ１の成分（第１光学系２０の成分と同義）と第２の二次画像データＳＩ２の成分（第２光学系３０の成分と同義）とをC11:C12の割合で含むデータとなる。この関係を式で表わすと、第１の一次画像データＦＩ１は、特定の画素位置（ｘ，ｙ）について、A1=C11*B1+C12*B2の関係が成り立つ。
第２の一次画像データＦＩ２は、第１の二次画像データＳＩ１の成分と第２の二次画像データＳＩ２の成分をC21:C22の割合で含むデータとなる。この関係を式で表わすと、第２の一次画像データＦＩ２は、特定の画素位置（ｘ，ｙ）について、A2=C21*B1+C22*B2の関係が成り立つ。
すなわち、各一次画像データの特定の画素位置（ｘ，ｙ）における画素値をA1、A2、…、A9とし、各二次画像データの特定の画素位置（ｘ，ｙ）の画素値をB1、B2とした場合、各一次画像データと二次画像データとの間には、次の関係が成り立つ。
A1 = C11*B1 + C12*B2
A2 = C21*B1 + C22*B2
A3 = C31*B1 + C32*B2
A4 = C41*B1 + C42*B2
A5 = C51*B1 + C52*B2
A6 = C61*B1 + C62*B2
A7 = C71*B1 + C72*B2
A8 = C81*B1 + C82*B2
A9 = C91*B1 + C92*B2
この連立方程式を解くことにより、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の各画素値B1及びB2を算出でき、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２を生成できる。そして、この連立方程式を解くことにより、混信の影響を除去した画像データ（第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２）を生成できる。
〔逆行列を用いた解法〕
上記のように、連立方程式については、行列を用いて解くことができる。
図２４は、一次画像データと二次画像データとの関係を行列で表現した概念図である。また、図２５は、一次画像データと二次画像データとの関係を示す行列方程式である。
図２４及び図２５に示すように、各一次画像データＦＩ１〜ＦＩ９の特定の画素位置（ｘ，ｙ）の画素値A1〜A9を要素とする９行１列の行列をＡ、各二次画像データＳＩ１、ＳＩ２の特定の画素位置（ｘ，ｙ）の画素値B1及びB2を要素とする２行１列の行列をＢ、各受光センサ１２０ａ〜１２０ｉの混信比率C1＝C11：C12、C2＝C21：C22、…、C9＝C91：C92を要素とする９行２列の行列をＣとすると、上記連立方程式は、Ａ＝Ｃ＊Ｂと表現できる。
そして、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2については、上記行列方程式Ａ＝Ｃ＊Ｂの両辺にＣの逆行列Ｃ-1を掛けることにより算出できる。すなわち、Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。
図２６は、逆行列を用いて一次画像データと二次画像データとの関係を表現した概念図である。また、図２７は、逆行列を用いて一次画像データと二次画像データとの関係を表わした行列方程式である。
図２６及び図２７に示すように、第１の二次画像データＳＩ１及び第２の二次画像データＳＩ２の画素値B1及びB2は、行列Ａに行列Ｃの逆行列Ｃ-1を掛けることで算出できる。
各画素に備えられる受光センサの混信比率は既知なので、逆行列Ｃ-1については、あらかじめ取得できる。
なお、行列Ｃが正則ではない場合、その逆行列Ｃ-1については、行列Ｃの一般逆行列を算出して、逆行列Ｃ-1を取得する。一般逆行列は、たとえば、ムーア・ペンローズ逆行列等の公知の手法で算出できる。
このように、二次画像データについては、行列方程式Ｂ＝Ｃ-1＊Ａを解くことにより算出できる。そして、この行列方程式Ｂ＝Ｃ-1＊Ａを解くことにより、混信の影響を除去した二次画像データを生成できる。
〈ｍ＞ｎとすることの効果〉
上記のように、混信の影響を除去するだけであれば、ｍ＝ｎであればよい。すなわち、イメージセンサの各画素には、撮影レンズに備えられる光学系の数と同じ数の受光センサが備えられていればよい。
しかし、ｍ＝ｎの場合、一次画像データにノイズが含まれていると、そのノイズの影響が二次画像データにも現れてしまうという問題がある。
本出願の発明者は、ｍ＞ｎ、すなわち、撮影レンズに備える光学系の数（ｎ）よりもイメージセンサの各画素に備える受光センサの数（ｍ）を多くすることにより、混信除去後の画像に現れるノイズを低減できることを見出した。以下、この点について考察する。
〔ノイズ低減のメカニズム〕
（１）ｍ＝ｎの場合
まず、ｍ＝ｎの場合について考える。便宜上、撮影レンズに備えられる光学系の数（ｎ）を２個とする。したがって、イメージセンサの各画素に備えられる受光センサの数（ｍ）も２個である。一方の光学系を第１光学系、他方の光学系を第２光学系とする。また、一方の受光センサを第１受光センサ、他方の受光センサを第２受光センサとし、第１受光センサの混信比率をC1＝C11:C12、第２受光センサの混信比率をC2＝C21:C22とする。この場合、特定の画素位置（ｘ，ｙ）における一次画像データ及び二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2となる。
（Ａ）混信のない場合
混信のない場合とは、各受光センサが、対応する光学系からの光のみ受光する場合である。すなわち、第１受光センサは第１光学系からの光のみを受光し、第２受光センサは第２光学系からの光のみを受光する場合である。この場合、第１受光センサの混信比率C1＝C11：C12は、C11＝１、C12＝０となり、第２受光センサの混信比率C2は、C21＝０、C22＝１となる。したがって、一次画像データと二次画像データとの関係は、A1 = C11*B1、A2 = C22*B2となる。
図２８は、混信がないとした場合における一次画像データと二次画像データとの関係を示すグラフである。同図において、縦軸は、第１の二次画像データの画素値Ｂ１であり、横軸は、第２の二次画像データの画素値Ｂ２である。
図２８において、実線で示す直線α１は、ノイズがないとした場合における式A1 = C11*B1を示す直線である。また、実線で示す直線α２は、ノイズがないとした場合における式A2 = C22*B2を示す直線である。
混信のない場合、一次画像データと二次画像データは一対一で対応する。この場合、一次画像データに現れたノイズは、対応する二次画像データにのみ現れる。
一次画像データに生じたノイズは、２つの式の解の誤差として現れる。図２８において、破線で示す直線α１ａ及び直線α１ｂは、一次画像データにノイズが表れた場合の式A1= C11*B1を示す直線である。また、直線α２ａ及び直線α２ｂは、一次画像データにノイズが表れた場合の式A2 = C22*B2を示す直線である。一次画像データにノイズが現れると、各式の直線は振れる。すなわち、各式の直線は、実線で示す位置から平行移動する。
各式の直線が振れる範囲が、起こり得る誤差の範囲である。破線で示す直線α１ａ、α１ｂ及びα２ａ、α２ｂの位置が、起こり得る振れの最大の位置とすると、斜線で示す領域Ｓαが、起こり得る誤差の範囲となる。
混信のない場合、一次画像データに現れたノイズは、対応する二次画像データにのみ現れるので、その影響は限定的となる。
（Ｂ）混信のある場合
混信がある場合、特定の画素位置（ｘ，ｙ）における一次画像データと二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2となる。
図２９は、混信がある場合における一次画像データと二次画像データとの関係を示すグラフである。同図において、縦軸は、第１の二次画像データの画素値であり、横軸は、第２の二次画像データの画素値である。
図２９において、実線で示す直線β１は、ノイズがないとした場合における式A1 = C11*B1 + C12*B2を示す直線である。また、実線で示す直線β２は、ノイズがないとした場合における式A2 = C21*B1 + C22*B2を示す直線である。
図２９に示すように、混信がある場合、各直線は傾く。この傾きは、混信成分が増えるほど大きくなる。そして、この傾きが大きくなるほど、２つ直線の成す角度が広がる。
上記のように、一次画像データに生じたノイズは、２つの式の解の誤差として現れる。図２９において、破線で示す直線β１ａ及び直線β１ｂは、一次画像データにノイズが表れた場合の式A1 = C11*B1 + C12*B2を示す直線である。また、直線β２ａ及び直線β２ｂは、一次画像データにノイズが表れた場合の式A2 = C21*B1 + C22*B2を示す直線である。一次画像データにノイズが現れると、各式の直線は振れる。
各式の直線が振れる範囲が、起こり得る誤差の範囲である。破線で示す直線β１ａ、β１ｂ、及び、β２ａ、β２ｂの位置が、起こり得る振れの最大の位置とすると、斜線で示す領域Ｓβが、起こり得る誤差の範囲となる。図２９に示すように、この範囲は、２つの直線の成す角度が広くなるほど大きくなる。上記のように、２つの直線の成す角度は、各受光センサの混信成分が増えるほど大きくなる。したがって、混信成分が増えるほど、ノイズが及ぼす影響が大きくなるといえる。すなわち、ノイズが増幅されやすくなる。
（２）ｍ＞ｎの場合
次に、ｍ＞ｎの場合について考える。便宜上、撮影レンズに備えられる光学系の数（ｎ）を２個とし、イメージセンサの各画素に備えられる受光センサの数（ｍ）を３個とする。一方の光学系を第１光学系、他方の光学系を第２光学系とし、３つの受光センサをそれぞれ第１受光センサ、第２受光センサ、第３受光センサとする。また、第１受光センサの混信比率をC1＝C11:C12、第２受光センサの混信比率をC2＝C21:C22、第３受光センサの混信比率をC3＝C31:C32とする。この場合、特定の画素位置（ｘ，ｙ）における一次画像データ及び二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2、A3 = C31*B1 + C32*B2となる。
図３０は、ｍ＞ｎの場合における一次画像データと二次画像データとの関係を示すグラフである。同図において、縦軸は、第１の二次画像データの画素値であり、横軸は、第２の二次画像データの画素値である。
図３０において、実線で示す直線γ１は、ノイズがないとした場合における式A1 = C11*B1 + C12*B2を示す直線である。また、実線で示す直線γ２は、ノイズがないとした場合における式A2 = C21*B1 + C22*B2を示す直線である。また、実線で示す直線γ３は、ノイズがないとした場合における式A3 = C31*B1 + C32*B2を示す直線である。
また、図３０において、破線で示す直線γ１ａ、γ１ｂは、一次画像データにノイズが現れた場合における式A1 = C11*B1 + C12*B2を示す直線である。また、破線で示す直線γ２ａ、γ２ｂは、一次画像データにノイズが現れた場合における式A2 = C21*B1 + C22*B2を示す直線である。また、破線で示す直線γ３ａ及びγ３ｂは、一次画像データにノイズが現れた場合における式A3 = C31*B1 + C32*B2を示す直線である。
１画素に備えられる受光センサの数（ｍ）を増やすことにより、二次画像データを算出するための式の数（直線の数（＝ｍ））が増える。そして、この式の数が増えることにより、その解の分布が収束されるようになる。この結果、一次画像データに生じたノイズが、二次画像データに及ぼす影響を低減できる。
このように、二次画像データを算出するための式の数を増やすことにより、二次画像データに現れるノイズの影響を低減できる。解の収束性は、二次画像データを算出するための式の数を増やすことにより、より高められるので、１画素当たりに備えられる受光センサの数は多い方が好ましい。
また、より収束性を高めるためには、混信比率の近い受光センサを備えるよりも、さまざまな混信比率を有する受光センサを備えた方が好ましい。すなわち、各受光センサの混信比率は、バラツキを持たせた方が好ましい。
《デジタル信号処理部の構成》
上述した一連の信号処理は、デジタル信号処理部２１６で行われる。デジタル信号処理部２１６は、イメージセンサ１００の各画素の各受光センサから画像信号を取得して一次画像データを生成し、かつ、その一次画像データに画素単位で混信除去処理を施して、各光学系に対応した二次画像データを生成する。
図３１は、デジタル信号処理部が備える機能のブロック図である。
一次画像データを生成する一次画像データ生成部２１６Ａと、二次画像データを生成する二次画像データ生成部２１６Ｂと、を備える。
一次画像データ生成部２１６Ａは、イメージセンサの各画素から対応する受光センサの画像信号を取得して、ｍ個の一次画像データを生成する。本実施の形態の撮像装置１は、イメージセンサ１００の各画素１１０に９個（ｍ＝９）の受光センサ１２０ａ〜１２０ｉを備えているので、９個の一次画像データを生成する。
二次画像データ生成部２１６Ｂは、一次画像データ生成部２１６Ａで生成された９個の一次画像データに対して、画素ごとに混信除去処理を施して、各光学系に対応したｎ個の二次画像データを生成する。本実施の形態の撮像装置１は、撮影レンズ１０に２つ（ｎ＝２）の光学系を備えているので、２つの二次画像データを生成する。具体的には、第１光学系２０に対応した第１の二次画像データと、第２光学系３０に対応した第２の二次画像データとを生成する。
混信除去処理は、連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解く処理を行う。本実施の形態の撮像装置１は、ｍ＝９、ｎ＝２なので、連立方程式A1=C11*B1+C12*B2、A2=C21*B1+C22*B2、A3=C31*B1+C32*B2を解いて、各光学系に対応した二次画像データを生成する。
二次画像データ生成部２１６Ｂは、行列を利用して、連立方程式を解く処理を実施する。すなわち、行列方程式Ｂ=Ｃ-1*Ａを解いて、二次画像データを生成する。演算に使用する逆行列Ｃ-1の情報は、記憶部２２２に記憶される。記憶部２２２は、その記憶領域の一部に逆行列Ｃ-1の情報を記憶する逆行列情報記憶部２２２Ａを備える。なお、逆行列Ｃ-1の情報は、画素単位で記憶される。
二次画像データ生成部２１６Ｂは、処理する画素ごとに逆行列Ｃ-1の情報を読み出して、混信除去処理を実施する。
《撮像装置における処理の流れ（画像データ生成方法）》
本実施の形態の撮像装置では、（１）撮影指示に基づく露光（露光工程）、（２）露光に基づく一次画像データの生成（一次画像データ生成工程）、（３）一次画像データに基づく二次画像データの生成（二次画像データ生成工程）の順で記録用の画像データが生成される。
記録用の撮影（露光）は、操作部２２８からの指示に基づいて実施される。ここでは、シャッターボタンの全押しで記録用の撮影が指示されるものとする。撮影者は、各光学系の焦点調節を行った後、シャッターボタンを全押しして、記録用の撮影を指示する。
シャッターボタンが全押しされると、まず、測光処理が実施される。システム制御部２２６、イメージセンサ１００から得られる画像信号に基づいて、ＥＶ値（EV：Exposure Value）を算出し、露出を決定する。
露出が決定すると、決定した露出でイメージセンサ１００が露光される（露光工程）。露光により各受光センサ１２０ａ〜１２０ｉの光電変換素子１３０に電荷が蓄積される。イメージセンサ１００は、各受光センサ１２０ａ〜１２０ｉの光電変換素子１３０に蓄積された電荷量を読み出して、電荷量に応じた画像信号を出力する。
イメージセンサ１００から出力された画像信号は、アナログ信号処理部２１４を経てワークメモリ２２０に取り込まれる。このワークメモリ２２０に取り込まれた画像信号に対して、デジタル信号処理部２１６が所定の信号処理を施すことにより、各光学系に対応した画像データ（第１の二次画像データ、及び、第２の二次画像データ）が生成される。すなわち、画素ごとに各受光センサの画像信号を取得して、９個の一次画像データを生成し（一次画像データ生成工程）、その９個の一次画像データに混信除去処理を施すことにより、各光学系に対応した画像データ（第１の二次画像データ、及び、第２の二次画像データ）が生成される（二次画像データ生成工程）。生成された画像データ（第１の二次画像データ、及び、第２の二次画像データ）は、必要に応じて所定フォーマットのデータ形式に変換されて、外部メモリ２３０に記録される。
このように、本実施の形態の撮像装置１によれば、１回の操作で各光学系に対応した画像を同時に撮像できる。
また、各光学系に対応した画像データ（第１の二次画像データ、及び、第２の二次画像データ）を生成する際、９個の一次画像データに基づいて生成することにより、ノイズを低減できる。
［第２の実施の形態］
図３２は、撮像装置の第２の実施の形態のシステム構成を示すブロック図である。
本実施の形態の撮像装置１は、撮影シーン情報取得部２３２を更に備えている点で上述した第１の実施の形態の撮像装置と相違する。
撮影シーン情報取得部２３２は、撮影シーンの情報を取得する。撮影シーンの情報とは、どのようなシーンを撮影するかの情報である。たとえば、ポートレート、集合写真、風景、夜景、スポーツ、マクロなどの情報が、これに当たる。
本実施の形態の撮像装置１は、撮影シーン情報取得部２３２で取得した撮影シーンの情報に基づいて、デジタル信号処理部２１６での処理内容を切り替える。具体的には、二次画像データの生成に使用する一次画像データの数を切り替える。
上記のように、二次画像データに生じるノイズは、一次画像データの数を増やすことにより低減できる。一方、許容されるノイズのレベルは、撮影シーンごとに異なる。たとえば、風景に比してポートレートは、高いレベルで低ノイズであることが要求される。
そこで、本実施の形態の撮像装置１では、撮影シーンに応じて二次画像データの生成に使用する一次画像データの数を切り替える。たとえば、ノイズが気になる撮影シーンでは、二次画像データの生成に使用する一次画像データの数を増やす。これにより、ノイズの発生を抑制できる。一方、ノイズが気にならない撮影シーンでは、二次画像データの生成に使用する一次画像データの数を減らす。これにより、混信除去処理に伴う演算負荷を低減でき、処理速度を向上できる。
本実施の形態の撮像装置１において、撮影シーンの情報は、操作部２２８を介してユーザが入力する。撮影シーン情報取得部２３２は、操作部２２８を介して入力された情報を取得して、撮影シーンの情報を取得する。入力は、あらかじめ用意された撮影シーンをユーザが選択することにより行われる。たとえば、撮影シーンとして、ポートレート、集合写真、風景、夜景、スポーツ、マクロなどのシーンを用意しておく。
システム制御部２２６は、撮影シーン情報取得部２３２で取得された撮影シーンの情報に基づいて、二次画像データの生成に使用する一次画像データの数を切り替える。撮影シーンと、二次画像データの生成に使用する一次画像データの数との関係は、あらかじめ定められ、テーブルで管理される。テーブルには、使用する一次画像データの情報も記録される。すなわち、どの位置の受光センサに基づく一次画像データを使用するかの情報も記録される。このテーブルは、記憶部２２２に記憶される。システム制御部２２６は、記憶部２２２に記憶されたテーブルを参照して、二次画像データの生成に使用する一次画像データを決定する。
デジタル信号処理部２１６は、システム制御部２２６による指示に応じて、二次画像データの生成を行う。すなわち、システム制御部２２６で指示された一次画像データを使用して、混信除去処理を行い、二次画像データを生成する。
このように、本実施の形態の撮像装置１では、撮影シーンに応じて、二次画像データの生成に使用する一次画像データの数が変更される。これにより、適切に二次画像データを生成できる。
なお、上記実施の形態では、撮影シーンの情報をユーザが入力する構成としているが、撮影により得られた画像を解析し、自動で撮影シーンを特定する構成とすることもできる。この場合、撮影シーン情報取得部は、画像解析部として機能し、少なくとも１つの一次画像データを解析して、撮影シーンを特定する。
［その他の実施の形態］
《イメージセンサの変形例》
イメージセンサの各画素に備える受光センサの数（ｍ）は、撮影レンズに備えられる光学系の数（ｎ）よりも多ければよい。すなわち、ｍ＞ｎを満たせばよい。
なお、各画素に備えられる受光センサは、混信比率が分散していることが好ましい。すなわち、混信比率の近い受光センサを複数備えるよりも、混信比率がバラバラの受光センサを複数備えることが好ましい。
なお、上記実施の形態では、３行３列（３×３）で配列された９個の受光センサによってイメージセンサの１画素を構成しているが、１画素を構成する受光センサの配列は、これに限定されるものではない。たとえば、１画素が３個の受光センサで構成される場合、１行３列（１×３）で配列された３個の受光センサでイメージセンサの１画素を構成することができる。また、１画素を構成する受光センサは、受光面上に離散的に配置されていてもよい。
また、上記実施の形態では、説明の便宜上、カラー画像については言及していないが、カラー画像を生成する場合は、所定のフィルター配列で各画素にカラーフィールターを配置する。
《混信比率を調整する方法》
上記実施の形態では、遮光マスクの形状によって各受光センサの混信比率を調整しているが、受光センサの混信比率を調整する方法は、これに限定されるものではない。この他、たとえば、マイクロレンズの結像特性を変えることにより、混信比率を調整することもできる。たとえば、マイクロレンズのレンズパワー、倍率、結像位置などを変えることにより、混信比率を変えることができる。この場合、遮光マスクは不要となる。
なお、遮光マスクとマイクロレンズを併用して、混信比率を調整することもできる。すなわち、遮光マスクの形状と、マイクロレンズの結像特性の双方を変えることによって、混信比率を調整することもできる。
《撮影レンズの変形例》
上記実施の形態では、撮影レンズに２個の光学系を備えているが、撮影レンズに備える光学系の数（ｎ）は、これに限定されるものではない。撮影レンズには、互いに撮像特性の異なる２以上の光学系が備えられていればよい。
また、上記実施の形態では、焦点距離の異なる光学系が撮影レンズに備えられているが、撮影レンズに備える光学系の種類は、これに限定されるものではない。この他、たとえば、互いに合焦距離の異なる光学系を備えてもよい。これにより、近距離の被写体に合焦した画像と遠距離の被写体に合焦した画像のように、互いに合焦距離の異なる画像を同時に撮像できる。また、たとえば、互いに透過波長特性の異なる光学系を備えてもよい。これにより、たとえば、赤外光領域の光を透過させる光学系、及び、可視光領域の光を透過させる光学系を備えることにより、赤外光画像と可視光画像とを同時に撮像できる。
また、上記実施の形態では、複数の光学系が同心状に配置される構成としているが、複数の光学系の配置は、これに限定されるものではない。たとえば、光軸を中心として、周方向に領域を分割し、各領域に光学系を配置する構成とすることもできる。
《混信除去処理の変形例》
上記のように、混信除去処理は、画素ごとに行われ、行列を利用する場合は、画素ごとに逆行列Ｃ-1の情報を読み出して、混信除去処理を実施する。したがって、逆行列Ｃ-1の情報は、画素ごとに逆行列情報記憶部２２２Ａに記憶される。一方、各画素に備えられる受光センサの混信比率が、画素間で近似している場合は、代表となる逆行列を定めて、混信除去処理を実施してもよい。すなわち、各画素において共通の逆行列を使用して、混信除去処理を実施してもよい。これにより、演算負荷を低減できる。また、画面を複数の領域に分割し、領域ごとに共通の逆行列を定めてもよい。
《混信除去処理の一般化》
撮影レンズに備えられる光学系の数をｎとし、イメージセンサの各画素に備えられる受光センサの数をｍ（ｍ＞ｎ）とすると、一次画像データはｍ個生成され、二次画像データはｎ個生成される。この場合、各一次画像データの画素値をA1、A2、…、Aｍ、二次画像データの画素値をB1、B2、…、Bn、混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとすると、デジタル信号処理部２１６は、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、二次画像データを生成する。
各受光センサの混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列Ｃが正則ではない場合は、行列Ｃの一般逆行列を算出して、行列方程式を解く。
本発明の効果を確認するため、次の実験を行った。
擬似的に一次画像データを生成し、ｍ＝ｎとした場合と、ｍ＞ｎとした場合とで、二次画像データに現れるノイズを比較する実験を行った。
〈一次画像データの生成〉
一次画像データは、２つの画像データＷ及びＴを合成して擬似的に生成した。合成する画像の数が、撮影レンズに備えられる光学系の数（ｎ）に相当する。２つの画像データＷ及びＴを合成しているので、ｎ＝２となる。
また、生成する一次画像データの数が、イメージセンサの各画素に備えられる受光センサの数（ｍ）に相当する。したがって、生成する一次画像データの数を２とすると、ｍ＝ｎとなる。
また、合成時の混合比率（２つの画像データＷ及びＴを合成する比率）が、各受光センサの混信比率に相当する。たとえば、２つの画像データＷ及びＴをＷ：Ｔ＝０．８：０．２の混合比率で合成すると、生成される一次画像データの混信比率は０．８：０．２となる。
〈ｍ＝ｎの場合〉
ｍ＝２として、２つの一次画像データ（第１の一次画像データ及び第２の一次画像データ）を生成し、生成した２つの一次画像データに混信除去処理を施して、２つの二次画像データ（第１の二次画像データ及び第２の二次画像データ）を生成した。
第１の一次画像データの混信比率は、Ｗ：Ｔ＝０．８：０．２とし、第２の一次画像データの混信比率は、Ｗ：Ｔ＝０．２：０．８とした。
図３３は、ｍ＝ｎの場合に生成された第１の二次画像データが表わす画像である。また、図３４は、ｍ＝ｎの場合に生成された第２の二次画像データが表わす画像である。
〈ｍ＞ｎの場合〉
ｍ＝９として、９つの一次画像データ（第１の一次画像データ、第２の一次画像データ、第３の一次画像データ、第４の一次画像データ、第５の一次画像データ、第６の一次画像データ、第７の一次画像データ、第８の一次画像データ、及び、第９の一次画像データ）を生成し、生成した９つの一次画像データに混信除去処理を施して、２つの二次画像データ（第１の二次画像データ及び第２の二次画像データ）を生成した。
第１の一次画像データの混信比率はＷ：Ｔ＝０．９：０．１、第２の一次画像データの混信比率はＷ：Ｔ＝０．１：０．９、第３の一次画像データの混信比率はＷ：Ｔ＝０．８：０．２、第４の一次画像データの混信比率はＷ：Ｔ＝０．２：０．８、第５の一次画像データの混信比率はＷ：Ｔ＝０．７：０．３、第６の一次画像データの混信比率はＷ：Ｔ＝０．３：０．７、第７の一次画像データの混信比率はＷ：Ｔ＝０．６：０．４、第８の一次画像データの混信比率はＷ：Ｔ＝０．４：０．６、第９の一次画像データの混信比率はＷ：Ｔ＝０．５：０．５とした。
図３５は、ｍ＞ｎの場合に生成された第１の二次画像データが表わす画像である。また、図３６は、ｍ＞ｎの場合に生成された第２の二次画像データが表わす画像である。
〈比較〉
図３３〜図３６に示すように、ｍ＞ｎとすることにより、ノイズを低減できることが確認できた。
１ 撮像装置
１０ 撮影レンズ
２０ 第１光学系
２２ 絞り
３０ 第２光学系
３０ａ 第１レンズ
３０ｂ 第２レンズ
３０ｃ 第３レンズ
３０ｄ 主鏡
３０ｅ 副鏡
３２ 絞り
４０ 共通レンズ
１００ イメージセンサ
１１０ 画素
１２０ａ 第１受光センサ
１２０ｂ 第２受光センサ
１２０ｃ 第３受光センサ
１２０ｄ 第４受光センサ
１２０ｅ 第５受光センサ
１２０ｆ 第６受光センサ
１２０ｇ 第７受光センサ
１２０ｈ 第８受光センサ
１２０ｉ 第９受光センサ
１３０ 光電変換素子
１３２ マイクロレンズ
１３４ 遮光マスク
１３４Ａ 開口部
２１０ レンズ駆動制御部
２１２ イメージセンサ駆動制御部
２１４ アナログ信号処理部
２１６ デジタル信号処理部
２１６Ａ 一次画像データ生成部
２１６Ｂ 二次画像データ生成部
２１８ 表示部
２２０ ワークメモリ
２２２ 記憶部
２２２Ａ 逆行列情報記憶部
２２４ メディアインターフェース
２２６ システム制御部
２２８ 操作部
２３０ 外部メモリ
２３２ 撮影シーン情報取得部
ＦＩ１ 第１の一次画像データ
ＦＩ２ 第２の一次画像データ
ＦＩ３ 第３の一次画像データ
ＦＩ４ 第４の一次画像データ
ＦＩ５ 第５の一次画像データ
ＦＩ６ 第６の一次画像データ
ＦＩ７ 第７の一次画像データ
ＦＩ８ 第８の一次画像データ
ＦＩ９ 第９の一次画像データ
ＳＩ１ 第１の二次画像データ
ＳＩ２ 第２の二次画像データ
Ｌ 光軸
Ｌ１ 領域
Ｌ２ 領域
ＳΒ 領域
Ｓα 領域

Claims (16)

  1. ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、
    ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、
    前記イメージセンサの各画素の前記各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する一次画像データ生成部と、
    ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する二次画像データ生成部と、
    を備えた撮像装置。
  2. 前記一次画像データの画素値をA1、A2、…、Aｍ、前記二次画像データの画素値をB1、B2、…、Bn、前記混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、前記二次画像データを生成する、
    請求項１に記載の撮像装置。
  3. 前記一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、前記二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、前記二次画像データを生成する、
    請求項１に記載の撮像装置。
  4. 前記逆行列Ｃ-1の情報を記憶した逆行列情報記憶部を更に備え、
    前記二次画像データ生成部は、前記逆行列情報記憶部に記憶された前記逆行列Ｃ-1の情報を利用して、前記行列方程式を解く、
    請求項３に記載の撮像装置。
  5. 前記逆行列情報記憶部は、前記画素ごとの前記逆行列Ｃ-1の情報を記憶する、
    請求項４に記載の撮像装置。
  6. 撮影シーンの情報を取得する撮影シーン情報取得部を更に備え、
    前記二次画像データ生成部は、前記撮影シーンに応じて、前記二次画像データの生成に使用する前記一次画像データの数を変更する、
    請求項１から５のいずれか１項に記載の撮像装置。
  7. 前記撮影シーン情報取得部は、前記一次画像データを解析して、前記撮影シーンを特定する、
    請求項６に記載の撮像装置。
  8. 前記受光センサは、
    光電変換素子と、
    前記撮影レンズの射出瞳の像を前記光電変換素子に結像させるマイクロレンズと、
    前記マイクロレンズと前記受光センサとの間に配置される遮光マスクと、
    を備え、前記遮光マスクの形状、及び／又は、前記マイクロレンズの結像特性が異なることにより、混信比率が異なる、
    請求項１から７のいずれか１項に記載の撮像装置。
  9. 前記受光センサは、
    光電変換素子と、
    前記撮影レンズの射出瞳の像を前記光電変換素子に結像させるマイクロレンズと、
    を備え、前記マイクロレンズの結像特性が異なることにより、混信比率が異なる、
    請求項１から７のいずれか１項に記載の撮像装置。
  10. 前記撮影レンズに備えられるｎ個の前記光学系は、焦点距離が異なる、
    請求項１から９のいずれか１項に記載の撮像装置。
  11. 前記撮影レンズに備えられるｎ個の前記光学系は、合焦距離が異なる、
    請求項１から９のいずれか１項に記載の撮像装置。
  12. 前記撮影レンズに備えられるｎ個の前記光学系は、透過波長特性の異なる、
    請求項１から９のいずれか１項に記載の撮像装置。
  13. 前記撮影レンズに備えられるｎ個の前記光学系は、同心状に配置される、
    請求項１０から１２のいずれか１項に記載の撮像装置。
  14. ｎがｎ＞１を満たす整数とした場合に、撮像特性の異なるｎ個の光学系を備えた撮影レンズと、ｍがｍ＞ｎを満たす整数とした場合に、混信比率の異なるｍ個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置を用いる画像データ生成方法であって、
    前記イメージセンサを露光する工程と、
    前記イメージセンサの各画素の前記各受光センサから画像信号を取得し、ｍ個の一次画像データを生成する工程と、
    ｍ個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したｎ個の二次画像データを生成する工程と、
    を備えた画像データ生成方法。
  15. 前記一次画像データの画素値をA1、A2、…、Aｍ、前記二次画像データの画素値をB1、B2、…、Bn、前記混信比率をC1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍnとした場合に、前記混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Aｍ=Cｍ1*B1+Cｍ2*B2+…+Cｍn*Bnを解いて、前記二次画像データを生成する、
    請求項１４に記載の画像データ生成方法。
  16. 前記一次画像データの画素値A1、A2、…、Aｍを要素とするｍ行１列の行列をＡ、前記二次画像データの画素値B1、B2、…、Bnを要素とするｎ行１列の行列をＢ、前記混信比率C1＝C11：C12：…：C1n、C2＝C21：C22：…：C2n、…、Cｍ＝Cｍ1：Cｍ2：…：Cｍn を要素とするｍ行ｎ列の行列をＣとし、Ｃの逆行列をＣ-1とした場合に、前記混信除去処理として、次の行列方程式Ｂ=Ｃ-1*Ａを解いて、前記二次画像データを生成する、
    請求項１４に記載の画像データ生成方法。
JP2017562464A 2016-01-18 2016-12-07 撮像装置、及び、画像データ生成方法 Active JP6545829B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016007049 2016-01-18
JP2016007049 2016-01-18
PCT/JP2016/086289 WO2017126242A1 (ja) 2016-01-18 2016-12-07 撮像装置、及び、画像データ生成方法

Publications (2)

Publication Number Publication Date
JPWO2017126242A1 true JPWO2017126242A1 (ja) 2018-10-25
JP6545829B2 JP6545829B2 (ja) 2019-07-17

Family

ID=59362631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017562464A Active JP6545829B2 (ja) 2016-01-18 2016-12-07 撮像装置、及び、画像データ生成方法

Country Status (5)

Country Link
US (1) US10691002B2 (ja)
EP (1) EP3407592B1 (ja)
JP (1) JP6545829B2 (ja)
CN (1) CN108432233B (ja)
WO (1) WO2017126242A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805992B (zh) * 2018-10-03 2024-04-23 富士胶片株式会社 摄像装置
CN113038043B (zh) * 2021-03-25 2021-12-03 无锡物联网创新中心有限公司 一种传感器阵列电串扰消除方法
CN114650373A (zh) * 2022-03-21 2022-06-21 维沃移动通信有限公司 成像方法及装置、图像传感器、成像设备和电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4688766B2 (ja) * 2006-09-21 2011-05-25 パナソニック株式会社 固体撮像装置、その駆動方法およびカメラ
JP5269425B2 (ja) * 2008-01-29 2013-08-21 株式会社東芝 固体撮像素子および固体撮像装置
JP4706882B2 (ja) * 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
WO2012043211A1 (ja) * 2010-10-01 2012-04-05 富士フイルム株式会社 撮像装置
JP5507761B2 (ja) 2011-07-29 2014-05-28 富士フイルム株式会社 撮像装置
WO2013024636A1 (ja) * 2011-08-16 2013-02-21 富士フイルム株式会社 撮像装置
CN103782586B (zh) * 2011-08-24 2015-06-17 富士胶片株式会社 成像设备
JP5623356B2 (ja) * 2011-08-29 2014-11-12 キヤノン株式会社 撮像装置
JP2013081087A (ja) * 2011-10-04 2013-05-02 Sony Corp 撮像装置
WO2013146506A1 (ja) 2012-03-27 2013-10-03 富士フイルム株式会社 撮像装置及び撮像方法
WO2013161944A1 (ja) * 2012-04-25 2013-10-31 株式会社ニコン 焦点検出装置、焦点調節装置およびカメラ
CN102636473A (zh) * 2012-04-27 2012-08-15 四川大学 激发光偏离共线型光学系统检测装置及其检测方法
EP2881775B1 (en) * 2012-08-06 2018-03-07 FUJIFILM Corporation Imaging device
JP6156724B2 (ja) 2013-03-14 2017-07-05 株式会社リコー ステレオカメラ
JP5886793B2 (ja) * 2013-06-11 2016-03-16 浜松ホトニクス株式会社 固体撮像装置
WO2015004886A1 (ja) * 2013-07-12 2015-01-15 パナソニックＩｐマネジメント株式会社 撮像装置
JP6077967B2 (ja) 2013-08-27 2017-02-08 富士フイルム株式会社 撮像装置
JP6151632B2 (ja) * 2013-12-20 2017-06-21 富士フイルム株式会社 撮像モジュール及び撮像装置
WO2015182488A1 (ja) * 2014-05-26 2015-12-03 コニカミノルタ株式会社 複眼撮像光学系及び複眼撮像装置
US9438778B2 (en) * 2014-08-08 2016-09-06 Industrial Technology Research Institute Image pickup device and light field image pickup lens
KR102219784B1 (ko) * 2014-12-15 2021-02-24 에스케이하이닉스 주식회사 컬러 필터 어레이 및 이를 구비한 이미지 센서
JP2016127389A (ja) * 2014-12-26 2016-07-11 キヤノン株式会社 画像処理装置およびその制御方法
TWI552603B (zh) * 2015-05-19 2016-10-01 晶相光電股份有限公司 影像校正系統以及方法

Also Published As

Publication number Publication date
CN108432233B (zh) 2020-08-18
US10691002B2 (en) 2020-06-23
EP3407592A4 (en) 2018-12-12
EP3407592B1 (en) 2020-01-29
US20180299754A1 (en) 2018-10-18
EP3407592A1 (en) 2018-11-28
CN108432233A (zh) 2018-08-21
WO2017126242A1 (ja) 2017-07-27
JP6545829B2 (ja) 2019-07-17

Similar Documents

Publication Publication Date Title
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
JP5572765B2 (ja) 固体撮像素子、撮像装置、及び合焦制御方法
US8325241B2 (en) Image pickup apparatus that stores adjacent and contiguous pixel data before integration of same
JP5671842B2 (ja) 画像処理装置および撮像装置
KR20140136727A (ko) 전자 센서와, 그의 제어 방법
US20050275904A1 (en) Image capturing apparatus and program
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP7352359B2 (ja) 撮像素子および撮像装置
JP6545829B2 (ja) 撮像装置、及び、画像データ生成方法
US10341580B2 (en) Image processing device configured to correct an image so as to decrease output data
US10594964B2 (en) Imaging device and image data generation method
US20090102939A1 (en) Apparatus and method for simultaneously acquiring multiple images with a given camera
JP6929511B2 (ja) 撮像素子、及び、撮像装置
JP7150785B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
WO2018181615A1 (ja) 電子機器
WO2023050040A1 (zh) 一种摄像头模组及电子设备
WO2018181611A1 (ja) 電子機器
WO2018181613A1 (ja) 電子機器
WO2018181614A1 (ja) 電子機器
WO2018181610A1 (ja) 電子機器
JP2016046773A (ja) 撮像装置
CN117528239A (zh) 摄像模组、对焦方法、装置、电子设备及介质
JP2022158486A (ja) 撮像素子、焦点検出装置および撮像装置
JP6234097B2 (ja) 撮像装置およびその制御方法
JP2019092215A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190619

R150 Certificate of patent or registration of utility model

Ref document number: 6545829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250