WO2021153472A1 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、撮像装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
WO2021153472A1
WO2021153472A1 PCT/JP2021/002355 JP2021002355W WO2021153472A1 WO 2021153472 A1 WO2021153472 A1 WO 2021153472A1 JP 2021002355 W JP2021002355 W JP 2021002355W WO 2021153472 A1 WO2021153472 A1 WO 2021153472A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
polarized
image processing
polarization directions
matrix
Prior art date
Application number
PCT/JP2021/002355
Other languages
English (en)
French (fr)
Inventor
和佳 岡田
慶延 岸根
睦 川中子
友也 平川
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202180011124.8A priority Critical patent/CN115039400A/zh
Priority to JP2021574004A priority patent/JP7399194B2/ja
Publication of WO2021153472A1 publication Critical patent/WO2021153472A1/ja
Priority to US17/862,407 priority patent/US11982899B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133528—Polarisers
    • G02F1/133538—Polarisers with spatial distribution of the polarisation direction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses

Definitions

  • the pupil region is divided into a first pupil region, a second pupil region, and a third pupil region, and passes through the first pupil region, the second pupil region, and the third pupil region.
  • Three second polarizers that polarize light in different directions, and three wavelength selection elements that allow light in different wavelength bands to pass from the first pupil region, the second pupil region, and the third pupil region.
  • FIG. 6 is a block diagram showing a schematic configuration of the image processing apparatus shown in FIG.
  • Equation 4 holds even among four pixel values (x 0 demo , x 1 demo , x 2 demo , x 3 demo ) generated by the demosaic process and having different polarization directions, and the pixel values (x 0 demo , x 1 demo , x)
  • the relationship between 2demo , x3demo ) and the coefficients c 0 to c 3 can be expressed by the following equation.
  • the pupil region of the photographing optical system 10-2 is divided into a first pupil region, a second pupil region, and a third pupil region.
  • the bandpass filter unit 16 has three wavelength selection elements that allow light of different wavelength bands to pass from the first pupil region, the second pupil region, and the third pupil region.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

撮像素子から取得した偏光画像データから、複数枚の偏光画像データを良好に生成する画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。画像処理装置（２００）のプロセッサ（２００Ｂ）は、２次元状に配列された画素に、偏光方向が異なる４個の第１偏光子が規則的に設けられた撮像素子（１００）から第１画像データを取得する取得処理と、第１画像データをデモザイク処理し、偏光方向が異なる４枚の第１偏光画像データを生成する第１偏光画像データ生成処理と、４枚の第１偏光画像データとメモリ（２００Ｃ）に記憶された４個の第１偏光子の偏光方向間の関係とを使用し、４枚以下の第２偏光画像データを生成する第２偏光画像データ生成処理と、を行う。

Description

画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
　本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに係り、特に撮像素子から取得した偏光画像データから、複数枚の偏光画像データを生成する技術に関する。
　特許文献１に記載の撮像素子は、アレイ状に配列され、それぞれ特定の色および偏光角度の光を検出する複数の受光ユニット（セル）を備え、複数のセルは、検出する色および偏光角度の双方が隣接するセル間で異なっている。
　具体的には、複数のセルには、偏光角度０°、４５°、９０°、１３５°のいずれかの偏光角度の光を透過させる偏光子（偏光フィルタ）が設けられ、更に赤色、緑色、青色（ＲＧＢ）のいずれかの色フィルタが設けられている。
　これにより、偏光角度０°、４５°、９０°、１３５°毎に、ＲＧＢの画像（偏光画像）の生成を可能にしている。
　また、特許文献１には、偏光ＲＡＷ画像をデモザイクして偏光角度の異なる複数の偏光画像を生成する画像処理部が記載されている。ここで、デモザイクとは、撮像素子で捉えた画素群に基づき、同一偏光角度毎に偏光画像を生成する処理である。
特開２０１６－１７１３６８号公報
　本開示の技術に係る一つの実施形態は、撮像素子から取得した偏光画像データから、複数枚の偏光画像データを良好に生成する画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。
　第１態様に係る発明は、プロセッサと、偏光方向間の関係を記憶するメモリとを備え、プロセッサが画像処理を行う画像処理装置であって、プロセッサは、ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得する取得処理と、第１画像データをデモザイク処理し、異なる偏光方向に応じたｎ枚の第１偏光画像データを生成する第１偏光画像データ生成処理と、ｎ枚の第１偏光画像データとメモリに記憶された偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成する第２偏光画像データ生成処理と、を行う。
　本発明の第２態様に係る画像処理装置において、偏光方向間の関係は、ｎ個の第１偏光子が有する特性と第１偏光子に対応する画素の物理量との関係であることが好ましい。
　本発明の第３態様に係る画像処理装置において、ｎが４の場合において、
　第１画像データから偏光方向毎に分離した４枚の偏光画像データを、それぞれＩ１、Ｉ２、Ｉ３、Ｉ４とすると、プロセッサは、次式、
Figure JPOXMLDOC01-appb-M000007
（ただし、ａはパラメータ）
の演算を行い、デモザイク処理された４枚の第１偏光画像データを生成することが好ましい。
　本発明の第４態様に係る画像処理装置において、ｎが４の場合において、メモリは、ｎ個の第１偏光子の偏光方向間の関係として、次の行列、
Figure JPOXMLDOC01-appb-M000008
　（ただし、ｌ１～ｌ３、ｃ０～ｃ３は係数である）
を記憶し、ｎ枚の第１偏光画像データの各画素位置に元から存在する第１画素値をｘ0とし、画素位置において、デモザイク処理により生成された３つの第２画素値をそれぞれｘ１demo、ｘ２demo、ｘ３demoとすると、プロセッサは、４枚以下の第２偏光画像データを生成するための、画素位置において生成する３個の画素値（ｘ１ｒ、ｘ２ｒ、ｘ３ｒ）を、次式、
Figure JPOXMLDOC01-appb-M000009
により算出することが好ましい。
　本発明の第５態様に係る画像処理装置において、撮像素子に光量分布が均一な非偏光の光が入射した場合に得られる隣接画素の４つの偏光情報をｘ０～ｘ３とすると、係数ｃ０～ｃ３と偏光情報ｘ０～ｘ３とは、次式、
Figure JPOXMLDOC01-appb-M000010
を満たす。一例としてｘｉは光の輝度値である。
　本発明の第６態様に係る画像処理装置において、パラメータｉを１～３とし、［数１］で表した行列内の係数ｌ１、ｌ２、ｌ３をｌｉ、係数ｃ１、ｃ２、ｃ３をｃｉで表すと、ｌｉは、次式、
Figure JPOXMLDOC01-appb-M000011
　（ただし、行列Ａを、撮像素子から取得した４つの偏光情報から別のｍ個の物理量への変換を与えるｍ行４列の行列とすると、［数１０］式中の行列Ｂは、ＡＴＡの第（ｉ＋１）行、及び第（ｊ＋１）列を除去した３行３列の行列Ｂの余因子行列である）で表される。
　本発明の第７態様に係る画像処理装置において、行列Ａは、４行４列の単位行列であることが好ましい。
　本発明の第８態様に係る画像処理装置において、パラメータｉを１～３とし、［数２］で示した行列内の係数ｌ１、ｌ２、ｌ３をｌｉとし、係数ｃ１、ｃ２、ｃ３をｃｉとすると、ｌｉは、次式、
Figure JPOXMLDOC01-appb-M000012
で表される。
　本発明の第９態様に係る撮像装置は、撮影光学系と、ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子と、第１態様から第８態様のいずれかの画像処理装置と、を備え、プロセッサは、撮像素子から第１画像データを取得する。
　本発明の第１０態様に係る撮像装置は、瞳領域が第１瞳領域、第２瞳領域及び第３瞳領域に分割され、第１瞳領域、第２瞳領域及び第３瞳領域を通過する光をそれぞれ異なる方向に偏光する３個の第２偏光子と、第１瞳領域、第２瞳領域及び第３瞳領域からそれぞれ異なる波長帯域の光を通過させる３個の波長選択素子と、を含む撮影光学系と、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なる４つの第１偏光子が規則的に設けられた撮像素子と、第６態様の画像処理装置と、を備え、プロセッサは、撮像素子から第１画像データを取得し、行列Ａは、第１画像データから、３つの各波長帯域の光の混信が除去された３つの各波長帯域の光に対応した３枚の画像データを算出する際の混信除去行列である。
　第１１態様に係る発明は、プロセッサと、偏光方向間の関係を記憶するメモリとを備え、プロセッサが画像処理を行う画像処理方法であって、ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得するステップと、第１画像データをデモザイク処理し、偏光方向が異なるｎ枚の第１偏光画像データを生成するステップと、ｎ枚の第１偏光画像データとメモリに記憶された偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成するステップと、を含む。
　本発明の第１２態様に係る画像処理プログラムは、ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得する機能と、第１画像データをデモザイク処理し、偏光方向が異なるｎ枚の第１偏光画像データを生成する機能と、ｎ枚の第１偏光画像データとｎ個の第１偏光子の偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成する機能と、をコンピュータにより実現させる。
図１は、本発明に係る撮像装置の第1実施形態の概略構成を示す図である。 図２は、図１に示した撮像素子の概略構成を示す図である。 図３は、図２に示した１つ画素（図２の破線部）の概略構成を示す断面図である。 図４は、撮像素子の各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。 図５は、図１に示した撮像素子の画素の配列の概略構成を示す図である。 図６は、図１に示した画像処理装置の概略構成を示すブロック図である。 図７は、偏光ＲＡＷ画像データから、偏光方向毎の偏光画像データＩ１～Ｉ４が分離される態様を示す模式図である。 図８は、偏光画像データＩ１～Ｉ４毎にカーネルＫをコンボリューションすることにより、黒塗り部分の画素値を補間して４枚の第１偏光画像データを生成する態様を示す模式図である。 図９は、画素Ｐ１を中心とする隣接する８画素（合計９画素）を示す図である。 図１０は、偏光方向が異なる４つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の画素値の関係を示す模式図である。 図１１は、本発明に係る撮像装置の第２実施形態の概略構成を示す図である。 図１２は、図１１に示したバンドパスフィルタユニットの実施形態を示す正面図である。 図１３は、各バンドパスフィルタの透過波長特性の一例を示すグラフである。 図１４は、図１１に示した偏光フィルタユニットの実施形態を示す正面図である。
　以下、添付図面に従って本発明に係る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムの好ましい実施形態について説明する。
　［撮像装置の構成］
　図１は、本発明に係る撮像装置の第１実施形態の概略構成を示す図である。
　第１実施形態の撮像装置１－１は、それぞれ偏光方向が異なる４枚の偏光画像を撮像する偏光カメラであり、撮影光学系１０－１と、撮像素子１００と、画像処理装置２００と、を備える。
　撮影光学系１０－１は、被写体の光学像を撮像素子１００の受光面に結像させる一般的な撮影レンズである。
　また、撮影光学系１０－１は、図示しない焦点調節機構及び絞りを有する。焦点調節機構は、例えば、撮影光学系１０－１の全体を光軸Ｌに沿って前後移動させて、焦点を調節する。
　＜撮像素子＞
　図２は、図１に示した撮像素子の概略構成を示す図である。図３は、図２に示した１つ画素（図２の破線部）の概略構成を示す断面図である。
　撮像素子１００は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のイメージセンサであり、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、及びマイクロレンズアレイ層１４０を有する。各層は、像面側から物体側に向かって、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、マイクロレンズアレイ層１４０の順で配置される。尚、撮像素子１００は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。
　ピクセルアレイ層１１０は、多数の光電変換素子であるフォトダイオード１１２を２次元状に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って規則的に配置される。
　偏光フィルタ素子アレイ層１２０は、透過させる光の偏光方向がそれぞれ異なるｎ個の第１偏光子（偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄ）が規則的に設けられている。尚、ｎは４以上の整数であり、本例では、ｎ＝４の場合に関して示している。
　図４は、撮像素子の各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。
　図４に示すように、隣接する４個（２×２個）の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４で１つの画素ブロックＰＢ（Ｘ，Ｙ）が構成され、画素ブロックＰＢ内の各画素Ｐ１、Ｐ２、Ｐ３、Ｐ４には、前述した偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄがそれぞれ設けられている。
　４個の偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄは、互いに偏光方向が４５°異なっている。
　例えば、偏光フィルタ素子１２２Ａが、入射する光のうちの図４上で左右方向（ｘ軸方向）の光成分のみを透過する場合、この場合の偏光方向θ１を０°とすると、偏光フィルタ素子１２２Ｂの偏光方向θ２は４５°であり、偏光フィルタ素子１２２Ｃの偏光方向θ３は９０°であり、偏光フィルタ素子１２２Ｄの偏光方向は１３５°である。尚、４種類の偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄの配列パターンは、図４に示した例に限定されない。
　図５は、図１に示した撮像素子の画素の配列の概略構成を示す図である。
　図５に示すように、撮像素子１００は、前述したように受光面に４種類の画素Ｐ１～Ｐ４を有する。隣接する４個（２×２個）の画素ブロックＰＢ（Ｘ，Ｙ）が、水平方向（ｘ軸方向）及び垂直方向（ｙ軸方向）に沿って規則的に配列される。
　撮像装置１－１は、シャッタレリーズスイッチ等から撮影指示入力を受け付けると、撮像素子１００における露光制御を行う。この露光制御により撮像素子１００の受光面に結像された被写体の光学像は、撮像素子１００により電気信号に変換される。撮像素子１００の各画素には、フォトダイオード１１２に入射する光の光量に応じた電荷が蓄積され、撮像素子１００からは各画素に蓄積された電荷量に応じた電気信号が画像信号（第１画像データ）として読み出される。
　ここで、第１画像データは、本例では画素Ｐ１～Ｐ４毎の４個の偏光情報を有する画像データである。以下、第１画像データを、「偏光ＲＡＷ画像データ」という。
　図１に戻って、画像処理装置２００は、撮像素子１００から偏光ＲＡＷ画像データを取得し、後述する画像処理（ＲＡＷ現像処理）を行い、偏光方向別の４枚の偏光画像データ（第２偏光画像データ）を生成する。
　＜画像処理装置＞
　図６は、図１に示した画像処理装置の概略構成を示すブロック図である。
　図６に示すように、画像処理装置２００は、アナログ信号処理部２００Ａ、プロセッサ２００Ｂ及びメモリ２００Ｃを含む。
　アナログ信号処理部２００Ａは、撮像素子１００から出力されるアナログの画素信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。
　プロセッサ２００Ｂは、アナログ信号処理部２００Ａから偏光ＲＡＷ画像データを取得する取得処理を行う。尚、撮像素子１００がＣＭＯＳ型撮像素子である場合、アナログ信号処理部等は、ＣＭＯＳ型撮像素子内に内蔵されていることが多く、この場合、プロセッサ２００Ｂは、ＣＭＯＳ型撮像素子から偏光ＲＡＷ画像データを取得することができる。
　プロセッサ２００Ｂは、取得した偏光ＲＡＷ画像データをデモザイク処理し、偏光方向がそれぞれ異なる４枚の偏光画像データ（第１偏光画像データ）を生成する。
　≪デモザイク処理≫
　次に、偏光ＲＡＷ画像データのデモザイク処理について説明する。
　偏光ＲＡＷ画像データから偏光方向毎に分離した４枚の偏光画像データを、それぞれＩ１、Ｉ２、Ｉ３、Ｉ４とすると、プロセッサ２００Ｂは、次式、
Figure JPOXMLDOC01-appb-M000013
（ただし、ａはパラメータ）
の演算を行い、デモザイク処理された４枚の第１偏光画像データを生成する第１偏光画像データ生成処理を行う。
　４枚の偏光画像データ（Ｉ１、Ｉ２、Ｉ３、Ｉ４）のうちの偏光画像データＩ１は、画素Ｐ１の画素値のみを有し、他の画素位置の画素値がゼロの画像データである。同様に、偏光画像データＩ２は、画素Ｐ２の画素値のみを有し、他の画素位置の画素値がゼロの画像データであり、偏光画像データＩ３は、画素Ｐ３の画素値のみを有し、他の画素位置の画素値がゼロの画像データであり、偏光画像データＩ４は、画素Ｐ４の画素値のみを有し、他の画素位置の画素値がゼロの画像データである。
　［数１］式は、各偏光画像データＩ１～Ｉ４と重み付け係数を有する７×７のカーネルＫとの畳み込み演算（コンボリューション）により、画素値がゼロの画素位置における画素値を、その周辺画素の画素値により推定（補間）するデモザイク処理を示す。
　カーネルＫの係数は、画素値を推定する画素位置から近い画素位置ほど、大きい重み付け係数が割り当てられている。
　また、カーネルＫにおけるａはパラメータであり、パラメータａを調整することで、鮮鋭度をコントロールすることができる。例えば、パラメータａを０に近づけると、鮮鋭度が小さく、かつノイズが小さくなり、パラメータａをマイナスに大きくすると、鮮鋭度が高く、かつノイズが大きくなる。
　尚、［数１］式に示したカーネルＫのサイズ、重み付け係数、及びパラメータａは一例にすぎず、本発明はこれに限定されない。
　図７は、偏光ＲＡＷ画像データから、偏光方向毎の偏光画像データＩ１～Ｉ４が分離される態様を示す模式図である。偏光方向毎の偏光画像データＩ１～Ｉ４に分離することで、後の処理を行いやすくする。
　図７に示す偏光画像データＩ１～Ｉ４において、黒塗り部分の画素値はゼロである。デモザイク処理は、黒塗り部分の画素値を、その周辺画素の画素値に基づいて推定（補間）し、黒塗り部分に補間した画素値を埋め込み、４枚の第１偏光画像データを生成する処理である。
　図８は、偏光画像データＩ１～Ｉ４毎にカーネルＫをコンボリューションすることにより、黒塗り部分の画素値を補間して４枚の第１偏光画像データを生成する態様を示す模式図である。
　カーネルＫは、例えばメモリ２００Ｃに記憶されており、プロセッサ２００Ｂは、メモリ２００ＣからカーネルＫを読み出し、偏光画像データＩ１～Ｉ４毎にカーネルＫをコンボリューションすることで、４枚の第１偏光画像データを生成するデモザイク処理を行う。
　上記のデモザイク処理は、図４及び図５に示したように、偏光方向が異なる４種類の第１偏光子を有する画素Ｐ１～Ｐ４の空間的な配置関係から、偏光画像データＩ１～Ｉ４毎に、所定の画素位置（図８に示した黒塗り部分の画素位置）における画素値を補間処理により生成する。
　≪第２偏光画像データの生成方法≫
　次に、ｎ枚の第１偏光画像データ、及びｎ個の第１偏光子の偏光方向間の関係を使用し、第１偏光画像データよりも補間精度を上げたｎ枚以下の第２偏光画像データを生成する方法について説明する。ｎ個の第１偏光子の偏光方向間の関係については後述する。
　以下、説明を簡単にするために、ｎが４の場合について説明する。
　ｎが４の場合、図６に示したメモリ２００Ｃは、偏光方向が異なるｎ個（４個）の第１偏光子の偏光方向間の関係として、次の行列、
Figure JPOXMLDOC01-appb-M000014
　（ただし、ｌ１～ｌ３、ｃ０～ｃ３は係数である）
を記憶している。
　また、ｎが４の場合、デモザイク処理により４枚の第１偏光画像データが生成される。
　４枚の第１偏光画像データの同じ画素位置には、元から存在する画素値（以下、「第１画素値ｘ0」という）と、デモザイク処理により生成した３個の画素値（以下、「第２画素値（ｘ１demo、ｘ２demo、ｘ３demo）」という）とが存在する。
　図６に示したプロセッサ２００Ｂは、メモリ２００Ｃに記憶された、４個の第１偏光子の偏光方向間の関係（［数２］の行列）と、各画素位置の４つの画素値（第１画素値（ｘ0）、３個の第２画素値（ｘ１demo、ｘ２demo、ｘ３demo））とに基づいて、次式、
Figure JPOXMLDOC01-appb-M000015
の演算を行い、各画素位置において、デモザイク処理により生成した３個の第２画素値（ｘ１demo、ｘ２demo、ｘ３demo）を補正した３個の画素値（ｘ１ｒ、ｘ２ｒ、ｘ３ｒ）を演算する。
　これにより、プロセッサ２００Ｂは、デモザイク処理された４枚の第１偏光画像データよりも補間精度を上げた４枚以下（本例では、４枚）の第２偏光画像データ（Ｉ１ｒ、Ｉ２ｒ、Ｉ３ｒ、Ｉ４ｒ）を生成する第２偏光画像データ生成処理を行う。
　このようにして生成された４枚の第２偏光画像データ（Ｉ１ｒ、Ｉ２ｒ、Ｉ３ｒ、Ｉ４ｒ）は、後段の図示しない表示装置又は記録装置に出力され、表示又は記録することができる。
　≪偏光方向間の関係≫
　ｎ個の第１偏光子の偏光方向間の関係としては、ｎ個の第１偏光子が有する特性と第１偏光子に対応する画素の物理量との関係などが挙げられる。一例として、［数２］の行列で示したｎ＝４の場合の第１偏光子の偏光方向間の関係について説明する。
　撮像素子１００に面内の光量分布が均一な非偏光の光（一例として自然光）が入射する場合、図４及び図５に示した隣接する４個（２×２個）の画素Ｐ１、Ｐ２、Ｐ３、Ｐ４から得られる４つの偏光情報（画素値）をｘ０～ｘ３とすると、［数３］に示した行列内の係数ｃ０～ｃ３と、画素値ｘ０～ｘ３とは、次式、
Figure JPOXMLDOC01-appb-M000016
を満たす。換言すると、［数４］式を満たす係数ｃ０～ｃ３が存在する。
　ここで均一の度合いは、画素値の補正ができる範囲で分布（明暗差）は許容される。一例として２０％以下で確認を行った。また、非偏光とは単一方向の偏光ではなく、複数方向の偏光が混在していることを示す。
　図９は、画素Ｐ１を中心とする隣接する８画素（合計９画素）を示す図である。図１０は、偏光方向が異なる４つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の画素値の関係を示す模式図である。
　図１０に示すように偏光方向の間隔が４等分（４５°間隔）の場合、［数４］式のｃｉは、ｃ０＝ｃ２＝１、ｃ１＝ｃ３＝－１である。
　しかしながら、実際には撮像素子１００の製造誤差の影響などで、上記関係から僅かにずれる。
　そこで、全体が真っ白な入力（均一な非偏光の光）を撮像素子１００に入射させ、撮像素子１００の出力結果を使用してキャリブレーションしておく。
　全体が真っ白な画像では、急峻な変化がないため、隣接画素間の関係を調べればよい。そして、［数４］式を満たすｃｉを決める。ｃｉを定数倍したものも同条件をみたすため、ｃｉは一意に定まらない。したがって、ｃｉの総和が１などの制約を設けることで、ｃｉを決定する。
　［数４］式は、デモザイク処理により生成される偏光方向が異なる４つの画素値（ｘ０demo、ｘ１demo、ｘ２demo、ｘ３demo）の間でも成立し、画素値（ｘ０demo、ｘ１demo、ｘ２demo、ｘ３demo）と係数ｃ０～ｃ３との関係は、次式で表すことができる。
　［数５］
　ｃ０ｘ０demo＋ｃ１ｘ１demo＋ｃ２ｘ２demo＋ｃ３ｘ３demo＝０
　次の［数５’］式は、上記［数５］式を変形した数式である。
　［数５’］
　ｘ０demo＝－（１/ｃ０)(ｃ１ｘ１demo＋ｃ２ｘ２demo＋ｃ３ｘ３demo)
　また、偏光方向がそれぞれ異なる４つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４のうちの、ある偏光方向の画素（例えば、偏光方向０°の画素Ｐ１）において、元から存在する第１画素値と、デモザイク処理により推定した第２画素値（同じ偏光方向の画素値）との誤差をδとする。
　同様にして、４つの画素Ｐ１、Ｐ２、Ｐ３、Ｐ４のうちの、ある偏光方向の画素から偏光方向がそれぞれ４５°ずつ異なる３つの画素（例えば、偏光方向４５°、９０°、及び１３５°の画素Ｐ２、Ｐ３，Ｐ４）において、元から存在する第１画素値と、デモザイク処理により推定した第２画素値との誤差をそれぞれｌ１δ、ｌ２δ、ｌ３δとする。
　係数ｌ１、ｌ２、ｌ３は、［数２］の行列内のｌ１、ｌ２、ｌ３と同じである。また、係数ｌ１、ｌ２、ｌ３の算出方法については後述する。
　いま、画素Ｐ１の画素位置において、画素Ｐ１に対して偏光方向が４５°異なる画素Ｐ２の真の値（求めたい画素値）をｘ１ｒとすると、画素値ｘ１ｒは、次式、
　［数６］
　ｘ１ｒ＝ｘ１demo＋ｌ１δ
により表すことができる。
　上記［数６］式における誤差δは、画素Ｐ１の元から存在する画素値ｘ０と、デモザイク処理により推定した画素値ｘ０demoとの誤差であるため、次式、
　［数７］
　δ＝ｘ０－ｘ０demo
で表すことができる。
　［数６］式のδに、［数７］式の右辺を代入すると、［数６］は、次式、
　［数８］
　ｘ１ｒ＝ｘ１demo＋ｌ１（ｘ０－ｘ０demo）
で表すことができる。また、［数８］式のｘ０demoに、［数６］式の右辺を代入し、整理すると、［数８］式は、次式により表すことができる。
　［数９］
　ｘ１ｒ=ｌ１ｘ０+｛(１+ｌ１ｃ１/ｃ０)ｘ１demo+(ｌ１ｃ２/ｃ０)ｘ２demo+(ｌ１ｃ３/ｃ０)ｘ３demo｝
　上記［数９］式は、［数３］式において、ｘ１ｒを算出する数式に相当する。
　また、画素Ｐ１の画素位置において、画素Ｐ１から偏光方向が９０°異なる画素Ｐ３の画素値ｘ２ｒ（誤差ｌ２δのない画素値）、及び偏光方向が１３５°異なる画素Ｐ４の画素値ｘ３ｒ（誤差ｌ３δのない画素値）を算出する数式も同様にして求めることができる。
　そして、［数３］式は、これらの誤差のない画素値（ｘ１ｒ、ｘ２ｒ、ｘ３ｒ）を求める数式を表したものであり、［数３］式の右辺の行列は、［数２］で表したものである。
　尚、［数２］、及び［数３］式に示した係数ｌ１～ｌ３は、それぞれ１にしてもよい。
　≪係数ｌ１、ｌ２、ｌ３の算出方法≫
［数１］で表した行列内の係数ｌ１、ｌ２、ｌ３をｌｉ、係数ｃ１、ｃ２、ｃ３をｃｉで表すと、ｌｉは、次式、
Figure JPOXMLDOC01-appb-M000017
　（ただし、行列Ａを、前記撮像素子から取得した４つの偏光情報から別の４個の物理量への変換を与えるｍ行４列の行列とすると、前記［数５］式中の行列Ｂは、ＡＴＡの第（ｉ＋１）行、及び第（ｊ＋１）列を除去した３行３列の行列Ｂの余因子行列である）で表すことができる。
　いま、行列Ａを、［数１１］に示す単位行列とする。
Figure JPOXMLDOC01-appb-M000018
　ＡＴＡは、［数１２］に示す行列で表すことができる。
Figure JPOXMLDOC01-appb-M000019
　ＡＴＡの第（ｉ＋１）行、及び第（ｊ＋１）列を除去した行列Ｂｉ，ｊは、［数１３］で表すことができる。
Figure JPOXMLDOC01-appb-M000020
　［数１０］式中の余因子行列Ｂｉ，ｊは、［数１３］式の行列Ｂを元に、次式で表すことができる。
Figure JPOXMLDOC01-appb-M000021
　また、ｃｉは、第（ｉ＋１）成分を除外したベクトルであるため、次式で表すことができる。
Figure JPOXMLDOC01-appb-M000022
　よって、［数１０］式の係数ｌ１は、次式で表すことができる。
Figure JPOXMLDOC01-appb-M000023
　同様にして、［数１０］式の係数ｌ２、ｌ３も、それぞれ次式で表すことができる。
Figure JPOXMLDOC01-appb-M000024
　これにより、［数１０］式の係数ｌ１～ｌ３は、次式で表すことができる。
Figure JPOXMLDOC01-appb-M000025
　また、本例の撮像素子１００に設けられた４種類の偏光フィルタ素子１２２Ａ～１２２Ｄのそれぞれの偏光方向（θ１～θ４）は、１８０°をｎ（＝４）等分した、４５°ずつ異なる０°、４５°、９０°、及び１３５°であるが、各偏光方向は、これに限定されない。
　次に、cos二乗モデルでの係数ｃiの導出について説明する。
　ｎを４以上の整数とすると、［数４］式は、次式で表すことができる。
Figure JPOXMLDOC01-appb-M000026
　［数１９］式において、φｉは撮像素子のそれぞれ異なる複数の画素の偏光方向を示す角度である。
　［数１９］式が任意のθで成立するためには、次式を満たす必要がある。
Figure JPOXMLDOC01-appb-M000027
　変数が冗長なので、例えば、ｃ０＝１にすると、［数２０］式は、次式に書き換えることがでる。
Figure JPOXMLDOC01-appb-M000028
　［数２１］式は、次式で表すことができる。
Figure JPOXMLDOC01-appb-M000029
　ここで、
Figure JPOXMLDOC01-appb-M000030
と表すことができる。
　例えば、φ０＝0°、φ１＝45°、φ２＝90°、φ４＝135°とすると、ｃ０＝1、ｃ１＝－1、ｃ２＝1、ｃ３＝－1となり、φ０＝0°、φ１＝10°、φ２＝30°、φ４＝60°とすると、ｃ０＝1、ｃ１＝－1.6527、ｃ２＝0.8794、ｃ３＝－0.2267となる。
　＜第２実施形態＞
　図１１は、本発明に係る撮像装置の第２実施形態の概略構成を示す図である。
　第２実施形態の撮像装置１－２は、それぞれ波長帯域が異なる３枚以上の複数の画像（マルチスペクトル画像）を撮像するマルチスペクトルカメラであり、撮影光学系１０－２と、撮像素子１００と、画像処理装置２００－２と、を備える。
　尚、図１１において、図１に示した第１実施形態の撮像装置１－１と共通する部分には同一の符号を付し、その詳細な説明は省略する。また、画像処理装置２００－２は、図６に示した画像処理装置２００と共通するが、演算に使用する係数が相違する。
　第２実施形態の撮像装置１－２は、第１実施形態の撮像装置１－１と比較して、主として撮影光学系１０－２が、第１実施形態の撮像装置１－１の撮影光学系１０－１と相違する。
　≪撮影光学系≫
　撮影光学系１０－２は、複数のレンズ１２を組み合わせて構成される。撮影光学系１０－２は、その瞳近傍にバンドパスフィルタユニット１６及び偏光フィルタユニット１８を有する。また、撮影光学系１０－２は、図示しない焦点調節機構を有する。焦点調節機構は、例えば、撮影光学系１０－２の全体を光軸Ｌに沿って前後移動させて、焦点を調節する。
　撮影光学系１０－２の瞳領域は、第１瞳領域、第２瞳領域及び第３瞳領域に分割される。バンドパスフィルタユニット１６は、第１瞳領域、第２瞳領域及び第３瞳領域からそれぞれ異なる波長帯域の光を通過させる３個の波長選択素子を有している。
　図１２は、図１１に示したバンドパスフィルタユニットの実施形態を示す正面図である。
　図１２に示すバンドパスフィルタユニット１６は、第１波長帯域λ１の光を通過させる第１瞳領域Ｚ１、第２波長帯域λ２の光を通過させる第２瞳領域Ｚ２、及び第３波長帯域λ３の光を通過させる第３瞳領域Ｚ３を有し、第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３ごとに異なる波長帯域の光を透過させる波長選択ユニットとして機能する。
　即ち、バンドパスフィルタユニット１６は、その中心が撮影光学系１０－２の光軸Ｌと一致するように配置され、中心角が９０°の３つ扇形の開口領域１６Ａ１、１６Ａ２、１６Ａ３を備えた遮光性を有する枠体１６Ａと、その枠体１６Ａの各開口領域１６Ａ１、１６Ａ２、１６Ａ３に設けられた３個の波長選択素子であるバンドパスフィルタ１６Ｂ１、１６Ｂ２、１６Ｂ３と、で構成される。
　図１３は、各バンドパスフィルタの透過波長特性の一例を示すグラフである。
　各バンドパスフィルタ１６Ｂ１～１６Ｂ３は、それぞれ異なる波長帯域の光を透過させる。具体的には、バンドパスフィルタ１６Ｂ１は、波長帯域λ１の光を透過させる。バンドパスフィルタ１６Ｂ２は、波長帯域λ２の光を透過させる。バンドパスフィルタ１６Ｂ３は、波長帯域λ３の光を透過させる。
　また、偏光フィルタユニット１８は、瞳分割された第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３を通過する光をそれぞれ異なる方向に偏光する３個の第２偏光子を有する。
　図１４は、図１１に示した偏光フィルタユニットの実施形態を示す正面図である。
　図１４に示す偏光フィルタユニット１８は、図１１に示したバンドパスフィルタユニット１６と同様に、その中心が撮影光学系１０－２の光軸Ｌと一致するように配置され、中心角が９０°の３つ扇形の開口領域１８Ａ１、１８Ａ２、１８Ａ３を備えた遮光性を有する枠体１８Ａと、第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３を通過する光をそれぞれ異なる方向に偏光する３個の第２偏光子（偏光フィルタ１８Ｂ１、１８Ｂ２、１８Ｂ３）と、で構成される。
　バンドパスフィルタユニット１６及び偏光フィルタユニット１８は近接配置され、それぞれの第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３の投影形状が同一である。したがって、バンドパスフィルタユニット１６のバンドパスフィルタ１６Ｂ１を透過した光は、偏光フィルタユニット１８の偏光フィルタ１８Ｂ１のみを通過し、同様にバンドパスフィルタ１６Ｂ２を透過した光は、偏光フィルタ１８Ｂ２のみを通過し、バンドパスフィルタ１６Ｂ３を透過した光は、偏光フィルタ１８Ｂ３のみを通過する。
　また、本例の偏光フィルタユニット１８の各偏光フィルタ１８Ｂ１、１８Ｂ２、１８Ｂ３の偏光方向（θ１、θ２、θ３）は、撮像素子１００の画素Ｐ１、Ｐ２、Ｐ３に設けられた各偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃの偏光方向（θ１、θ２、θ３）と同一である。
　したがって、第１瞳領域Ｚ１を通過する波長帯域λ１を有する偏光方向θ１の光は、撮像素子１００の同じ偏光方向θ１の画素Ｐ１と、偏光方向θ１と偏光方向が±４５°異なる画素Ｐ２，Ｐ４の各フォトダイオード１１２に入射し、同様に第２瞳領域Ｚ２を通過する波長帯域λ２を有する偏光方向θ２の光は、撮像素子１００の同じ偏光方向θ２の画素Ｐ２と、偏光方向θ２と偏光方向が±４５°異なる画素Ｐ３，Ｐ１の各フォトダイオード１１２に入射し、また第３瞳領域Ｚ３を通過する波長帯域λ３を有する偏光方向θ３の光は、撮像素子１００の同じ偏光方向θ３の画素Ｐ３と、偏光方向θ３と偏光方向が±４５°異なる画素Ｐ２，Ｐ４の各フォトダイオード１１２に入射する。
　撮像素子１００の画素Ｐ１のフォトダイオードには、撮影光学系１０－２の第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３をそれぞれ通過する波長帯域λ１を有する偏光方向θ１の光、波長帯域λ２を有する偏光方向θ２の光、及び波長帯域λ３を有する偏光方向θ３の光が入射する。
　即ち、撮像素子１００の画素Ｐ１のフォトダイオードには、各波長帯域λ１～λ３の光がそれぞれ入射（混信）する。同様に、撮像素子１００の画素Ｐ２～Ｐ４のフォトダイオードにも各波長帯域λ１～λ３の光がそれぞれ入射する。
　このため、画像処理装置２００－２（図１１）は、混信除去処理を行って、各波長帯域λ１～λ３の画像信号を生成する。
　混信除去を行う場合も［数３］式に示した演算を行うことで、各画素位置において、デモザイク処理により生成した３個の第２画素値（ｘ１demo、ｘ２demo、ｘ３demo）を補正した３個の画素値（ｘ１ｒ、ｘ２ｒ、ｘ３ｒ）を演算する。この場合、３個の画素値（ｘ１ｒ、ｘ２ｒ、ｘ３ｒ）は、各波長帯域λ１～λ３の画素値である。
　また、混信除去を行う場合、バンドパスフィルタユニット１６及び偏光フィルタユニット１８の３つの第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３のうちのいずれか１の瞳領域のみを開口し、他の瞳領域を遮光して、全体が真っ白な入力を撮像素子１００に入射させ、撮像素子１００の出力結果を取得する。これを、３つの第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３ごとに実施する。このようにして取得した撮像素子１００の出力結果を使用し、隣接画素間の混信関係を調べて、［数４］式を満たすｃｉを決める。
　また、［数１０］式で示した係数ｌｉを求める場合の行列Ａ（余因子行列Ｂを求めるための元になる行列）を混信除去行列とする。
　図６に示した画像処理装置２００のメモリ２００Ｃは、混信除去を行う場合の［数２］に示した行列を記憶しており、プロセッサ２００Ｂは、混信除去を行う場合、メモリ２００Ｃに記憶された、混信除去用の４個の第１偏光子の偏光方向間の関係（［数２］の行列）と、各画素位置の４つの画素値（第１画素値（ｘ0）、３個の第２画素値（ｘ１demo、ｘ２demo、ｘ３demo））とに基づいて、［数３］式に示した演算を行うことで、各波長帯域λ１～λ３に対応した３枚のスペクトル画像（マルチスペクトル画像）を取得することができる。
　尚、撮影光学系１０－２のバンドパスフィルタユニット１６及び偏光フィルタユニット１８の３つの第１瞳領域Ｚ１、第２瞳領域Ｚ２及び第３瞳領域Ｚ３は、それぞれ中心角が９０°の扇型であるが、中心角が１２０°の扇型でもよい。また、３つの瞳領域は、扇型に限らず、光軸Ｌを中心とする１つの円と、２つの環状帯とで構成される３つの瞳領域でもよい。
　［その他］
　本実施形態の撮像素子１００は、カラーフィルタを備えていないが、各画素に赤色フィルタ、緑色フィルタ、又は青色フィルタが、例えば、２×２個の画素ブロックＰＢ毎にベイヤ配列で繰り返し配置されたものでもよい。これによれば、赤色、緑色、及び青色の色毎に偏光方向が異なる複数の偏光画像を取得することができ、また、色フィルタ、緑色フィルタ、又は青色フィルタの各波長帯域内で、３以下の波長帯域を選択するバンドパスフィルタを設けることで、最大で９枚（＝３×３）のマルチスペクトル画像を撮像することができる。
　また、本発明は撮像装置に限らず、例えば、図６に示した画像処理装置２００、及び図６に示した画像処理装置２００における画像処理方法及び画像処理プログラムを含む。
　この場合、画像処理方法は、プロセッサ２００Ｂと、メモリ２００Ｃとを備え、プロセッサ２００Ｂが、以下に示す各ステップを実行する。即ち、プロセッサ２００Ｂは、撮像素子１００から偏光ＲＡＷ画像データ（第１画像データ）を取得するステップと、第１画像データをデモザイク処理し、偏光方向が異なる４枚の第１偏光画像データを生成するステップと、４枚の第１偏光画像データとメモリ２００Ｃに記憶された４個の第１偏光子の偏光方向間の関係を使用し、４枚以下の第２偏光画像データを生成するステップと、を実行する。
　画像処理プログラムは、上記の画像処理方法をコンピュータにより実現させる。
　本実施形態において、例えば、プロセッサ２００Ｂの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１－１、１－２　撮像装置
１０－１、１０－２　撮影光学系
１２　レンズ
１６　バンドパスフィルタユニット
１６Ａ　枠体
１６Ａ１、１６Ａ２、１６Ａ３　開口領域
１６Ｂ１、１６Ｂ２、１６Ｂ３　バンドパスフィルタ
１８　偏光フィルタユニット
１８Ａ　枠体
１８Ａ１、１８Ａ２、１８Ａ３　開口領域
１８Ｂ１、１８Ｂ２、１８Ｂ３　偏光フィルタ
１００　撮像素子
１１０　ピクセルアレイ層
１１２　フォトダイオード
１２０　偏光フィルタ素子アレイ層
１２２Ａ、１２２Ｂ、１２２Ｃ、１２２Ｄ　偏光フィルタ素子
１４０　マイクロレンズアレイ層
２００　画像処理装置
２００Ａ　アナログ信号処理部
２００Ｂ　プロセッサ
２００Ｃ　メモリ
Ｌ　光軸

Claims (13)

  1. 　プロセッサと、偏光方向間の関係を記憶するメモリとを備え、前記プロセッサが画像処理を行う画像処理装置であって、
    　前記プロセッサは、
    　ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得する取得処理と、
    　前記第１画像データをデモザイク処理し、異なる前記偏光方向に応じたｎ枚の第１偏光画像データを生成する第１偏光画像データ生成処理と、
    　前記ｎ枚の第１偏光画像データと前記メモリに記憶された前記偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成する第２偏光画像データ生成性処理と、
    　を行う画像処理装置。
  2. 　前記偏光方向間の関係は、前記ｎ個の第１偏光子が有する特性と前記第１偏光子に対応する画素の物理量との関係である請求項１記載の画像処理装置。
  3. 　前記ｎが４の場合において、
    　前記第１画像データから偏光方向毎に分離した４枚の偏光画像データを、それぞれＩ１、Ｉ２、Ｉ３、Ｉ４とすると、前記プロセッサは、次式、
    Figure JPOXMLDOC01-appb-M000001
     　（ただし、ａはパラメータ）
    の演算を行い、前記デモザイク処理された４枚の第１偏光画像データを生成する、
    　請求項１又は２に記載の画像処理装置。
  4. 　前記ｎが４の場合において、
    　前記メモリは、
    　前記ｎ個の前記第１偏光子の偏光方向間の関係として、次の行列、
    Figure JPOXMLDOC01-appb-M000002
     　（ただし、ｌ１～ｌ３、ｃ０～ｃ３は係数である）
    を記憶し、
    　前記ｎ枚の第１偏光画像データの各画素位置に元から存在する第１画素値をｘ0とし、
    　前記画素位置において、前記デモザイク処理により生成された３つの第２画素値をそれぞれｘ１demo、ｘ２demo、ｘ３demoとすると、
    　前記プロセッサは、４枚以下の前記第２偏光画像データを生成するための、前記画素位置において生成する３個の画素値（ｘ１ｒ、ｘ２ｒ、ｘ３ｒ）を、次式、
    Figure JPOXMLDOC01-appb-M000003
     により算出する、
    　請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記撮像素子に光量分布が均一な非偏光の光が入射した場合に得られる隣接画素の４つの偏光情報をｘ０～ｘ３とすると、前記係数ｃ０～ｃ３と前記偏光情報ｘ０～ｘ３とは、次式、
    Figure JPOXMLDOC01-appb-M000004
     を満たす、
    　請求項４に記載の画像処理装置。
  6. 　パラメータｉを１～３とし、前記［数１］で表した行列内の係数ｌ１、ｌ２、ｌ３をｌｉ、係数ｃ１、ｃ２、ｃ３をｃｉで表すと、前記ｌｉは、次式、
    Figure JPOXMLDOC01-appb-M000005
     　（ただし、行列Ａを、前記撮像素子から取得した４つの偏光情報から別の４個の物理量への変換を与えるｍ行４列の行列とすると、前記［数１０］式中の行列Ｂは、ＡＴＡの第（ｉ＋１）行、及び第（ｊ＋１）列を除去した３行３列の行列Ｂの余因子行列である）で表される、
    　請求項４又は５に記載に画像処理装置。
  7. 　前記行列Ａは、４行４列の単位行列である、
    　請求項６に記載の画像処理装置。
  8. 　パラメータｉを１～３とし、前記［数２］で示した行列内の係数ｌ１、ｌ２、ｌ３をｌｉとし、係数ｃ１、ｃ２、ｃ３をｃｉとすると、前記ｌｉは、次式、
    Figure JPOXMLDOC01-appb-M000006
     で表される、
    　請求項４から７のいずれか１項に記載の画像処理装置。
  9. 　撮影光学系と、
    　ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子と、
    　請求項１から８のいずれか１項に記載の画像処理装置と、を備え、
    　前記プロセッサは、前記撮像素子から第１画像データを取得する、
    　撮像装置。
  10. 　瞳領域が第１瞳領域、第２瞳領域及び第３瞳領域に分割され、前記第１瞳領域、第２瞳領域及び第３瞳領域を通過する光をそれぞれ異なる方向に偏光する３個の第２偏光子と、
    　前記第１瞳領域、第２瞳領域及び第３瞳領域からそれぞれ異なる波長帯域の光を通過させる３個の波長選択素子と、を含む撮影光学系と、
    　２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なる４つの第１偏光子が規則的に設けられた撮像素子と、
    　請求項６に記載の画像処理装置と、を備え、
    　前記プロセッサは、前記撮像素子から前記第１画像データを取得し、
    　前記行列Ａは、前記第１画像データから、３つの各波長帯域の光の混信が除去された３つの各波長帯域の光に対応した３枚の画像データを算出する際の混信除去行列である、
    　撮像装置。
  11. 　プロセッサと、偏光方向間の関係を記憶するメモリとを備え、前記プロセッサが画像処理を行う画像処理方法であって、
    　ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得するステップと、
    　前記第１画像データをデモザイク処理し、偏光方向が異なるｎ枚の第１偏光画像データを生成するステップと、
    　前記ｎ枚の第１偏光画像データと前記メモリに記憶された前記偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成するステップと、
    　を含む画像処理方法。
  12. 　ｎを４以上の整数とすると、２次元状に配列された光電変換素子からなる複数の画素に、偏光方向がそれぞれ異なるｎ個の第１偏光子が規則的に設けられた撮像素子から第１画像データを取得する機能と、
    　前記第１画像データをデモザイク処理し、偏光方向が異なるｎ枚の第１偏光画像データを生成する機能と、
    　前記ｎ枚の第１偏光画像データと前記ｎ個の第１偏光子の偏光方向間の関係とを使用し、ｎ枚以下の第２偏光画像データを生成する機能と、
    　をコンピュータにより実現させる画像処理プログラム。
  13. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１２に記載の画像処理プログラムが記録された記録媒体。
PCT/JP2021/002355 2020-01-31 2021-01-25 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム WO2021153472A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180011124.8A CN115039400A (zh) 2020-01-31 2021-01-25 图像处理装置、摄像装置、图像处理方法及图像处理程序
JP2021574004A JP7399194B2 (ja) 2020-01-31 2021-01-25 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US17/862,407 US11982899B2 (en) 2020-01-31 2022-07-12 Image processing device, imaging device, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020015550 2020-01-31
JP2020-015550 2020-01-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/862,407 Continuation US11982899B2 (en) 2020-01-31 2022-07-12 Image processing device, imaging device, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
WO2021153472A1 true WO2021153472A1 (ja) 2021-08-05

Family

ID=77079104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002355 WO2021153472A1 (ja) 2020-01-31 2021-01-25 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム

Country Status (4)

Country Link
US (1) US11982899B2 (ja)
JP (1) JP7399194B2 (ja)
CN (1) CN115039400A (ja)
WO (1) WO2021153472A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016171368A (ja) * 2015-03-11 2016-09-23 株式会社東芝 撮像装置、撮像素子、及び撮像方法
WO2017081925A1 (ja) * 2015-11-10 2017-05-18 ソニー株式会社 画像処理装置と画像処理方法
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5742281B2 (ja) * 2011-02-17 2015-07-01 ソニー株式会社 撮像装置、画像処理方法およびプログラム
US20140210695A1 (en) * 2013-01-30 2014-07-31 Hewlett-Packard Development Company Securing information
US20160173834A1 (en) * 2014-12-15 2016-06-16 Palo Alto Research Center Incorporated Plasmonic polarization-sensitive image sensor
CN105450273B (zh) * 2015-08-24 2016-11-23 电信科学技术研究院 一种传输编码指示信息和确定预编码矩阵的方法和装置
US11399144B2 (en) * 2017-07-12 2022-07-26 Sony Group Corporation Imaging apparatus, image forming method, and imaging system
EP3925210A4 (en) * 2017-10-16 2022-05-18 nLIGHT, Inc. SYSTEM AND METHOD OF SHIMMER REDUCTION
CN110505422B (zh) * 2019-08-20 2022-01-11 Oppo广东移动通信有限公司 一种cis和终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016171368A (ja) * 2015-03-11 2016-09-23 株式会社東芝 撮像装置、撮像素子、及び撮像方法
WO2017081925A1 (ja) * 2015-11-10 2017-05-18 ソニー株式会社 画像処理装置と画像処理方法
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Also Published As

Publication number Publication date
JP7399194B2 (ja) 2023-12-15
JPWO2021153472A1 (ja) 2021-08-05
US11982899B2 (en) 2024-05-14
US20220365391A1 (en) 2022-11-17
CN115039400A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
JP5463718B2 (ja) 撮像装置
JP4941332B2 (ja) 撮像装置
JP4483951B2 (ja) 撮像装置
JP6124079B2 (ja) 偏光カラー撮像装置
JP5929553B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2021172284A1 (ja) 撮像装置及び方法
JP5446521B2 (ja) 撮像装置
WO2014024500A1 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP4968527B2 (ja) 撮像装置
JP5310483B2 (ja) 撮像装置
CN103460703B (zh) 彩色摄像元件及摄像装置
CN113557709A (zh) 成像装置、图像处理装置和图像处理方法
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
CN113966605A (zh) 摄像装置
JP4866147B2 (ja) 画像シフト検出方法および装置および画像入力装置
CN114041085B (zh) 摄像装置
JP6692749B2 (ja) マルチスペクトルカメラ
WO2021153472A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN103460702B (zh) 彩色摄像元件及摄像装置
JP6843682B2 (ja) 撮像素子および撮像装置
WO2020213418A1 (ja) 撮像装置、信号処理装置、信号処理方法及び信号処理プログラム
JP2020120204A (ja) 画像処理装置、画像処理方法およびプログラム
JP2014026050A (ja) 撮像装置、画像処理装置
WO2023053767A1 (ja) データ処理装置、方法及びプログラム並びにマルチスペクトルカメラ
WO2023047794A1 (ja) 情報処理方法、情報処理装置、情報処理プログラム、及び情報処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21748214

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021574004

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21748214

Country of ref document: EP

Kind code of ref document: A1