WO2017002716A1

WO2017002716A1 - 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法

Info

Publication number: WO2017002716A1
Application number: PCT/JP2016/068775
Authority: WO
Inventors: 博之勢川; 英彦小笠原
Original assignee: 株式会社ソニー・インタラクティブエンタテインメント
Priority date: 2015-07-01
Filing date: 2016-06-24
Publication date: 2017-01-05
Also published as: JP6488203B2; JP2017016431A

Abstract

ステレオカメラ２１０は、自然光の画像と複数方位の偏光画像を同時に撮影する撮像装置１６０ａ、１６０ｂを左右に配置した構成を有する。画像処理装置２２０の画像データ取得部２２２は、自然光のステレオ画像と偏光成分のステレオ画像を取得する。感度差調整部２２４は、自然光のステレオ画像と偏光成分のステレオ画像の出力レベルをそれぞれ揃える。法線マップ生成部２２６は、偏光成分のステレオ画像に基づき被写体の法線ベクトルを画像平面に表した法線マップを生成する。デプスマップ生成部２２８は、自然光のステレオ画像と法線マップに基づき、被写体の撮像面からの距離を画像平面に表したデプスマップを生成する。出力データ生成部２３０は、デプスマップを利用するなどして出力データを生成する。

Description

画像処理装置、画像処理システム、多視点カメラ、および画像処理方法

　本発明は光学成分を選択的に取得する撮像素子を用いた画像データ取得技術に関する。

　偏光フィルタをセンサ上に搭載することにより被写体の偏光情報を取得する偏光カメラが実用化されている。偏光カメラを用いることにより、被写体の面方位の情報や透明な物の存在を取得できるため、物体識別や異物検知が容易となる。そのため製造ラインにおける検品装置や車載カメラなど、幅広い分野への応用が見込まれる（例えば特許文献１、２参照）。

特開２０１２－８００６５号公報特開２０１４－５７２３１号公報

　偏光カメラは、所定方向の偏光軸を有する偏光フィルタを通過した光を検出するという、光成分の取捨選択をする原理上、取得できる情報が限定的であり、自ずとその用途も限定される。一方、偏光カメラで取得できる面方位などの情報は、画像解析を必要とする各種情報処理においても有用であるため、そのような処理へ容易に応用できる技術が望まれている。

　本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影により、偏光情報を含む被写体の多様な情報を容易に取得できる技術を提供することにある。

　本発明のある態様は画像処理装置に関する。この画像処理装置は、被写体表面の法線に係る情報を取得する法線情報取得部と、被写体の撮像面からの距離を画像平面にマッピングしたデプスマップを取得し、法線に係る情報に基づき対応する位置におけるデータを補間して最終的なデプスマップを生成するデプスマップ生成部と、少なくとも最終的なデプスマップを用いて所定の処理を行い出力用の画像データを生成する出力データ生成部と、を備えることを特徴とする。

　本発明の別の態様は画像処理システムに関する。この画像処理システムは、多視点カメラと、その撮影画像のデータを取得し画像処理を行う画像処理装置を含む画像処理システムであって、多視点カメラは、同じ視野において撮影した自然光の画像と、複数方位の偏光成分の画像のデータを並行して出力する並列撮像装置を含む複数の撮像装置が既知の間隔で水平方向に配置され、画像処理装置は、多視点カメラから、少なくとも複数視点から撮影した自然光の画像と、一視点から撮影した偏光成分の画像のデータを取得する画像データ取得部と、少なくとも偏光成分の画像を利用して被写体表面の法線に係る情報を求める法線情報取得部と、複数視点から撮影した自然光の画像に基づき被写体の撮像面からの距離を求め、画像平面にマッピングしたデプスマップを生成するデプスマップ生成部と、少なくともデプスマップを用いて所定の処理を行い出力用の画像データを生成する出力データ生成部と、を備え、デプスマップ生成部は、法線情報取得部が求めた対応する位置における法線に係る情報に基づき、デプスマップに表される距離を補間することを特徴とする。

　本発明のさらに別の態様は多視点カメラに関する。この多視点カメラは、同じ視野において撮影した自然光の画像と、複数方位の偏光成分の画像のデータを並行して出力する並列撮像装置を含む複数の撮像装置が既知の間隔で水平方向に配置されたことを特徴とする。

　本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、被写体表面の法線に係る情報を取得するステップと、被写体の撮像面からの距離を画像平面にマッピングしたデプスマップを取得するステップと、法線に係る情報に基づき対応する位置におけるデータを補間して最終的なデプスマップを生成するステップと、少なくとも最終的なデプスマップを用いて所定の処理を行い出力用の画像データを生成し出力するステップと、を含むことを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

　本発明によると、撮影により偏光情報を含む被写体の多様な情報を容易に取得できる。

本実施の形態における撮像素子の概念図である。図１で示した構造の撮像素子における入射光の検出効率を説明するための図である。本実施の形態におけるワイヤグリッド型偏光子層に主軸角度の異なる複数の偏光子を近接させて配置したときのレイアウトの例を示す図である。本実施の形態の撮像素子の構造例を示す断面図である。本実施の形態におけるイメージセンサの構造の概略を示す図である。本実施の形態における、１単位の撮像素子における、第１光検出層および第２光検出層の単位画素列と、ワイヤグリッド型偏光子層における各主軸角度の偏光子の領域との関係を例示する図である。本実施の形態における撮像装置の機能ブロックを示す図である。本実施の形態において欠陥検出部および欠陥補正部が行う、偏光成分の欠陥検出および補正の処理を説明するための図である。本実施の形態において欠陥検出部および欠陥補正部が行う欠陥検出と補完の処理手順をより詳細に示すフローチャートである。本実施の形態における欠陥検出部によりデータに欠陥があると判定された場合に、状況の類型と推定される欠陥の原因を例示する図である。本実施の形態において生じ得る自然光データの位置依存性を説明するための図である。本実施の形態において自然光画像生成部が自然光のデータを調整する処理手順の例を示すフローチャートである。本実施の形態における、複数の単位画素列によって構成される、第２光検出層の画素の２次元配列を示す図である。本実施の形態における、偏光画像をカラー画像として取得するときの撮像素子の構造例を示す断面図である。図１４で示した第１光検出層および第２光検出層の単位画素列と、ワイヤグリッド型偏光子層における各チャンネルの偏光子の領域との関係を例示する図である。本実施の形態において、偏光画像をカラー画像として取得するときの撮像素子の構造の別の例を示す断面図である。図１６で示した第１光検出層および第２光検出層の単位画素列と、ワイヤグリッド型偏光子層における各チャンネルの偏光子の領域との関係を例示する図である。本実施の形態において、偏光画像をカラー画像として取得するときの撮像素子の構造の別の例を示す断面図である。図１８で示した第１光検出層および第２光検出層の単位画素列と、ワイヤグリッド型偏光子層における各チャンネルの偏光子の領域との関係を例示する図である。本実施の形態において、偏光成分をカラー情報として取得するイメージセンサを含む撮像装置の機能ブロックを示す図である。本実施の形態において、カラー画像生成部が自然光のカラー画像を生成する処理手順を示すフローチャートである。本実施の形態において、複数の単位画素列によって構成される、第２光検出層の画素の２次元配列を示す図である。本実施の形態の画像処理システムの構成例を示す図である。本実施の形態の画像処理システムの構成例を示す図である。本実施の形態において実際に撮影された左右の自然光の画像を比較する図である。本実施の形態の画像処理システムの構成例を示す図である。

　図１は本実施の形態における撮像素子の概念図である。撮像素子１０は第１光検出層１２、ワイヤグリッド型偏光子層１４、および第２光検出層１６を含む。第１光検出層１２は有機系の光電変換材料とそれを挟むように形成された透明電極を含み、一部の光を吸収して電荷を発生させ、残りの光を透過する構造を有する。ワイヤグリッド型偏光子層１４は、複数の線状の導体部材を入射光８の波長より小さい間隔でストライプ状に配列させた偏光子を含む。第２光検出層１６は、一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。

　第１光検出層１２側からの入射光８はまず、第１光検出層１２によりその一部が吸収され光電変換されるとともに残りが透過する。透過した光がワイヤグリッド型偏光子層１４に入射すると、偏光子のラインと平行な方位の偏光成分は反射し、垂直な偏光成分のみが透過する。そのように透過した偏光成分を、第２光検出層１６で検出する。一方、ワイヤグリッド型偏光子層１４で反射した成分は再び第１光検出層１２に入射し、その一部が吸収され光電変換される。このような構成により、第１光検出層１２では略無偏光の光、第２光検出層１６では特定方位の偏光成分、というように、同じ位置において２種類の光を検出できる。

　またワイヤグリッド型偏光子層１４の反射光を第１光検出層１２で吸収するため、入射光の検出効率に優れている。図２は、図１で示した構造の撮像素子における入射光の検出効率を説明するための図である。まず第１光検出層１２における入射光（矢印Ａ）の吸収率を４０％とすると、残りの６０％がワイヤグリッド型偏光子層１４に入射する（矢印Ｂ）。ワイヤグリッド型偏光子層１４における透過率を５０％とすると、第２光検出層１６に入射する光、および反射する光はどちらも、最初の入射光の６０％×５０％＝３０％である（矢印Ｃ、Ｄ）。

　このうち反射光（矢印Ｄ）は、第１光検出層１２で３０％×４０％＝１２％吸収される。結果として第１光検出層１２では、４０％＋１２％＝５２％が吸収されることになる。すなわちこの撮像素子の構造によれば、第１光検出層１２で５２％、第２光検出層１６で３０％の、合計８２％が検出対象となる。ここで、後述するようにワイヤグリッド型偏光子層１４による反射光をより集めやすいように第１光検出層１２の構造を工夫し、迷光の発生を１／１０程度に抑えれば、１００％に近い率で入射光を検出値に反映させることができる。

　偏光子を構成する導体の被覆率によってワイヤグリッド型偏光子層１４における透過率を調整し、例えば７０％とした場合、第１光検出層で４７％以上、第２光検出層で４２％が検出対象となり、上述と同じ構造でもさらに検出効率を増やすことができる。上述のとおり、本実施の形態の撮像素子は同じ位置で偏光／無偏光の情報を得ることができるが、異なる主軸角度（ストライプの方向）の複数の偏光子を近接させて配置すれば、ほぼ同じ位置で複数方位の偏光成分の情報をさらに取得できる。

　図３は、ワイヤグリッド型偏光子層１４に主軸角度の異なる複数の偏光子を近接させて配置したときのレイアウトの例を示している。同図はワイヤグリッド型偏光子層１４を俯瞰した状態を示しており、網掛けされたラインが偏光子を構成する導体（ワイヤ）である。なお点線の矩形はそれぞれ一主軸角度の偏光子の領域を表しており、点線自体は実際に形成されるものではない。図示する例では、主軸角度の異なる４つの偏光子が２行２列の４つの領域２０、２２、２４、２６にそれぞれ配置されている。

　図中、対角線上にある偏光子はその主軸角度が直交しており、隣り合う偏光子は４５°の差を有する。すなわち４５°おきの４つの主軸角度の偏光子を設けている。各偏光子はワイヤの方向の偏光成分を減衰させ、それに直交する方向の偏光成分を透過する。これにより、その下に設けた第２光検出層１６においては、ワイヤグリッド型偏光子層１４の４つの領域２０、２２、２４、２６に対応する各領域で、４５°おきの４方位の偏光情報を得ることができる。

　このような４つの主軸角度の偏光子配列をさらに縦方向、横方向に所定数、配列させ、各偏光子単位、あるいはそれより小さい単位を画素と対応づけて上下の層で光を検出すれば、略無偏光の画像と４種類の偏光成分の画像が得られることになる。以後、図３で示した４つの主軸角度の偏光子配列を１単位として説明する。

　図４は本実施の形態の撮像素子の構造例を断面図で表している。この撮像素子２８は、偏光情報として白黒（グレースケール）の画像を取得する。撮像素子２８は、第２光検出層１６、ワイヤグリッド型偏光子層１４、第１光検出層１２、オンチップレンズ３０を、検出結果を電気信号として転送するための多層配線層５８上にこの順で積層させ、支持基板６０を裏に貼り合わせた構造を有する。第１光検出層１２は、所定の波長帯の光を選択的に検出して光電変換を行う有機光電変換膜３８と、それに電圧を印加し信号電荷を取り出すための上部電極３６および下部電極４４、および無機絶縁膜４０を含む。

　下部電極４４は画素に対応する領域ごとに形成され、無機絶縁膜４０により互いに絶縁される。有機光電変換膜３８によって光電変換され生じた電荷を読み出すため、下部電極４４には多層配線層５８へ至る導電性プラグ５２が接続される。導電性プラグ５２を移動した電荷は図示しない電荷蓄積層に蓄積され、所定のタイミングで読み出される。上部電極３６は、図示しないコンタクトメタル層により多層配線層５８に接続され電圧が印加される。有機光電変換膜３８は所定の波長域の光を所定の割合で吸収して光電変換する一方、残りの光を透過させる。有機光電変換膜３８は例えばキナクリドン誘導体、ナフタレン誘導体、アントラセン誘導体、共役ポリマーなどで形成される。

　上部電極３６および下部電極４４は、光透過性を有する無機導電膜、例えばＩＴＯ（インジウム錫酸化物）、ＴＯ（酸化錫）などで構成する。無機絶縁膜４０は、例えば酸化シリコン、窒化シリコン、酸窒化シリコン（ＳｉＯＮ）などの材料を、画素に対応する下部電極４４とその上の有機光電変換膜３８の間に格子状に形成したものである。無機絶縁膜４０の内部には遮光層４２を形成する。図示するように、有機光電変換膜３８は遮光層４２間に落とし込むような形状で下部電極４４と接し、相対する領域の上部電極３６とともに凹みを有する井戸型の形状を有する。

　このような形状とすることで、上述のとおりワイヤグリッド型偏光子層１４から反射した光を効率的に集めて迷光を減らすことができる。遮光層４２は横方向からの光の入射を抑制する。遮光層４２は、例えばタングステン、チタン、アルミニウム、銅など、可視光に対して透過率の低い材料やその窒化膜を用いる。このような第１光検出層１２の上に、保護膜３４、平坦化層３２を介してオンチップレンズ３０を設ける。保護膜３４は光透過性を有する無機材料、例えば酸化シリコン、窒化シリコン、酸窒化シリコンなどにより形成する。

　平坦化層３２は光透過性を有する樹脂、例えばアクリル系樹脂、スチレン系樹脂、エポキシ系樹脂などにより形成する。ただし保護膜３４が平坦化層３２を兼ねてもよい。オンチップレンズ３０は、入射光を第１光検出層１２の各画素領域に集光させるものである。なお有機光電変換膜を用いて画像を取得する技術については、例えば特表２００２－５０２１２９号公報、特開２０１１－１９９１５２号公報、特開２０１３－１８３０５６号公報、特開２００７－５９５１５号公報などに開示されている。ただし本実施の形態では、赤、緑、青の波長帯を全て含む吸収波長帯を有する材料を選択してよい。

　すなわち可視光のより広範囲の波長帯を吸収する材料を用いるか、異なる吸収波長帯の材料を積層させることにより、輝度の情報が得られればよい。このような材料や構造は、特に太陽光発電の分野などでも実用化されており、材料によって吸収波長帯を制御する技術は上記文献などにおいても公知である。例えば、可視光の広い波長帯の光を吸収する材料として、特表２００２－５０２１２９号公報に開示されるポリチエニレンビニレン（ＰＴＶ）やポリビニルカルバゾール（ＰＶＫ）などのポリマーや、それらと有機分子を混合した材料などを用いることができる。また、当該膜における光の吸収率は、例えば特開２００７－５９５１５号公報に開示されるように、形成膜厚によって適宜制御する。

　第１光検出層１２の下層には、層間絶縁膜４６を介してワイヤグリッド型偏光子層１４を設ける。層間絶縁膜４６は酸化シリコン、窒化シリコン、酸窒化シリコンなどにより形成する。ワイヤグリッド型偏光子層１４は、酸化シリコンやアクリル系樹脂などの光透過性を有する層間膜５０に偏光子４８を埋設した構造を有する。偏光子４８は図３に示すように、上面から見たとき、領域によってその方向が異なるストライプ状の配列を有する。図４は、例えば図３の一点鎖線Ａ－Ａ’における断面を示しており、黒の塗り潰しで示したように、図の左側の領域では複数のワイヤ断面が、右側の領域では１つのワイヤの側面が見えている。

　偏光子４８は、例えば厚さ１００ｎｍ、幅５０ｎｍの線状のアルミニウムを１５０ｎｍ間隔で配列させて形成する。このように光を透過しない線状の材料を入射光の波長より小さい間隔で配列させて偏光子４８を形成することにより、偏光子４８と直交する方向の偏光成分が透過する。また偏光子４８で反射した光は第１光検出層１２に入射する。ワイヤグリッド型偏光子層１４の下層には、上述したのと同様の材料の層間絶縁膜４６を介して第２光検出層１６を設ける。ここで層間絶縁膜４６は遮光層４２を含み、第２光検出層１６への横方向からの光の入射を抑制する。

　第２光検出層１６は、シリコン基板５６に、各画素に対応させて光電変換素子５４を埋設した構造を有する。なお同図では、一主軸角度の偏光子４８に対し、第１光検出層１２の画素に対応する下部電極４４と、第２光検出層１６の画素に対応する光電変換素子５４を、どちらも横方向に２つずつ設けている。図の奥行き方向にも同様に２つずつ設けるとすると、一主軸角度の偏光子４８に対し、第１光検出層１２と第２光検出層１６の画素が４つずつ設けられることになる。

　ただし第１光検出層１２の１画素の領域と第２光検出層１６の１画素の領域は面積が異なっていてもよい。また偏光情報としてカラー画像を取得する場合は、後述するように、第２光検出層１６の上層にカラーフィルタを設け、各色に対し光電変換素子を設ける。図示するような撮像素子２８を、図の横方向および奥行き方向にマトリクス状に並べ光検出のタイミングを制御する周辺回路を接続することにより、複数種類の光の情報を２次元データとして同時に取得するイメージセンサを構成できる。なおワイヤグリッド型偏光子を用いて画像を取得する技術については、例えば特開２０１２－８００６５号公報などに開示されている。

　電荷の読み出しのための周辺回路の構成は一般的なイメージセンサと同様でよい。ただし、第１光検出層１２の検出値を画素値とする画像と第２光検出層１６の検出値を画素値とする画像の２つを並行して読み出すため、同様の周辺回路を２つ設ける。図５は本実施の形態におけるイメージセンサの構造の概略を示している。イメージセンサ１７０は画素部１７２と、周辺回路としての行走査部１７４、水平選択部１７６、列走査部１８０、制御部１７８を含む。画素部１７２は図４で示したような１単位の撮像素子２８をマトリクス状に配列させてなる。

　本実施の形態では、第１光検出層１２からは、被写空間からの入射光およびワイヤグリッド型偏光子層１４からの反射光の合計を示す電荷が、第２光検出層１６からは、各方位の偏光成分を示す電荷が、画素に対応する電極単位でそれぞれ読み出される。同図では読み出しのための２つの周辺回路のうち一方を代表させて示している。光電変換により発生し電荷蓄積層に蓄積された電荷を読み出すための、トランジスタ等既存の機構を含む各画素は、行ごとに行走査部１７４、列ごとに水平選択部１７６および列走査部１８０に接続されている。行走査部１７４はシフトレジスタやアドレスコードなどによって構成され各画素を行単位で駆動する。

　行走査部１７４によって選択走査された画素から出力される信号は水平選択部１７６に供給される。水平選択部１７６は、アンプや水平選択スイッチなどによって構成される。列走査部１８０はシフトレジスタやアドレスデコーダなどによって構成され、水平選択部１７６の各水平選択スイッチを操作しつつ順番に駆動する。列走査部１８０による選択走査により、水平選択部１７６に供給された各画素からの信号が外部へ出力される。制御部１７８は、タイミング信号を生成し、水平選択部１７６および列走査部１８０などの駆動タイミングを制御する。

　図示するような周辺回路を、第１光検出層１２からの信号読み出し用と第２光検出層１６からの信号読み出し用の２つ設けることにより、それらに基づく２種類の画像の出力フレームレートを独立に制御することができる。例えば、第１光検出層１２からの画像のフレームレートを、第２光検出層１６からの画像のフレームレートより小さくする。具体的には後者を６０ｆｐｓとしたとき前者を３０ｆｐｓなどとする。このようにすると、第１光検出層１２により発生した電荷の蓄積時間を第２光検出層１６より長くでき、第１光検出層１２の感度を向上させることができる。

　上述のように、第１光検出層１２から第２光検出層１６側へ透過する光の割合は、有機光電変換膜３８の膜厚を調整することにより制御される。この透過率を十分確保するために有機光電変換膜３８の膜厚を薄くすると、自ずと第１光検出層１２における検出感度が下がる。第１光検出層１２からの画像のフレームレートを第２光検出層１６と独立に、かつ有機光電変換膜３８の膜厚や材料に応じて適切に制御することにより、第１光検出層１２における光の透過率と検出感度を両立させることができる。

　また本実施の形態において第１光検出層１２は、信号読み出しのための多層配線層５８までの層間距離が大きいため、第２光検出層１６と比較し動作速度の制限が厳しくなる。その観点においても、両者からの画像のフレームレートを独立に制御することにより、第２光検出層１６からの画像の出力レートを十分に確保しつつ、第１光検出層１２からの画像を無理なく出力する態様を実現できる。このことは、後述するように一般的なカラー画像の撮像装置と組み合わせて画像処理システムを構築する場合には特に有効である。

　図６はこれまで述べた１単位の撮像素子における、第１光検出層１２および第２光検出層１６の単位画素列と、ワイヤグリッド型偏光子層１４における各主軸角度の偏光子の領域との関係を例示している。同図（ａ）は第１光検出層１２の単位画素列、（ｂ）はワイヤグリッド型偏光子層１４における各主軸角度の偏光子の配列、（ｃ）は第２光検出層１６の単位画素列である。この例では上述のとおり、第１光検出層１２および第２光検出層１６のどちらも、各主軸角度の偏光子に対し２行２列の４つの画素を設けている。

　第１光検出層１２は略無偏光の成分の光を検出する。ここで上述のように、より広い波長帯の光を吸収する材料または構造を用いれば、（ａ）の単位画素列をさらに並べた全画素配列により、一般的な輝度画像に近い画像が得られる。第２光検出層１６は、偏光子を透過した偏光を検出するため、対応する領域の偏光子の主軸角度に依存して、異なる偏光成分の情報が得られる。すなわち（ｃ）の単位画素列のうち、それぞれ４つの画素からなる画素ブロック８２ａ、８２ｂ、８２ｃ、８２ｄにおいて、異なる方位の偏光成分が検出される。結果として、（ｃ）の単位画素列をさらに並べた全画素配列により、異なる偏光成分の白黒画像が画素ブロック単位で交互に表れる画像が得られる。

　図７は、上記イメージセンサ７０を含む、本実施の形態の撮像装置の機能ブロックを示している。図７および後述する図２０、２３、２４、２６に示す各機能ブロックは、ハードウェア的には、撮像素子、各種演算回路、マイクロプロセッサ、ＣＰＵ、メモリなどの構成で実現でき、ソフトウェア的には、メモリに格納された、または記録媒体からメモリに読み出されたプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

　撮像装置１００は、画素のマトリクスを含むイメージセンサ７０、各光検出層の感度の差に基づきデータを調整する感度差調整部７５、データの欠陥を検出する欠陥検出部７８、欠陥があった場合にデータを補う欠陥補正部７６、自然光画像を生成する自然光画像生成部８４、偏光成分画像を生成する偏光画像生成部８６を含む。イメージセンサ７０は図５のイメージセンサ７０に対応し、図４で示したような１単位の撮像素子の２次元配列と周辺回路により構成される。上述のとおり１単位の撮像素子は第１光検出層１２、第２光検出層１６が含まれ、前者からは略無偏光の光（以後、「自然光」と呼ぶ）の情報が、後者からは複数方位の偏光成分の情報が得られる。

　図７のイメージセンサ７０のうち自然光データ取得部７２および偏光データ取得部７４はそれぞれ、第１光検出層１２および第２光検出層１６が検出した値を、例えばラスタ順など所定の画素順で感度差調整部７５に出力する。第１光検出層１２と第２光検出層１６は、その材料や構造が異なるため、同じ光の強度であっても感度の違いにより検出値のスケールが異なる可能性が高い。そこで感度差調整部７５は、後段の処理において両者の比較や加算を正しく行えるようにスケールを揃える。

　具体的には、自然光の検出値Ｏ（ｘ，ｙ）に係数ｋ（ｘ，ｙ）を乗算することにより、スケールを偏光成分の検出値に合わせた自然光の換算値Ｏｃｏｎ（ｘ，ｙ）を次のように算出する。
　Ｏｃｏｎ（ｘ，ｙ）＝ｋ（ｘ，ｙ）×Ｏ（ｘ，ｙ）
ここで（ｘ，ｙ）は画素の２次元配列の座標である。係数ｋ（ｘ，ｙ）は、撮像装置１００の運用前または初期のキャリブレーションによりデフォルト値を次のように決定される。まず視野全体を占めるグレーの被写体を、無偏光光源により光を均一に照射した状態で撮影する。そしてそのときの自然光のデータの換算値が第２光検出層１６の検出値と一致するように係数ｋ（ｘ，ｙ）を決定する。

　すなわち、このとき第１光検出層１２による自然光の検出値Ｏｉｎ（ｘ，ｙ）と第２光検出層１６による偏光成分の検出値Ｓｉｎ（ｘ，ｙ）が得られたとすると、次の式を満たすようにｋ（ｘ，ｙ）を算出する。
　Ｓｉｎ（ｘ，ｙ）＝ｋ（ｘ，ｙ）×Ｏｉｎ（ｘ，ｙ）
ここで係数ｋ（ｘ，ｙ）が画像全体で所定範囲内にある場合は、係数ｋを画素の位置座標によらない定数としてもよい。例えば偏光成分の検出値Ｓｉｎ（ｘ，ｙ）の画像全体の総和を自然光の検出値Ｏｉｎ（ｘ，ｙ）の画像全体の総和で除算することにより定数ｋを決定してもよい。

　感度差調整部７５は、このようにして設定されている係数ｋを、イメージセンサ７０の自然光データ取得部７２から出力された自然光の検出値に乗算することにより、そのスケールを偏光成分の検出値に揃えたあと、両者を欠陥検出部７８および欠陥補正部７６に出力する。欠陥検出部７８は、検出値に欠陥（異常値）がある場合、それを検出する。例えば偏光成分のデータにおいては、方位が直交する２種類の偏光成分の和は元の自然光を表す。そこで、図６の（ｃ）で示した単位画素列から得られる４方位の偏光成分の検出値のうち、２組の直交する偏光成分の検出値同士を足し合わせ互いに比較する。両者は本来、自然光を表す同程度の値を示すため、差が大きければいずれかの検出値に欠陥があると判定できる。

　自然光のデータについても、近接する位置では本来は検出値が同等であることに基づき、単位画素列のうち対角線上にある画素ブロックの値を足し合わせ互いに比較することにより、同様の基準で欠陥を検出できる。欠陥補正部７６は、欠陥検出部７８が欠陥を検出した場合、周囲の画素のデータに基づき欠陥を補完する。このとき偏光成分のデータについては同じ位置の自然光のデータを、自然光のデータについては同じ位置の偏光成分のデータを活用することにより欠陥の原因を推定し、適切な補完処理を行う。

　一方、欠陥検出部７８が欠陥を検出しない場合、欠陥補正部７６は、感度差調整部７５から取得した自然光および偏光成分のデータをそのまま自然光画像生成部８４に出力する。自然光画像生成部８４は、自然光の換算値と偏光成分の検出値に基づき、最終的に出力すべき自然光の輝度画像を生成する。基本的には自然光の検出値に上述の係数ｋを乗算してなる換算値と偏光成分の検出値を足し合わせることにより、元来の入射光強度を復元する。ただし自然光のデータの位置依存性を考慮し、データをさらに調整してもよい。具体的な手法は後述する。

　自然光画像生成部８４は、生成した自然光の画像のデータを、撮像装置１００に接続した記憶装置や画像処理装置などに適宜出力する。また自然光画像生成部８４は、欠陥補正部７６から取得した偏光成分の検出値と、生成した自然光の輝度画像のデータとを、偏光画像生成部８６に出力する。偏光画像生成部８６は、それらのデータを用いて最終的に出力する各方位の偏光画像を生成する。

　具体的には、偏光子の配置に依存して離散的に求められている各方位の偏光成分の検出値を補間する。このとき、自然光の輝度画像の高周波成分を加算することにより、高周波成分が表す画像のディテールも復元する。偏光画像生成部８６は、生成した偏光画像のデータを、撮像装置１００に接続した記憶装置や画像処理装置に適宜出力する。

　図８は、欠陥検出部７８および欠陥補正部７６が行う、データの欠陥検出および補正の処理を説明するための図である。同図左は１単位の撮像素子に含まれるワイヤグリッド型偏光子層１４の単位偏光子列１０２、同図右は偏光成分を検出する第２光検出層１６の単位画素列１０４である。なお単位画素列１０４には後述する説明のために、その周辺の画素も点線で示している。

　ここで単位偏光子列１０２のうち、図の縦軸から４５°の傾きを有する左上の偏光子による偏光成分を１チャンネル（１ｃｈ）、９０°の傾きを有する右上の偏光子による偏光成分を２チャンネル（２ｃｈ）、１３５°の傾きを有する右下の偏光子による偏光成分を３チャンネル（３ｃｈ）、１８０°の傾きを有する左下の偏光子による偏光成分を４チャンネル（４ｃｈ）と呼ぶ。図示する単位画素列１０４の場合、各チャンネルに対し、２行２列の４つの画素で偏光成分を検出する。

　以後の説明では、各チャンネルの画素に対し、左上から時計回りに１、２、３、４と識別番号を与え、（チャンネル番号，識別番号）の表記により、単位画素列１０４に含まれる１６個の画素を識別する。上述したように直交する偏光成分の和は元の自然光を表すことに着目すると、方位が直交する１チャンネルおよび３チャンネルの検出値の和は、２チャンネルと４チャンネルの検出値の和と同程度の値を示すことになる。そこで両者を比較し、差が大きければ欠陥があると判定する。

　まず各画素の偏光成分の検出値をＳ（チャンネル番号，識別番号）とし、各チャンネルの検出値の合計Ｓｓｕｍ（チャンネル番号）を次のように算出する。
Ｓｓｕｍ（１）＝Ｓ（１，１）＋Ｓ（１，２）＋Ｓ（１，３）＋Ｓ（１，４）
Ｓｓｕｍ（２）＝Ｓ（２，１）＋Ｓ（２，２）＋Ｓ（２，３）＋Ｓ（２，４）
Ｓｓｕｍ（３）＝Ｓ（３，１）＋Ｓ（３，２）＋Ｓ（３，３）＋Ｓ（３，４）
Ｓｓｕｍ（４）＝Ｓ（４，１）＋Ｓ（４，２）＋Ｓ（４，３）＋Ｓ（４，４）

　そして同図実線矢印で示す、方位が直交するチャンネルの偏光成分の検出値の総和Ｓｓｕｍ（１）＋Ｓｓｕｍ（３）と、Ｓｓｕｍ（２）＋Ｓｓｕｍ（４）との差ΔＳが所定のしきい値を超えた場合、欠陥検出部７８はいずれかのチャンネルに欠陥があると判定する。自然光のデータの場合、偏光子から反射する偏光成分の全体に対する寄与が小さいため、チャンネル依存性は比較的少ないが、そもそも近接する位置では値が大きく変化しないことを考慮すれば、偏光成分の検出値と同様の計算により欠陥を判定できる。なお以後の説明では、自然光のデータについても各チャンネルに対応する領域を「チャンネル」と呼ぶ。

　各チャンネルに対応する画素ブロックの４つの画素における自然光の換算値の合計をＯｓｕｍ（チャンネル番号）としたとき、対角線上にある画素ブロックの自然光の換算値の総和Ｏｓｕｍ（１）＋Ｏｓｕｍ（３）と、Ｏｓｕｍ（２）＋Ｏｓｕｍ（４）との差ΔＯが所定のしきい値を超えた場合、欠陥検出部７８はいずれかのチャンネルに欠陥があると判定する。

　これに応じて欠陥補正部７６は、Ｎをチャンネル番号としたとき、偏光成分の検出値のチャンネルごとの合計Ｓｓｕｍ（Ｎ）と自然光の換算値のチャンネルごとの合計Ｏｓｕｍ（Ｎ）を確認し、欠陥有りと判定されたデータのうち欠陥のあるチャンネルを特定するとともに、それを補完する値を決定する。図９は、欠陥検出部７８および欠陥補正部７６が行う欠陥検出と補完の処理手順をより詳細に示すフローチャートである。同図の処理は、図８で示した単位画素列ごとに実行される。まず欠陥補正部７６は、上述のΔＳがしきい値Ｔｈ１を越えているか否かを確認し、越えていなければ偏光成分について当該単位画素列に欠陥がないと判定する（Ｓ１０のＮ、Ｓ１６）。

　ΔＳがしきい値を越えていても（Ｓ１０のＹ）、当該単位画素列が画像としてエッジ部分を含む場合は欠陥がないと判定する（Ｓ１２のＹ、Ｓ１６）。被写体の像の輪郭などを表すエッジ部分は定性的に画素値が急激に変化するため、ΔＳが部分的に大きくなることがあり得るためである。この判定のため、欠陥補正部７６は、偏光成分の検出値の２次元配列に対し、一般的な手法によりエッジを検出する。ΔＳがしきい値を越え（Ｓ１０のＹ）、当該単位画素列がエッジ部分を含まない場合（Ｓ１２のＮ）、欠陥検出部７８は、偏光成分について単位画素列内に欠陥があると判定する（Ｓ１４）。

　自然光の換算値についても同様の判定を行う。すなわち上述のΔＯがしきい値Ｔｈ１を越えているか否かを確認し、越えていなければ自然光について当該単位画素列に欠陥がないと判定する（Ｓ１８のＮ、Ｓ２４）。ΔＯがしきい値を越えていても（Ｓ１８のＹ）、当該単位画素列が画像としてエッジ部分を含む場合は欠陥がないと判定する（Ｓ２０のＹ、Ｓ２４）。この判定のため、欠陥補正部７６は自然光の換算値の２次元配列に対してもエッジを検出する。ΔＯがしきい値を越え（Ｓ１８のＹ）、当該単位画素列がエッジ部分を含まない場合（Ｓ２０のＮ）、欠陥検出部７８は、自然光について単位画素列内に欠陥があると判定する（Ｓ２２）。

　欠陥検出部７８により、偏光成分および自然光のデータのどちらにも欠陥がないと判定されたら、欠陥補正部７６は、当該単位画素列の値をそのまま自然光画像生成部８４に出力する（Ｓ２６のＮ）。偏光成分および自然光のデータの少なくともいずれかに欠陥があると判定されたら（Ｓ２６のＹ）、欠陥補正部７６は、偏光成分の検出値と自然光の換算値を、同じチャンネルごとに比較することにより、欠陥が生じているチャンネルを特定する（Ｓ２８）。

　定性的には、偏光成分の検出値の合計Ｓｓｕｍ（Ｎ）と、自然光の換算値の合計Ｏｓｕｍ（Ｎ）の差がしきい値Ｔｈ２以上のチャンネルＮに欠陥が含まれると判定する。そして欠陥補正部７６は、偏光成分の検出値の合計Ｓｓｕｍ（Ｎ）と自然光の換算値の合計Ｏｓｕｍ（Ｎ）の差の生じ方、および周辺の単位画素列における値などの状況を考慮し、欠陥が含まれるチャンネルＮに適切な値を代入して補完する（Ｓ３０）。そして補完後のデータを自然光画像生成部８４に出力する。

　図１０は、欠陥検出部７８により偏光成分および自然光のデータの少なくともいずれかに欠陥があると判定された場合に、同じチャンネルで両者を比較したときの状況の類型と、推定される欠陥の原因を例示している。前提として偏光成分の検出値（「Ｓ」と表記）および自然光の換算値（「Ｏ」と表記）の少なくともどちらかに欠陥があり、チャンネルごとに光成分の検出値の合計と自然光の換算値の合計を比較した結果、あるチャンネルＮでその差｜Ｓｓｕｍ（Ｎ）－Ｏｓｕｍ（Ｎ）｜がしきい値Ｔｈ２を超えていたため、当該チャンネルＮに欠陥があると判定されている、とする。

　図中、各類型Ａ１～Ｄの下の模式図は撮像素子の断面を示し、網掛けした矩形が偏光子、その上の点線が自然光を検出する面、下が偏光成分を検出する面、矢印が光の入射を表している。まず類型Ａ１は、欠陥がＳまたはＯの少なくともどちらかであり、欠陥のあるチャンネルの自然光の換算値の合計Ｏｓｕｍ（Ｎ）が周囲の所定位置の自然光の換算値の合計Ｏｓｕｍ（Ｎ’）より小さく、欠陥のあるチャンネルの偏光成分の検出値の合計Ｓｓｕｍ（Ｎ）が周囲の所定位置あるいは直近の同じチャンネルの検出値の合計Ｓｓｕｍ（Ｎ’）より大きい場合である。

　この場合、偏光子の一部が正しく機能せず多くの成分が透過している「偏光度不良」が欠陥の原因であると推定される。類型Ａ２は類型Ａ１と同様であるが、Ｏｓｕｍ（Ｎ）がＯｓｕｍ（Ｎ’）より著しく小さく、Ｓｓｕｍ（Ｎ）がＳｓｕｍ（Ｎ’）より著しく大きい場合である。この場合、偏光子が全く機能せず全偏光成分が透過している「全透過」が欠陥の原因であると推定される。なお類型Ａ１とＡ２は実際には、Ｏｓｕｍ（Ｎ’）－Ｏｓｕｍ（Ｎ）とＳｓｕｍ（Ｎ）－Ｓｓｕｍ（Ｎ’）にしきい値を設けるなどして区別する。

　類型Ｂは、欠陥がＳにあり、Ｏｓｕｍ（Ｎ）は周囲のＯｓｕｍ（Ｎ’）と同程度である一方、Ｓｓｕｍ（Ｎ）が０と見なせる値の場合である。この場合、偏光子において透過も反射もしていないか、偏光成分の検出機構が機能していないため、偏光成分（偏光画像）の「黒潰れ」が欠陥の原因であると推定される。類型Ｃは、欠陥がＳまたはＯの少なくともどちらかであり、Ｏｓｕｍ（Ｎ）は周囲のＯｓｕｍ（Ｎ’）より著しく大きく、Ｓｓｕｍ（Ｎ）が０と見なせる値の場合である。この場合、入射光が偏光子により「全反射」していることが欠陥の原因であると推定される。

　類型Ｄは、欠陥がＳまたはＯの少なくともどちらかであり、欠陥のあるチャンネルとその周囲の自然光の換算値の合計Ｏｓｕｍ（Ｎ，Ｎ’）が全体的に、さらにその周囲の自然光の換算値の合計Ｏｓｕｍ（Ｎ”）より大きく、偏光成分の検出値の合計Ｓｓｕｍ（Ｎ）が周囲あるいは直近の同じチャンネルの検出値の合計Ｓｓｕｍ（Ｎ’）より小さい場合である。この場合、偏光子によって入射光が「拡散」していることが欠陥の原因と推定される。このように欠陥補正部７６は、自然光のデータと偏光成分のデータを相互に参照し、かつ周囲の値との比較結果を考慮することで、欠陥の原因を推定し、それに応じた補完手法を適宜選択できる。

　補完にあたっては、同じ種類のデータのうち近傍の位置で得られた値を代入したり、推定原因によっては、欠陥が偏光成分であれば同じ位置の自然光の値を、自然光であれば同じ位置の偏光成分の値を、代入したりすることが考えられる。あるいはそれらを組み合わせて代入する値を決定してもよい。同じ種類のデータを用いる場合、次のような手法が考えられる。

　例えば偏光成分の１チャンネルに欠陥が検出された場合、上記の直交関係を利用して、当該チャンネルの検出値の合計の適正値Ｓｓｕｍ’（１）を次のように求める。
　Ｓｓｕｍ’（１）＝Ｓｓｕｍ（２）＋Ｓｓｕｍ（４）－Ｓｓｕｍ（３）
そしてこのチャンネルに含まれる４つの画素に、Ｓｓｕｍ’（１）／Ｓｓｕｍ（１）を乗算することで、各画素の適正値を決定する。自然光の換算値の補完についても同様の計算式を用いることができる。

　なおチャンネルごとの適正値は、隣接する別の単位画素列におけるデータを利用して決定してもよい。例えば偏光成分の１チャンネルに欠陥が検出された場合、図８の点線で記載された、隣接する単位画素列の３チャンネルの偏光成分の検出値との和（図中、点線矢印）も、その近傍の２チャンネルおよび４チャンネルの偏光成分の検出値の和とほぼ等しくなる。すなわち次の式が成り立つ。
　Ｓｓｕｍ（１）≒Ｓｓｕｍ（２）＋Ｓｓｕｍ（４）－Ｓｓｕｍ（３）
　Ｓｓｕｍ（１）≒Ｓｓｕｍ＿ｌ（２）＋Ｓｓｕｍ＿ｕ（４）－Ｓｓｕｍ＿ｕｌ（３）
　Ｓｓｕｍ（１）≒Ｓｓｕｍ（２）＋Ｓｓｕｍ＿ｕ（４）－Ｓｓｕｍ＿ｕ（３）
　Ｓｓｕｍ（１）≒Ｓｓｕｍ＿ｌ（２）＋Ｓｓｕｍ（４）－Ｓｓｕｍ＿ｌ（３）

　ここでＳｓｕｍ＿ｕｌ（３）は対象単位画素列１０４の左上の単位画素列の３チャンネル、Ｓｓｕｍ＿ｕ（３）、Ｓｓｕｍ＿ｕ（４）はそれぞれ、対象単位画素列１０４の上の単位画素列の３チャンネル、４チャンネル、Ｓｓｕｍ＿ｌ（２）、Ｓｓｕｍ＿ｌ（３）はそれぞれ、対象単位画素列１０４の左の単位画素列の２チャンネル、３チャンネルの偏光成分の検出値の合計である。この関係を利用し、偏光成分の合計の適正値Ｓｓｕｍ’（１）を、上記４式の右辺の合計を４で割った値としてもよい。他のチャンネルでも同様の計算で値を補うことができる。

　自然光画像生成部８４は、必要に応じて上記のとおり補完されたデータを用いて自然光の輝度画像を生成する。この処理は、自然光の検出値と偏光成分の検出値の線形和を画素ごとに算出することを基本とする。すなわち輝度Ｙ（ｘ，ｙ）を次のように算出する。
　Ｙ（ｘ，ｙ）＝ｋ（ｘ，ｙ）×Ｏ（ｘ，ｙ）＋Ｓ（ｘ，ｙ）
ここで係数ｋ（ｘ，ｙ）は、感度差調整部７５において自然光の換算値を求める際に用いた係数ｋ（ｘ，ｙ）でよく、この場合、輝度Ｙ（ｘ，ｙ）は次のように求められる。
　Ｙ（ｘ，ｙ）＝Ｏｃｏｎ（ｘ，ｙ）＋Ｓ（ｘ，ｙ）

　あるいは自然光画像生成部８４は、輝度Ｙ（ｘ，ｙ）を次のように算出してもよい。
　Ｙ（ｘ，ｙ）＝ｋ（ｘ，ｙ）×Ｏ（ｘ，ｙ）
この場合、実際の自然光データの位置依存性を考慮し、画像ムラがなくなるように係数ｋを調整してもよい。図１１は、自然光データの位置依存性を説明するための図である。第１光検出層１２が検出する光にはワイヤグリッド型偏光子層１４からの反射光成分が含まれる。この反射光は偏光子を透過しない成分、すなわち第２光検出層１６の検出対象の偏光方位と直交する方位の偏光成分である。

　図１１は、第１光検出層１２が検出する光の強度分布１１０および第２光検出層１６が検出する光の強度分布１１２を、偏光子の主軸角度を横軸として表している。なお強度分布１１０、１１２を表す正弦波は主軸角度を連続的に変化させたときの定性的な変化を表しており、実際には横軸に数字で表されるチャンネル番号に対応する値が離散的に得られる。第２光検出層１６で検出される光の強度分布１１２は、偏光子の主軸角度に依存するため、撮像素子への入射光の強度が同じであっても上述のチャンネル１、２、３、４に対し図示するように変化する。

　当然、偏光子を透過せずに反射する残りの成分の強度分布も当該偏光子の主軸角度に依存する。その分を１／３程度含むことにより、第１光検出層１２が検出する光の強度分布１１０には図示するような位置依存が生じる。偏光成分の検出値との線形和により輝度Ｙを算出する場合は、キャリブレーションにより係数ｋ（ｘ，ｙ）を画素ごとに適切に設定することにより、このような位置依存性は原則的にはキャンセルされる。一方、偏光成分の検出値を加算しない場合は、実際のデータにおいて位置依存性の有無を確認し、それに応じてデータを調整する。

　例えば、自然光の換算値のうち、同じ単位画素列に含まれる４つのチャンネルの画素の換算値をそれぞれ平均し比較することにより、位置依存性の有無を確認する。そして必要に応じて自然光の換算値をさらに調整する。図１２は、自然光画像生成部８４が自然光のデータを調整する処理手順の例を示すフローチャートである。なお上述と同様、（チャンネル番号，チャンネル内での識別番号）の表記で単位画素列内の画素を識別する。まず、チャンネルごとに自然光の換算値の平均値Ｏａｖｅ（チャンネル番号）を次のように求める。（Ｓ４０）。

　そして値に差が出やすい、方位が直交するチャンネル同士で平均値を比較する。すなわちＯａｖｅ（１）とＯａｖｅ（３）、Ｏａｖｅ（２）とＯａｖｅ（４）をそれぞれ比較する（Ｓ４２）。それらの差がどちらも所定のしきい値Ｔｈ３を超えなければ（Ｓ４２のＮ）、当該単位画素列については位置依存性がないと判定し、換算値Ｏｃｏｎをそのまま輝度Ｙとして採用する（Ｓ４６）。また、差がしきい値を超えていても、単位画素列がエッジ部分を含んでいれば、当該エッジに起因した差である可能性が高いため、換算値Ｏｃｏｎをそのまま輝度Ｙとして採用する（Ｓ４２のＹ、Ｓ４４のＹ、Ｓ４６）。

　単位画素列がエッジ部分を含むか否かの判定は、欠陥検出部７８が欠陥を検出する際に求めた結果を流用してよい。どちらかの平均値の差がしきい値を超え（Ｓ４２のＹ）、当該単位画素列がエッジ部分を含まない場合は（Ｓ４４のＮ）、偏光子からの反射成分により位置依存性が生じている可能性が高いため、それを打ち消すように値を調整する（Ｓ４８）。例えば１チャンネルおよび３チャンネルの平均値の差｜Ｏａｖｅ（１）－Ｏａｖｅ（３）｜がしきい値Ｔｈ３を超えていたら、Ｏａｖｅ（１）とＯａｖｅ（３）が両者を平均化した値となるようにする。

　具体的には１チャンネルおよび３チャンネルの自然光の各画素の換算値に、さらに次の調整係数ｋｃｒを乗算し輝度Ｙとする。
　ｋｃｒ（１）＝（Ｏａｖｅ（１）＋Ｏａｖｅ（３））／Ｏａｖｅ（１）
　ｋｃｒ（３）＝（Ｏａｖｅ（１）＋Ｏａｖｅ（３））／Ｏａｖｅ（３）
２チャンネルの平均値Ｏａｖｅ（２）および４チャンネルの平均値Ｏａｖｅ（４）の差がしきい値Ｔｈ３を超えていても同様の式により調整係数ｋｃｒ（２）、ｋｃｒ（４）を求め、各画素の換算値に乗算し輝度Ｙとする。

　自然光画像生成部８４はこのような位置依存性確認および必要に応じた調整処理を、単位画素列ごとに行う。なお撮像装置１００で動画撮影を行う場合、位置依存性確認および必要に応じた調整処理はフレームレートより低い頻度で行い、一旦算出した調整係数ｋｃｒを複数のフレームにわたり流用するようにして処理の負荷を軽減させてもよい。自然光画像生成部８４は、必要に応じて算出した調整係数ｋｃｒを乗算するか、あるいは自然光の換算値と、同じ位置の偏光成分の検出値との和をとることにより、最終的な輝度画像の画素値として出力する。

　一方、偏光画像生成部８６は、偏光成分の検出値に基づき、４チャンネル分の偏光画像のデータを生成する。図１３は、複数の単位画素列によって構成される、第２光検出層１６の画素の２次元配列を示している。同図太線は単位画素列の境界であり、数字で示された１～４チャンネルにそれぞれ４つの画素を備える構成を有する。ここで１チャンネルの画素を例にとると、その画素ブロックは、網掛けで示したように他のチャンネルの画素ブロックを挟むように離散的な配置となる。その他のチャンネルも同様である。そこで偏光画像生成部８６は画素値を補間し、各チャンネルについて隙間のない偏光画像のデータを作成する。

　補間処理には最近傍補間、バイリニア補間、バイキュービック補間など既存の補間技術を適宜応用する。ただしこのような補間をしたのみでは、単位画素列内のチャンネルの配置に依存して画素の位相がずれている。そこで偏光画像生成部８６は、同一単位画素列内にある４チャンネル分の画素が、最終的な各チャンネルの偏光画像において同じ位置に表れるように画素の位置を調整する。具体的には、１チャンネルの画像を右方向に１画素分、下方向に１画素分ずらす。２チャンネルの画像を左方向に１画素分、下方向に１画素分ずらす。３チャンネルの画像を左方向に１画素分、上方向に１画素分ずらす。４チャンネルの画像を右方向に１画素分、上方向に１画素分ずらす。

　さらに上述のように、自然光画像生成部８４が生成した輝度画像を用いて、エッジ部分などにおける細かい変化が表現されるようにする。このため偏光画像生成部８６は、ハイパスフィルタにより当該輝度画像から高周波成分ｈｆ＿Ｙ（ｘ，ｙ）を抽出する。そしてエッジ部分を含む画素についてはｈｆ＿Ｙ（ｘ，ｙ）を画素値に加算する処理を、上記のように得た４チャンネル分の偏光画像全てに施すことにより、最終的な偏光画像を生成し出力する。なおここでのエッジ部分の特定も、欠陥検出部７８が欠陥を検出する際に求めた結果を流用してよい。

　これまで述べた例では白黒画像を基本としていたが、第２光検出層１６の上層にカラーフィルタを設けるなどして複数色の偏光情報を取得してもよい。図１４は、偏光画像をカラー画像として取得するときの撮像素子の構造例を断面図で表している。なお図４で示した撮像素子２８と同じ構成には同じ符号を付している。撮像素子１２８は、図４で示した撮像素子２８のワイヤグリッド型偏光子層１４とその下の層間絶縁膜４６の間にカラーフィルタ層１３０を設けた構造を有する。また同図の例では、主軸角度の異なる各チャンネルに対し第１光検出層１２と第２光検出層１６の画素が１つずつ対応する構成としている。カラーフィルタ層１３０は例えば、赤、青、緑のフィルタをベイヤ配列で配置した構成を有する。

　図１５はこの場合の第１光検出層１２および第２光検出層１６の単位画素列と、ワイヤグリッド型偏光子層１４における各チャンネルの偏光子の領域との関係を例示している。同図（ａ）は第１光検出層１２の単位画素列、（ｂ）はワイヤグリッド型偏光子層１４における各主軸角度の偏光子の配列、（ｃ）は第２光検出層１６の単位画素列である。この例では上述のとおり、第１光検出層１２および第２光検出層１６の１つの画素が、各主軸角度の偏光子にそれぞれ対応している。そしてカラーフィルタ層１３０により、（ｃ）に示した第２光検出層１６の単位画素列のうち、左上の画素が赤（Ｒ）、右上と左下の画素が緑（Ｇ）、右下の画素が青（Ｂ）の偏光成分を検出する。

　図１６は、偏光画像をカラー画像として取得するときの撮像素子の構造の別の例を断面図で表している。なお図１４で示した撮像素子１２８と同じ構成には同じ符号を付している。撮像素子１４０は、第２光検出層１６において各主軸角度の偏光子に対し２行２列の４つの画素を設けたものである。したがって断面図においては、２つの主軸角度の偏光子の領域に対し、第２光検出層１６に光電変換素子５４ａ、５４ｂ、５４ｃ、５４ｄが２つずつ並んだ構成を有している。またこの例では、カラーフィルタ層１４４の上にチップ内マイクロレンズ１４２を設けることにより、ワイヤグリッド型偏光子層１４を透過した光が第２光検出層１６の各画素に集光するようにしている。

　図１７はこの場合の第１光検出層１２および第２光検出層１６の単位画素列と、ワイヤグリッド型偏光子層１４における各チャンネルの偏光子の領域との関係を例示している。同図（ａ）は第１光検出層１２の単位画素列、（ｂ）はワイヤグリッド型偏光子層１４における各主軸角度の偏光子の配列、（ｃ）は第２光検出層１６の単位画素列である。図１５で示した場合と比較し、上述のとおり第２光検出層の画素がそれぞれ２行２列に細分化され、各主軸角度の偏光子に対し４つの画素が設けられる。そしてカラーフィルタ層１４４により、当該４つの画素からなる画素ブロックのうち、左上の画素が赤（Ｒ）、右上と左下の画素が緑（Ｇ）、右下の画素が青（Ｂ）の偏光成分を検出する。

　図１８は、偏光画像をカラー画像として取得するときの撮像素子の構造のさらに別の例を断面図で表している。なお図１６で示した撮像素子１４０と同じ構成には同じ符号を付している。撮像素子１５０は、第１光検出層１２および第２光検出層１６の双方において、各主軸角度の偏光子に対し２行２列の４つの画素を設けたものである。したがって断面図においては、２つの主軸角度の偏光子の領域に対し、第１光検出層１２の画素に対応する下部電極４４が２つずつ並んだ構成を有している。第２光検出層１６の光電変換素子５４ａ、５４ｂ、５４ｃ、５４ｄも同様である。

　図１９はこの場合の第１光検出層１２および第２光検出層１６の単位画素列と、ワイヤグリッド型偏光子層１４における各チャンネルの偏光子の領域との関係を例示している。同図（ａ）は第１光検出層１２の単位画素列、（ｂ）はワイヤグリッド型偏光子層１４における各主軸角度の偏光子の配列、（ｃ）は第２光検出層１６の単位画素列である。図１７で示した場合と比較し、上述のとおり第１光検出層の画素がそれぞれ２行２列に細分化され、各主軸角度の偏光子に対し４つの画素が設けられる。

　図１４、１６、１８で示したように、第１光検出層１２および第２光検出層１６の１画素の領域は、下部電極４４および光電変換素子５４のサイズおよび個数によって様々に組み合わせることができる。例えば第１光検出層１２の単位画素列を、図１９で示したように４行４列の１６画素とし、第２光検出層１６の単位画素列を、図１５で示したように２行２列の４画素とするなどでもよい。

　偏光をカラー情報として取得する場合、後述するように同じ色かつ同じ方位の偏光情報は画像平面において、より離散的になりやすいため、要求されるデータの取得精度や素子の製造しやすさなど多角的な観点から、各検出層の画素の単位を適切に決定する。なおこのような画素サイズのバリエーションは、上述した白黒画像を取得する態様にも同様に適用できる。

　また図１６、１８の撮像素子１４０、１５０では、チップ内マイクロレンズ１４２をカラーフィルタ層１４４の上に設ける構造としたが、画素領域のサイズなどによって、ワイヤグリッド型偏光子層１４の上に設けてもよい。この場合、偏光子により反射された光を拡散させ、第１光検出層１２で均一に検出することができる。このように偏光成分をカラー情報で取得すると、当該情報を用いて自然光のカラー画像も生成できる。図２０は、偏光成分をカラー情報として取得するイメージセンサを含む撮像装置の機能ブロックを示している。

　なお図７で示した撮像装置１００と同じ機能を有する機能ブロックについては同じ符号を付し適宜説明を省略する。撮像装置１６０は、イメージセンサ１６１、感度差調整部７５、欠陥検出部７８、欠陥補正部７６、自然光の輝度画像を生成する輝度画像生成部１６４、自然光のカラー画像を生成するカラー画像生成部１６６、および、カラーの偏光成分画像を生成する偏光画像生成部１６８を含む。イメージセンサ１６１は図５で示したイメージセンサ７０と同様の構造を有し、基本的には図７のイメージセンサ７０と同様の機能を有する。

　ただし撮像素子は図１４、１６、１８で示したようにカラーフィルタ層を含んでいるため、偏光データ取得部１６２から出力される偏光成分の検出値は、複数の方位の偏光情報と、赤、青、緑のカラー情報との組み合わせで構成される。感度差調整部７５、欠陥検出部７８、欠陥補正部７６はそれぞれ、図７を参照して説明した対応する機能ブロックと同じ機能を有する。

　輝度画像生成部１６４は、図７の自然光画像生成部８４と同様に、自然光の換算値と偏光成分の検出値などに基づき、最終的に出力すべき自然光の輝度画像を生成する。ただしこの場合、画素によって検出対象の色（波長帯）が異なるため、単純に自然光の換算値と偏光成分の検出値の和を画素ごとに求めると、ベイヤ配列状に輝度のムラが生じることが考えられる。そこで、４つの画素を仮想的に１つの画素として処理したビニング画像で和をとることにより、検出対象の色に依存しないムラのない輝度情報を得る。すなわち４画素ごとの輝度Ｙ_１／４（ｘ，ｙ）を次のように求める。
　Ｙ_１／４（ｉ，ｊ）＝Ｏｃｏｎ_１／４（ｉ，ｊ）＋Ｓ_１／４（ｉ，ｊ）

　ここで（ｉ，ｊ）は、（ｘ，ｙ）で表される元の画像平面を１／４に縮小したときの位置座標、Ｏｃｏｎ_１／４（ｉ，ｊ）は、感度差調整部７５が生成した、係数ｋ（ｘ，ｙ）のデフォルト値が乗算された自然光の換算値Ｏｃｏｎ（ｘ，ｙ）のビニング画像での画素値、Ｓ_１／４（ｉ，ｊ）は偏光成分の検出値Ｓ（ｘ，ｙ）のビニング画像での画素値である。輝度画像生成部１６４は、このようにして得た輝度Ｙ_１／４（ｉ，ｊ）を元の解像度に戻す。具体的には、輝度Ｙ_１／４（ｉ，ｊ）の２次元配列を補間するなどして画素数を４倍にしたうえ、自然光の換算値Ｏｃｏｎ（ｘ，ｙ）の２次元配列の高周波成分を加算することによりディテールを復元する。輝度画像生成部１６４は、生成した元の解像度の輝度画像を、撮像装置１６０に接続した記憶装置や画像処理装置に適宜出力する。

　カラー画像生成部１６６は、偏光成分の検出値をベースに自然光のカラー画像を生成する。図２１は、カラー画像生成部１６６が自然光のカラー画像を生成する処理手順を示すフローチャートである。カラー画像生成部１６６はまず、偏光成分の検出値を色ごとに無偏光化する（Ｓ５０）。無偏光化とは、偏光成分の検出値から偏光方位による位置依存性を解消することである。この処理には、図１２で示した、自然光の位置依存性を解消するための調整処理を応用できる。

　すなわち色ごとに、偏光成分の検出値を、方位が直交するチャンネル同士で比較する（図１２のＳ４２）。このとき１つのチャンネルに同じ色の画素が複数含まれる場合は、その平均値を算出して比較する（図１２のＳ４０）。図１９で示した単位画素列の場合、各チャンネルに、緑の画素が２つ含まれるため、緑については２つの画素の検出値の平均値で比較する。それらの差がどちらも所定のしきい値を超えないか（図１２のＳ４２のＮ）、越えてもエッジ部分を含む場合は（図１２のＳ４２のＹ、Ｓ４４のＹ）、当該単位画素列の当該色については位置依存性がないと判定し、その変更成分の検出値をそのまま採用する（図１２のＳ４６）。

　どちらかの差がしきい値を超え、当該単位画素列がエッジ部分を含まない場合は（図１２のＳ４２のＹ、Ｓ４４のＮ）、偏光方位の差による位置依存性が高いため、それを打ち消すように値を調整する（図１２のＳ４８）。具体的には偏光成分の検出値を両チャンネルで平均化する。１つのチャンネルに同色の画素が複数含まれ、平均値で比較した場合は、当該平均値を両チャンネルで平均化する。この場合、自然光の換算値の調整と同様、平均値の差が大きかった直交するチャンネルｎとチャンネルｎ＋２にそれぞれ含まれる複数の画素の検出値に次の調整係数ｋｃｒ（ｎ）、ｋｃｒ（ｎ＋２）を乗算する。
　ｋｃｒ（ｎ）＝（Ｓａｖｅ（ｎ）＋Ｓａｖｅ（ｎ＋２））／Ｓａｖｅ（ｎ）
　ｋｃｒ（ｎ＋２）＝（Ｓａｖｅ（ｎ）＋Ｓａｖｅ（ｎ＋２））／Ｓａｖｅ（ｎ＋２）

　ここでＳａｖｅ（ｎ）およびＳａｖｅ（ｎ＋２）はチャンネルｎとチャンネルｎ＋２にそれぞれ含まれる画素の検出値の平均値である。以上の位置依存性確認および必要に応じた調整処理を、色ごと、単位画素列ごとに行うことにより、各色の偏光成分の検出値を無偏光化できる。次にカラー画像生成部１６６は、ベイヤ配列で離散的に表されている各色の画素値を補間するデモザイク処理を行う。まずカラー画像生成部１６６は、画素数の多い緑の画素値を補間する（Ｓ５２）。

　このとき、輝度画像生成部１６４が生成した輝度画像の高周波成分を加算することにより画像のディテールを復元する（Ｓ５４）。Ｓ５４の高周波成分の加算処理はＳ５２の補間処理の一貫として行ってもよいし、補間処理の後に個別に行ってもよい。このようにして全画素に対する緑の画素値を求めたら、それを用いて赤および青のデモザイク処理を行う。この処理には、一般的な撮像装置で行われているデモザイク処理の手法を採用してよい。

　以上の処理により、偏光成分のカラー情報に基づきフルカラーの自然光画像を生成できる。カラー画像生成部１５４は、生成した画像のデータを、撮像装置１６０に接続した記憶装置や画像処理装置に適宜出力する。この画像は一般的なフルカラー画像と同等の画像のため、テレビなどの表示装置に出力し表示させてもよい。

　偏光画像生成部１６８は、偏光成分の検出値に基づき、４チャンネル分のカラー偏光画像のデータを生成する。図２２は複数の単位画素列によって構成される、第２光検出層１６の画素の２次元配列を示している。同図太線は単位画素列の境界であり、図１９で示したように、１～４チャンネルにそれぞれ４つの画素を備える構成を有する。ただし図１５、１７で示したような画素配列でも偏光画像を生成する手順はほぼ同様である。偏光成分をカラー情報で取得した場合、同じチャンネルかつ同じ色の画素を抽出し、補間する必要がある。

　同図の網掛けで示した１チャンネルの画素を例にとると、１チャンネルの緑（Ｇ）の画素は、４行４列の単位画素列あたり２つ存在する一方、赤（Ｒ）および青（Ｂ）の画素は、単位画素列あたり１つのみ存在するため、緑と比較し間隔が広い。そこでまず各チャンネルの緑の画素値を抽出して補間し、それを用いて赤および青の画素値をデモザイク処理により求める。緑の補間処理には最近傍補間、バイリニア補間、バイキュービック補間など既存の補間技術を適宜応用する。

　補間した各チャンネルの緑の画素値に対し、輝度画像生成部１６４が生成した輝度画像を用いて、エッジ部分などにおける細かい変化が表現されるようにする。このため偏光画像生成部１６８は、ハイパスフィルタにより当該輝度画像から高周波成分ｈｆ＿Ｙ（ｘ，ｙ）を抽出し、エッジ部分を含む画素についてはｈｆ＿Ｙ（ｘ，ｙ）を緑の画素値に加算する。このようにして得た各チャンネルの緑の画素値と、赤および青の偏光成分の離散的な検出値を用いて、各チャンネルの偏光成分の赤および青の画素値を決定する。

　この処理は、一般的なデモザイク処理を適宜応用できる。また、このようにして生成した各チャンネルの各色の画素値の配列は、単位画素列内のチャンネルの配置、および各チャンネル内の色の配置に依存して画素の位相がずれている。そこで同一単位画素列内にある各チャンネルの各色の画素が、最終的な各チャンネルの偏光画像において同じ位置の画素を表現するように画素の位置を調整する。具体的には、赤については右方向に０．５画素分、下方向に０．５画素分ずらす。

　青については左方向に０．５画素分、上方向に０．５画素分ずらす。緑については同じチャンネルに画素が２つあるため、左方向または右方向に０．５画素分、下方向または上方向に０．５画素分ずらす。偏光画像生成部１６８は、このようにして生成した、各チャンネルのカラー偏光画像を、撮像装置１６０に接続した記憶装置や画像処理装置に適宜出力する。

　次に、これまで述べた撮像装置を用いて被写体の情報を取得する技術について例示する。偏光子や偏光板を用いて被写体表面の法線を取得する技術は、例えば国際公開第２００９／１４７８１４号などに開示されるように、従来、研究が進められている。すなわち、被写体の表面からの反射光を偏光カメラで取得し、最小輝度が観測されるときの偏光角に基づき物体表面の方位角を取得する。これを２つの視点から行うことにより、物体表面の法線を一意に決定できる。

　本実施の形態の撮像素子は、同じ視点の偏光情報と自然光の情報を、画素レベルで位置合わせした状態で取得できるため、これを利用して様々な情報を取得したり取得精度を高めたりできる。図２３は本実施の形態の画像処理システムの構成例を示している。画像処理システム２００は、ステレオカメラ２１０と画像処理装置２２０を含む。なおステレオカメラ２１０と画像処理装置２２０は図示するように別の個体とし有線または無線で通信を確立してデータの送受信を行ってもよいし、両者を一体的に含む情報処理装置などの形態とし内部のバスなどによってデータの送受信を行ってもよい。後述する図２４、２５の画像処理システムも同様である。ステレオカメラ２１０は、図２０で示した撮像装置１６０と同じ構成の２つの撮像装置１６０ａ、１６０ｂを、既知の間隔を有するように左右に配置したカメラである。

　画像処理装置２２０は、ステレオカメラ２１０から画像のデータを取得する画像データ取得部２２２、取得した左右の画像データ間で感度差を調整する感度差調整部２２４、左右の偏光画像に基づき法線マップを生成する法線マップ生成部２２６、左右の自然光の画像および法線マップに基づきデプスマップを生成するデプスマップ生成部２２８、出力すべきデータを生成する出力データ生成部２３０を含む。

　画像データ取得部２２２は、ステレオカメラ２１０が備える撮像装置１６０ａ、１６０ｂからそれぞれ、自然光のカラー画像および偏光成分のカラー画像のデータを取得する。すなわち、左右の視点からの自然光のカラー画像と、左右の視点からの４チャンネル分のカラー偏光画像のデータが取得される。動画撮影時には、所定のフレームレートでデータを取得し続ける。取得したデータはフレームごとなど所定の単位で図示しないメモリに一時保存し、感度調整部２２４などが適当なタイミングで読み出せるようにする。感度差調整部２２４は、左右の視点からの自然光のカラー画像の対と、左右の視点からの各チャンネルの偏光画像の対で、それぞれ出力レベルを調整する。

　例えば、画像ごとに平均輝度値を計算し、それが同レベルになるように一方にゲインをかける。自然光のカラー画像でかけたゲインを、同じ視点からの偏光画像のゲインとしてもよい。法線マップ生成部２２６は、左右の４チャンネル分の偏光画像を用いて、被写体表面の法線ベクトルを求め、それを画像平面にマッピングした法線マップを生成する。この処理には、ステレオ偏光カメラを用いて被写体の法線情報を取得する上述のような従来技術を適用できる。デプスマップ生成部２２８はまず、レベル調整がなされた左右の自然光のカラー画像を用いてデプスマップを生成する。

　具体的には、左右のカラー画像から対応点を検出し、その視差から三角測量の原理で当該対応点の撮像面からの距離を算出して、画像平面にマッピングすることによりデプスマップを生成する。ステレオ画像を用いてデプスマップを生成する技術は、従来のステレオカメラにおいて実用化されている。しかしながら模様やしわなどの特徴点が少ない一様な表面の被写体などでは、特徴点が検出されにくく、結果として距離の算出に誤差を多く含んだり、算出不能となりデプスマップ上でデータの抜けが生じたりすることがあった。

　そこで本実施の形態のデプスマップ生成部２２８は、法線マップ生成部２２６が生成した法線マップを利用してデプスマップの精度を向上させる。具体的には、法線ベクトルの分布に基づき被写体の面の連続性を取得する。これにより、対応点検出により距離が得られた点が離散的であっても、その周囲の像が連続した同じ面を表すか否かが特定できるため、対応点が検出されない領域の距離値を法線ベクトルから算出できる。

　デプスマップ生成部２２８はさらに、対応点の検出自体に偏光画像を用い、偏光画像において表れる物体表面の細かい凹凸を特徴点として利用してもよい。本実施の形態では、自然光の画像と偏光画像における像の位置が、撮影段階で画素レベルで一致しているため、両者を後から位置合わせする必要がない。結果として、一見、特徴点の少ない被写体であっても精度よくデプスマップを取得できる。

　出力データ生成部２３０は、生成された法線マップ、デプスマップ、および画像データ取得部２２２が取得した自然光のカラー画像などのデータのうち、必要なデータを外部の出力装置に出力する。あるいは、それらのデータを用いて所定の情報処理を行った結果として表示画像や音声のデータを生成し出力してもよい。出力すべきデータやなすべき情報処理は、画像処理システム２００の使用目的によって様々であってよい。

　例えば、精度よく得られたデプスマップを用いて被写体の実空間での位置を特定し、それに応じて自然光のカラー画像に加工を施したり被写体の動きに反応するゲーム画面を生成したりする。そのようにして生成された画像のデータを、出力装置であるディスプレイに適切なタイミングで出力すれば、被写体の動きに応じて変化する動画を表示できる。ただし上述のとおり出力態様はこれに限らない。

　図２４は本実施の形態の画像処理システムの構成の別の例を示している。同図において図２３で示したのと同じ機能を有するブロックには同じ符号を付し適宜説明を省略する。画像処理システム３００は、ステレオカメラ３１０と画像処理装置３２０を含む。ステレオカメラ３１０は、図２０で示した撮像装置１６０と、一般的なカラー画像の撮像装置３１２を、既知の間隔を有するように左右に配置したカメラである。

　画像処理装置３２０は、ステレオカメラ３１０から画像のデータを取得する画像データ取得部２２２、取得した左右の画像データ間で感度差を調整する感度差調整部２２４、デプスマップを生成するデプスマップ生成部２２８、左右の自然光の画像の輝度差を取得する輝度差取得部３２４、法線マップを生成する法線マップ生成部３２６、出力すべきデータを生成する出力データ生成部２３０を含む。

　画像取得部２２２は、図２３の場合と同様、ステレオカメラ３１０から画像のデータを取得する。ただしこの場合、自然光のカラー画像は左右の視点からのデータを取得するが、カラー偏光画像は撮像装置１６０から得られる片側の視点からのデータのみとなる。感度差調整部２２４は、図２３の場合と同様、左右の視点からの自然光のカラー画像の出力レベルを揃える調整を行う。デプスマップ生成部２２８も図２３の場合と同様、左右の自然光の画像から対応点を抽出し、その視差により被写体の撮像面からの距離を算出して、デプスマップの初期データを生成する。

　輝度差取得部３２４は、デプスマップ生成部２２８が算出した左右の視差に基づき、左右の画像における対応する領域の輝度差を取得する。同じ被写体の像を表しているにも関わらず左右の画像で輝度の差が大きい場合、輝度の高い方において鏡面反射成分が支配的であると考えられる。図２５は実際に撮影された左右の自然光の画像を比較している。同図において右側の画像の矢印で示した部分は、左側の画像の対応する部分と比較し、輝度が著しく高く、鏡面反射成分が支配的と考えられる。輝度差取得部３２４は、両画像の対応する画素または像の領域同士の輝度を比較し、その差を画素または像の領域ごとに表した輝度差画像を生成する。

　法線マップ生成部３２６は、輝度差取得部３１４が生成した輝度差画像に基づき、しきい値判定をするなどして、鏡面反射成分が支配的な領域とそれ以外の領域、すなわち拡散反射成分が支配的な領域を決定する。そして、それぞれに適した計算手法で被写体の方位角を推定する。一般に、鏡面反射成分が支配的な場合、その入射面（方位）は、偏光方位に対して輝度が最小値となる角度であり、拡散反射が支配的な場合、その入射面（方位）は、偏光方位に対して輝度が最大値となる角度であることが知られている。したがって法線マップ生成部３２６は、撮像装置１６０から得られた偏光画像に基づき、４チャンネルの変更方位を補間するような輝度の正弦波を近似したうえ、鏡面反射成分と拡散反射成分のどちらが支配的かに応じて、領域ごとに適した手法で被写体表面の方位角を求める。

　法線マップ生成部３２６はさらに、デプスマップ生成部２２８が生成したデプスマップの初期データを用いて被写体表面の法線ベクトルを求める。例えばデプスマップが表す、画像平面における距離値の分布を３次元空間に逆射影することにより、被写体表面の３次元空間での位置を点群として求める。そして、そのうち３点以上を頂点とする微小面積の法線ベクトルを計算することにより、被写体表面の法線ベクトルを当該微小面積単位で求めることができる。このような原理を用いた計算技術は、コンピュータビジョンの分野で広く知られ、例えばＰＣＬ（Point Cloud Library）などのライブラリが広く普及している。

　そして法線マップ生成部３２６は、デプスマップから生成した法線ベクトルと、偏光画像から取得した、表面の方位角とに基づき、最終的な法線マップを生成する。上述したようにデプスマップは被写体表面の状態などによって画像平面でデータに抜けが生じたり誤差が含まれていたりすることがある。そこで偏光画像から取得した被写体表面の方位角とデプスマップから生成した法線ベクトルを比較し、より精度の高い法線マップを生成する。例えば、偏光画像から得られた方位角と明らかに逸脱している法線ベクトルを結果から除外したり、抜けのある領域の法線ベクトルを方位角から推定して補間したりする。

　このように左右の自然光画像の輝度差およびデプスマップを利用することにより、偏光情報を取得する撮像装置がステレオカメラの片側のみであっても法線マップを精度よく生成できる。デプスマップ生成部２２８は図２３の場合と同様、このようにして生成された法線マップを利用してデプスマップの初期データを補間し、最終的なデプスマップを生成する。なお図２３の場合と同様、デプスマップ生成部２２８は対応点の検出自体に偏光画像を利用してもよい。出力データ生成部２３０は図２３と同様に所定の出力データを生成し出力する。

　図２６は本実施の形態の画像処理システムの構成のさらに別の例を示している。同図において図２４で示したのと同じ機能を有するブロックには同じ符号を付し適宜説明を省略する。画像処理システム４００は、３眼カメラ４１０と画像処理装置４２０を含む。３眼カメラ４１０は、一般的なカラー画像の撮像装置４１２ａ、図７で示した撮像装置１００、一般的なカラー画像の撮像装置４１２ｂを、既知の間隔を有するように左、中間、右に配置したカメラである。

　画像処理装置４２０は、３眼カメラ４１０から画像のデータを取得する画像データ取得部２２２、取得した３視点の画像データ間で感度差を調整する感度差調整部２２４、デプスマップを生成するデプスマップ生成部２２８、左右の自然光の画像の輝度差を取得する輝度差取得部３２４、法線マップを生成する法線マップ生成部４２６、出力すべきデータを生成する出力データ生成部２３０を含む。

　画像取得部２２２は、図２３、２４の場合と同様、３眼カメラ４１０から画像のデータを取得する。ただしこの場合、撮像装置４１２ａ、４１２ｂからの左右の自然光のカラー画像のデータと、中間に位置する撮像装置１００からの、自然光の輝度画像および４チャンネル分の白黒偏光画像のデータが得られる。感度差調整部２２４は、３視点からの自然光の画像の出力レベルを揃える調整を行う。デプスマップ生成部２２８は、撮像装置４１２ａ、４１２ｂから取得した左右の自然光のカラー画像から対応点を抽出し、その視差により被写体の撮像面からの距離を算出してデプスマップの初期データを生成する。

　輝度差取得部３２４は、図２４の場合と同様、デプスマップ生成部２２８が算出した左右の自然光のカラー画像の視差に基づき、対応する領域の輝度差を取得する。法線マップ生成部４２６は、撮像装置１００からの４チャンネル分の偏光画像において偏光輝度の振幅が所定のしきい値より大きい領域を検出する。偏光画像において偏光方位依存が大きい領域は鏡面反射が支配的と考えられる。そしてそのように検出した領域のうち、輝度差取得部３２４が生成した輝度差画像において輝度差が所定のしきい値を超える領域を抽出する。

　これにより、撮像装置４１２ａ、４１２ｂからの左右の自然光のカラー画像と、撮像装置１００からの偏光画像とを利用して、より正確に鏡面反射が支配的な領域を特定できる。そして法線マップ生成部４２６は、図２４の場合と同様、撮像装置１００から得られた偏光画像に基づき、４チャンネルの変更方位を補間するような輝度の正弦波を近似したうえ、鏡面反射成分と拡散反射成分のどちらが支配的かに応じて、領域ごとに適した手法で被写体表面の方位角を求める。さらに、デプスマップ生成部２２８が生成したデプスマップの初期データを用いて求めた被写体表面の法線ベクトルと、当該方位角とを利用して、最終的な法線マップを生成する。

　デプスマップ生成部２２８は図２４の場合と同様、このようにして生成された法線マップを利用してデプスマップの初期データを補間し、最終的なデプスマップを生成する。なおこの場合も、デプスマップ生成部２２８は対応点の検出自体に偏光画像を用いてもよい。出力データ生成部２３０は図２４と同様に所定の出力データを生成し出力する。このような３眼カメラによれば、視差の大きい両端の撮像装置により、より正確にデプスマップを生成できるとともに、その視差の中間にある偏光画像を用いて法線マップを作成するため、３者の対応が取りやすく、さらに精度を向上させることができる。

　以上述べた本実施の形態によれば、撮像素子において光電変換素子層を導電性のワイヤグリッド偏光子の上層および下層に設ける。上層の光電変換素子層は光透過性を有する有機材料で形成するとともに、電圧印加および電荷読み出しのための電極も透過性を有する材料で形成する。これにより、上面から入射した光の一部とともに、ワイヤグリッド偏光子で反射した光も検出対象となる。ワイヤグリッド偏光子を透過した偏光成分は下層の光電変換素子層で検出するため、撮像素子全体として、入射光を無駄なく利用して自然光および偏光成分の情報を感度よく取得できる。また両者の信号の読み出しレートを独立に制御することにより、検出感度および読み出し速度の双方の観点で十分な性能を得られる。

　また、画素レベルで同じ位置で、自然光の情報と偏光成分の情報を同時に取得できるため、それらを用いて被写体の形状や位置を取得する際、両者の位置を合わせるための処理の必要がない。また特徴点の少ない被写体であっても、位置合わせに係る問題が生じない。さらに、同じ位置で複数種類の画像を取得するため、両者を相補完的に利用することにより最終的に出力する画像の詳細度や精度を高めることができる。具体的には、元の検出値の欠陥を補ったり、内部の処理上、失われた高周波成分を復元したりすることができる。

　また、一般的な自然光のステレオ画像を用いたデプスマップ生成においては、対応点が抽出できず距離値が算出されない部分が生じることがあるが、同じ位置の偏光画像を取得していることにより、詳細なデプスマップを生成できる。具体的には、物体表面の細かい凹凸も偏光情報として得られるため、それを特徴点として利用できる。またそのような特徴点を対応点として得られた距離値が離散的でも、法線マップから得られる面の連続性に鑑み、より詳細なデプス情報が得られる。また、一般的なカラー画像を撮影する撮像装置と組み合わせることにより、求められる精度、許容される処理の負荷、製造コストなどに鑑み、最適な画像処理システムを構築することができる。

　以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　例えば、本実施の形態では、第１光検出層１２を、広い波長帯の光を検出する有機光電変換材料とすることにより、自然光の輝度画像を取得することを基本とした。一方、特定の波長帯の光を検出する有機光電変換材料を、電極を挟んで積層させることにより、各層から異なる色の情報を取得し、自然光のカラー画像としてもよい。同様に、第２光検出層１６を、特定波長帯の光を検出する有機光電変換材料の積層構造とすることで、カラーフィルタ層を設けることなく偏光カラー画像を取得してもよい。この場合、同じ画素で赤、緑、青の情報が得られるため、ベイヤ配列をデモザイク処理する工程が必要なくなる。

　１０　撮像素子、　１２　第１光検出層、　１４　ワイヤグリッド型偏光子層、　１６　第２光検出層、　２８　撮像素子、　３６　上部電極、　３８　有機光電変換膜、　４４　下部電極、　４８　偏光子、　５４　光電変換素子、　７０　イメージセンサ、　７２　自然光データ取得部、　７４　偏光データ取得部、　７５　感度差調整部、　７６　欠陥補正部、　７８　欠陥検出部、　８４　自然光画像生成部、　８６　偏光画像生成部、　１００　撮像装置、　１６０　撮像装置、　１６１　イメージセンサ、　１６２　偏光データ取得部、　１６４　輝度画像生成部、　１６６　カラー画像生成部、　１６８　偏光画像生成部。

　以上のように、本発明はカメラ、撮像装置、画像処理装置、情報処理装置、物体認識装置、画像解析装置や、それらを含むシステムなどに利用可能である。

Claims

　被写体表面の法線に係る情報を取得する法線情報取得部と、
　被写体の撮像面からの距離を画像平面にマッピングしたデプスマップを取得し、前記法線に係る情報に基づき対応する位置におけるデータを補間して最終的なデプスマップを生成するデプスマップ生成部と、
　少なくとも前記最終的なデプスマップを用いて所定の処理を行い出力用の画像データを生成する出力データ生成部と、
　を備えることを特徴とする画像処理装置。
　前記デプスマップ生成部はさらに、同一空間を左右の視点から撮影した偏光成分のステレオ画像から検出した特徴点を利用して、自然光のステレオ画像における対応する点の視差を求めることにより、被写体の撮像面からの距離を求め、前記デプスマップを生成することを特徴とする請求項１に記載の画像処理装置。
　前記法線情報取得部は、同一空間を左右の視点から撮影した偏光成分のステレオ画像に基づき被写体表面の法線ベクトルを求め、画像平面にマッピングした法線マップを生成することを特徴とする請求項１または２に記載の画像処理装置。
　前記法線情報取得部は、前記デプスマップから生成した被写体表面の法線ベクトルのデータを、一の視点から撮影した偏光成分の画像から取得した被写体表面の方位に基づき補正して最終的な法線ベクトルを求め、画像平面にマッピングした法線マップを生成することを特徴とする請求項１または２に記載の画像処理装置。
　前記デプスマップ生成部は、同一空間を左右の視点から撮影した自然光のステレオ画像に基づき前記デプスマップを生成し、
　前記法線情報取得部は、前記デプスマップから生成した被写体表面の法線ベクトルのデータを、一の視点から撮影した偏光成分の画像から取得した被写体表面の方位に基づき補正して最終的な法線ベクトルを求め、画像平面にマッピングした法線マップを生成することを特徴とする請求項１または２に記載の画像処理装置。
　前記法線情報取得部は、同一空間を左右の視点から撮影した自然光の画像の対応する領域の輝度差に基づき鏡面反射成分が支配的な領域を抽出し、前記偏光成分の画像における当該領域とそれ以外の領域で、被写体表面の方位を求める手法を切り替えることを特徴とする請求項４または５に記載の画像処理装置。
　多視点カメラと、その撮影画像のデータを取得し画像処理を行う画像処理装置を含む画像処理システムであって、
　前記多視点カメラは、
　同じ視野において撮影した自然光の画像と、複数方位の偏光成分の画像のデータを並行して出力する並列撮像装置を含む複数の撮像装置が既知の間隔で水平方向に配置され、
　前記画像処理装置は、
　前記多視点カメラから、少なくとも複数視点から撮影した自然光の画像と、一視点から撮影した偏光成分の画像のデータを取得する画像データ取得部と、
　少なくとも前記偏光成分の画像を利用して被写体表面の法線に係る情報を求める法線情報取得部と、
　前記複数視点から撮影した自然光の画像に基づき被写体の撮像面からの距離を求め、画像平面にマッピングしたデプスマップを生成するデプスマップ生成部と、
　少なくとも前記デプスマップを用いて所定の処理を行い出力用の画像データを生成する出力データ生成部と、
　を備え、
　前記デプスマップ生成部は、前記法線情報取得部が求めた対応する位置における法線に係る情報に基づき、前記デプスマップに表される距離を補間することを特徴とする画像処理システム。
　同じ視野において撮影した自然光の画像と、複数方位の偏光成分の画像のデータを並行して出力する並列撮像装置を含む複数の撮像装置が既知の間隔で水平方向に配置されたことを特徴とする多視点カメラ。
　被写体表面の法線に係る情報を取得するステップと、
　被写体の撮像面からの距離を画像平面にマッピングしたデプスマップを取得するステップと、
　前記法線に係る情報に基づき対応する位置におけるデータを補間して最終的なデプスマップを生成するステップと、
　少なくとも前記最終的なデプスマップを用いて所定の処理を行い出力用の画像データを生成し出力するステップと、
　を含むことを特徴とする画像処理装置による画像処理方法。
　被写体表面の法線に係る情報を取得する機能と、
　被写体の撮像面からの距離を画像平面にマッピングしたデプスマップを取得する機能と、
　前記法線に係る情報に基づき対応する位置におけるデータを補間して最終的なデプスマップを生成する機能と、
　少なくとも前記最終的なデプスマップを用いて所定の処理を行い出力用の画像データを生成し出力する機能と、
　をコンピュータに実現させることを特徴とするコンピュータプログラム。
　被写体表面の法線に係る情報を取得する機能と、
　被写体の撮像面からの距離を画像平面にマッピングしたデプスマップを取得する機能と、
　前記法線に係る情報に基づき対応する位置におけるデータを補間して最終的なデプスマップを生成する機能と、
　少なくとも前記最終的なデプスマップを用いて所定の処理を行い出力用の画像データを生成し出力する機能と、
　をコンピュータに実現させるコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。