JPWO2016136085A1 - 画像処理装置と画像処理方法および撮像素子 - Google Patents

画像処理装置と画像処理方法および撮像素子 Download PDF

Info

Publication number
JPWO2016136085A1
JPWO2016136085A1 JP2017501864A JP2017501864A JPWO2016136085A1 JP WO2016136085 A1 JPWO2016136085 A1 JP WO2016136085A1 JP 2017501864 A JP2017501864 A JP 2017501864A JP 2017501864 A JP2017501864 A JP 2017501864A JP WO2016136085 A1 JPWO2016136085 A1 JP WO2016136085A1
Authority
JP
Japan
Prior art keywords
polarization
image
unit
reflection component
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017501864A
Other languages
English (en)
Other versions
JP6673327B2 (ja
Inventor
雄飛 近藤
雄飛 近藤
康孝 平澤
康孝 平澤
穎 陸
穎 陸
文香 中谷
文香 中谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016136085A1 publication Critical patent/JPWO2016136085A1/ja
Application granted granted Critical
Publication of JP6673327B2 publication Critical patent/JP6673327B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3025—Polarisers, i.e. arrangements capable of producing a definite output polarisation state from an unpolarised input state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

撮像部２０は、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて、同一偏光画素ブロックに所定の色毎の画素を設けた構成とする。補正処理部３１は、撮像部２０で生成された偏光画像に対して、ホワイトバランス補正等の補正処理を行う。偏光画像処理部３２は、補正処理後の偏光画像を用いて反射成分の分離または抽出を行う。分離または抽出後の反射成分の偏光画像を用いることで、例えば精度よく法線情報を生成することが可能となる。

Description

この技術は、画像処理装置と画像処理方法および撮像素子に関し、精度の高い法線情報を生成できるようにする。
従来、撮像部と偏光子を用いて偏光画像を生成する方法が開示されている。例えば、特許文献１では、撮像部の前に偏光子を配置して、この偏光子を回して撮影することで複数偏光方向の偏光画像が生成する方法が開示されている。また、画素毎に異なる偏光方向の偏光子を設けることで、１回の撮像で異なる複数の偏光方向の偏光画像を生成する方法が開示されている。
さらに、複数の偏光方向の偏光画像から被写体の法線情報を生成することが行われている。例えば、非特許文献１や非特許文献２では、複数の偏光方向の偏光画像をモデル式にあてはめることによって法線情報が生成されている。
国際公開第２００８／０９９５８９号
Lawrence B.Wolff and Terrance E.Boult :"Constraining Object Features Using a Polarization Reflectance Model",IEEE Transaction on pattern analysis and machine intelligence,Vol.13、No.7,July 1991 Gary A. Atkinson and Edwin R. Hancock :"Recovery of surface orientation from diffuse polarization",IEEE Transactions of Image Processing, Vol.15, Issue.6, pp.1653-1664, 2006
ところで、物体表面の反射では、鏡面反射と拡散反射が存在しており、それぞれの反射で偏光の仕方が異なっている。このため、偏光画像については反射成分を考慮した処理が必要である。
そこで、この技術では、反射成分の分離または抽出を行う画像処理装置と画像処理方法および撮像素子を提供する。
この技術の第１の側面は、
同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて前記同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子によって生成された偏光画像を用いて、反射成分の分離または抽出を行う偏光画像処理部
を備える画像処理装置にある。
この技術において、偏光画像処理部は、同一偏光方向の複数画素からなる同一偏光画素ブロックを例えば３方向以上の偏光方向毎に設けて同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子によって生成された偏光画像を用いて、反射成分の分離または拡散反射成分の抽出を行う。また、法線情報生成部を設けて、反射成分の分離または抽出後の偏光画像から法線情報を生成する。法線情報生成部は、例えば反射成分を拡散反射成分と鏡面反射成分に分離した場合、拡散反射成分を示す偏光画像と鏡面反射成分を示す偏光画像のそれぞれから法線情報を生成して、偏光角の違いによって生じる輝度変化が大きい反射成分、または偏光角の違いによって生じる所定の輝度変化に対する誤差が少ない反射成分を支配的な反射成分とした重み付けを行って法線情報を統合する。また、法線情報生成部は、例えば拡散反射成分が抽出された場合、拡散反射成分を示す偏光画像から法線情報を生成する。また、補正処理部を設けて、偏光画像に対して色毎のゲイン調整を行い、ゲイン調整後の偏光画像に対して反射成分の分離または抽出を行う。さらに、無偏光画像生成部を設けて、偏光画像から無偏光の画像を生成する。
この技術の第２の側面は、
同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設け、前記同一偏光画素ブロックには各色の画素を設けた構成の撮像素子によって生成された所定の色毎の偏光画像を用いて、偏光画像処理部で反射成分の分離または抽出を行うことを含む画像処理方法にある。
この技術の第３の側面は、
同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設ける偏光子と、
前記偏光子の前記同一偏光画素ブロックに所定の色毎の画素を設けるカラーフィルタと、
前記偏光子と前記カラーフィルタを透過した被写体光に基づき画像信号を生成するセンサ部と
を備える撮像素子にある。
この技術において、カラーフィルタは、例えば所定の色配列の画素ブロックである色パターン単位ブロックを画素の行方向と列方向に繰り返し設けて構成し、偏光子は、同一偏光画素ブロックを複数の偏光方向毎に設けた画素ブロックである偏光パターン単位ブロックを画素の行方向と列方向に繰り返し設けて構成する。色パターン単位ブロックと偏光パターン単位ブロックは位置差を生じさせることで、同一偏光画素ブロックに所定の色毎の画素を設ける。
また、偏光子の同一偏光画素ブロックは色パターン単位ブロックと等しいサイズとしてもよい。また、偏光子は、例えば偏光方向が直交する同一偏光画素ブロックを、画素の列方向または行方向に交互に設けた構成として、カラーフィルタは、同一偏光画素ブロックに所定の色毎の画素を設けてもよい。また、偏光子は、例えば偏光方向が異なる同一偏光画素ブロックを、画素の行方向（または列方向）に所定の順序で繰り返して設け、次の行（または列）では、前の行（または列）に対してブロック位置の位置差を行方向（または列方向）に生じさせて、前の行（または列）と異なる偏光方向の同一偏光画素ブロックを、行方向（または列方向）に所定の順序で繰り返して設けた構成とする。カラーフィルタは、同一偏光画素ブロックに所定の色毎の画素を設けてもよい。また、偏光子は、例えば同一偏光画素ブロックに無偏光の画素を設けた構成として、カラーフィルタは、無偏光の画素を選択したときの色配列が所定の色配列となるように、無偏光の画素に対して色を設定してもよい。さらに、カラーフィルタは、例えば同一偏光画素ブロックに三原色の画素と白色の画素を設けた構成としてもよい。
この技術によれば、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子で生成された偏光画像に対して、反射成分の分離または抽出する処理が行われる。したがって、例えば反射成分を考慮して精度の高い法線情報を生成できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮像システムの基本構成を示す図である。 撮像部の構成を例示した図である。 偏光画像の生成動作を説明するための図である。 撮像画像と反射成分を示す図である。 ４つの偏光方向の画素の輝度値のフィッティングを説明するための図である。 偏光画像の輝度変化を説明するための図である。 輝度と偏光角の関係を例示した図である。 偏光度と天頂角と関係（拡散反射の場合）を例示した図である。 偏光度と天頂角と関係（鏡面反射の場合）を例示した図である。 無偏光画像生成部の動作を説明するための図である。 撮像システムの基本動作を示すフローチャートである。 偏光画像の補正処理を示すフローチャートである。 第１の実施の形態の構成を示す図である。 色差の算出を説明するための図である。 ＨＳＶ空間を用いて鏡面反射成分を除去する処理を説明するための図である。 第１の実施の形態の動作を示すフローチャートである。 鏡面反射の除去処理を示すフローチャートである。 鏡面反射の他の除去処理を示すフローチャートである。 第２の実施の形態の構成を示している。 第２の実施の形態の動作を示すフローチャートである。 撮像部の他の構成を例示した図である。 撮像部の他の構成を例示した図である。 撮像部の他の構成を例示した図である。 撮像部の他の構成を例示した図である。 白色画素を設けた場合の構成と動作を説明するための図である。 撮像部の他の構成において白色画素を設けた場合を例示した図である。 車両制御システムの概略構成を例示したブロック図である。 撮像部の設置例を示した図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像システムの基本構成
２．撮像システムの第１の実施の形態
３．撮像システムの第２の実施の形態
４．撮像部の他の構成
５．適用例
＜１．撮像システムの基本構成＞
図１は、本技術の画像処理装置を用いた撮像システムの基本構成を示している。撮像システム１０は、撮像部２０と画像処理部３０を有している。また、画像処理部３０は、例えば補正処理部３１、偏光画像処理部３２、法線情報生成部３５、無偏光画像生成部３９を有している。
撮像部２０は、消光比の高い偏光で複数偏光方向の偏光画像を生成する。撮像部２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成されている。撮像部２０は、光電変換によって被写体光に応じた画像信号を生成するセンサ部の撮像面に、偏光子とカラーフィルタを設けている。偏光子は、消光比の高い偏光画像を生成できるように、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けた構成とする。カラーフィルタは、偏光子の同一偏光画素ブロックに所定の色毎の画素を設けた構成とする。撮像部２０は、偏光子とカラーフィルタを透過した被写体光に基づきセンサ部で生成された画像信号を画像処理部３０へ出力する。
図２は、撮像部の構成を例示している。図２の（Ａ）は撮像部の偏光子の構成を例示している。偏光子２１は、偏光方向が等しい２×２画素単位を同一偏光画素ブロックとして、偏光方向が互いに異なる４つの同一偏光画素ブロックで構成される４×４画素の偏光パターン単位ブロックを画素の行方向と列方向に繰り返し設けた構成とする。なお、図２の（Ａ）および後述する図２１乃至図２６では、偏光方向をハッチングの線方向として示している。また、図２，図１０，図１４および図２１乃至図２６では、撮像部における一部の画素領域を例示している。
図２の（Ｂ）は撮像部のカラーフィルタの構成を例示している。カラーフィルタ２２は、例えば赤色画素Ｒと緑色画素Ｇと青色画素Ｂをそれぞれ２×２画素単位とする。また、カラーフィルタ２２は、図に示すように１つの赤色画素Ｒと青色画素Ｂおよび２つの緑色画素Ｇで構成された色パターン単位ブロックを、画素の行方向と列方向に繰り返し設けて色配列をベイヤー配列としている。
撮像部２０は、図２の（Ｃ）に示すように、偏光パターン単位ブロックに対して色パターン単位ブロックが水平方向および垂直方向にそれぞれ１画素分の位置差を生じるように偏光子とカラーフィルタを設ける。このように偏光子とカラーフィルタを設けると、１つの同一偏光画素ブロックに１つの赤色画素Ｒと１つの青色画素Ｂおよび２つの緑色画素Ｇが含まれる。また、同一色の２×２画素の画素ブロックには４つの偏光方向の画素が含まれる。このように撮像部を構成すれば、１×１画素単位で偏光方向を変えた偏光子を用いる場合に比べて消光比の高い複数偏光方向の偏光画像を生成できる。
画像処理部３０の補正処理部３１は、撮像部２０で生成された偏光画像に対して、照明光の違いや撮像素子のばらつき等の影響を受けることなく偏光画像処理部３２で処理を行うことができるように色毎のゲイン調整を行う。補正処理部３１は、補正処理として例えば撮像素子の感度ばらつき補正やレンズのシェーディング補正、ホワイトバランス補正等を行う。
感度ばらつきやレンズのシェーディングは個体特有のものであり、画素位置や色ごとに異なる。したがって、補正処理部３１は、予め計測等によって得られている補正値（ゲイン）ＧＭを用いて、式（１）に基づきセンサばらつき補正とシェーディング補正を行う。
ＢＢｉｊ＝（ＢＡｉｊ−ＢＫ）×ＧＭ ・・・（１）
なお、式（１）において、「ＢＡｉｊ」は画素位置（ｉ，ｊ）における画素値、「ＢＫ」は黒レベル値、「ＢＢｉｊ」は補正後の画素値である。また、黒レベル値は、画面全体で同じ値を用いることもあれば、予め計測した画素毎に異なる値を使用することもある。
ホワイトバランス補正は、照明の色が白になるように調整する補正である。補正処理部３１は、従来の撮像装置のオートホワイトバランス補正機構と同様にして算出される補正値を用いてもよく、ユーザが自分で照明状況を指定する機構によって算出された補正値を用いてもよい。また、撮像部２０で生成された偏光画像から補正値を算出することも可能である。
図３は、偏光画像の生成動作を説明するための図である。図３に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、被写体ＯＢを撮像部２０で撮像する。図４は、撮像画像と反射成分を示す図である。図４の（Ａ）は、撮像部で生成される撮像画像を示しており、撮像画像は、図４の（Ｂ）に示す拡散反射成分と図４の（Ｃ）に示す鏡面反射成分を有している。なお、偏光方向によって、拡散反射成分と鏡面反射成分はレベルが変化する。鏡面反射は、照明によって生じることが多く、後述の説明で用いる図８，９で示されているように鏡面反射は拡散反射よりも偏光度が高く偏光しやすい。また、４つの偏光方向の画素の輝度値を用いて、図５に示すように、偏光角に対する輝度変化を示す偏光モデル式（例えばｃｏｓ関数）にフィッティングさせた場合、フィッティング後の関数における振幅成分は偏光成分に相当する。なお、図５において、黒丸印は４つの偏光方向の画素の輝度値を示している。したがって、補正処理部３１では、この偏光成分を鏡面反射成分と見なして色毎に処理を行い、全ての色で偏光成分の輝度が高い画素位置を検出すれば、照明の画素位置を検出できる。したがって、この検出した画素位置が白色となるように補正値を算出する。
ホワイトバランス補正の補正値は、例えば緑色画素を基準として、赤色画素に対する補正値（ゲイン）ＧＷredと青色画素に対する補正値（ゲイン）ＧＷblueを算出して、式（２）（３）に基づき赤色画素と青色画素の画素値を補正する。なお、式（２）において、「ＢＤred」は補正後の赤色画素の画素値、「ＢＣred」は補正前の赤色画素の画素値を示している。また、式（３）において、「ＢＤblue」は補正後の青色画素の画素値、「ＢＣblue」は補正前の青色画素の画素値を示している。
ＢＤred ＝ ＢＣred × ＧＷred ・・・（２）
ＢＤblue ＝ ＢＣblue × ＧＷblue ・・・（３）
補正処理部３１は、このようにして偏光画像のホワイトバランス補正を行い、補正後の偏光画像を偏光画像処理部３２へ出力する。
偏光画像処理部３２は、補正後の偏光画像から反射成分の分離または抽出を行い、分離または抽出した反射成分の偏光画像を法線情報生成部３５へ出力する。
法線情報生成部３５は、分離または抽出した反射成分の偏光画像から法線情報を生成する。法線情報生成部３５は、分離した反射成分毎または抽出した反射成分の偏光モデル式を求める。さらに、法線情報生成部３５は、偏光モデル式から方位角と天頂角を求めて法線情報とする。
図６は、偏光画像の輝度変化を説明するための図である。図６に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、偏光板ＰＬを介して被写体ＯＢを撮像部ＣＭで撮像する。この場合、撮像部ＣＭで生成される偏光画像は、偏光板ＰＬの回転に応じて被写体ＯＢの輝度が変化することが知られている。ここで、偏光板ＰＬを回転させたときの最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面方向としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｘｙ平面上の角度を偏光角υpolとする。偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。
図７は、輝度と偏光角の関係を例示している。図７の（Ａ）は拡散反射における輝度と偏光角の関係、図７の（Ｂ）は鏡面反射における輝度と偏光角の関係を示している。
拡散反射の場合、最大輝度Ｉdmaxが観測されたときの偏光角υpolを方位角φdとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉdpolの変化、すなわち偏光角の違いによって生じる所定の輝度変化を示す偏光モデル式は、式（４）のように表すことができる。
Figure 2016136085
式（４）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉdmaxと最小輝度Ｉdminおよび方位角φdが変数となる。したがって、法線情報生成部３５は、変数が３つであることから、偏光方向が３方向以上の拡散反射成分を表す偏光画像の輝度を用いて式（４）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す関数に基づき最大輝度となる方位角φdを判別する。
また、物体表面法線を極座標系で表現して、法線情報を方位角φdと天頂角θdとする。なお、天頂角θdはｚ軸から法線に向かう角度、方位角φdは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回転して得られた最小輝度Ｉdminと最大輝度Ｉdmaxを用いても式（５）の演算を行うことで偏光度ρdを算出できる。
Figure 2016136085
偏光度と天頂角と関係は、フレネルの式から例えば図８に示す特性を有することが知られており、図８に示す特性から偏光度ρdに基づいて天頂角θdを判別できる。なお、図８に示す特性は例示であって、被写体の屈折率に依存して特性は変化する。
また、鏡面反射の場合、最小輝度Ｉsminが観測されたときの偏光角υpolを方位角φsとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉspol、すなわち偏光角の違いによって生じる所定の輝度変化を示す偏光モデル式は、式（６）のように表すことができる。
Figure 2016136085
式（６）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉsmaxと最小輝度Ｉsminおよび方位角φsが変数となる。したがって、法線情報生成部３５は、変数が３つであることから、偏光方向が３方向以上の鏡面反射成分を表す偏光画像の輝度を用いて式（６）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す関数に基づき最小輝度となる方位角φsを判別する。
また、物体表面法線を極座標系で表現して、法線情報を方位角φsと天頂角θsとする。なお、天頂角θsはｚ軸から法線に向かう角度、方位角φsは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回転して得られた最小輝度Ｉsminと最大輝度Ｉsmaxを用いても式（７）の演算を行うことで偏光度ρsを算出できる。
Figure 2016136085
偏光度と天頂角と関係は、図９に示す特性を有することが知られており、図９に示す特性から偏光度ρsに基づいて天頂角を１または２つ判別できる。なお、図９に示す特性は例示であって、被写体の屈折率に依存して特性は変化する。また、図９では、２つの天頂角θs1，θs2が判別された場合を例示している。なお、天頂角が２つ判別される場合の処理については、後述する撮像システムの第２の実施の形態で説明する。
したがって、法線情報生成部３５は、偏光方向が３方向以上のそれぞれの反射成分の偏光画像に基づき、偏光方向と偏光画像の輝度から輝度と偏光角の関係を求めて方位角φd，φsを判別する。また、法線情報生成部３５は、輝度と偏光角の関係から得た最大輝度と最小輝度を用いて偏光度を算出して、偏光度と天頂角の関係を示す特性曲線に基づき、算出した偏光度に対応する天頂角θd，θsを判別する。このように、法線情報生成部３５は、偏光方向が３方向以上の偏光画像に基づき、被写体の法線情報（方位角と天頂角）を画素位置毎に求めて法線情報を生成する。
また、法線情報生成部３５は偏光方向が３方向以上の偏光画像から法線情報を生成するため、撮像部の偏光子は、偏光パターン単位ブロック内に、偏光方向が異なる少なくとも３方向以上の同一偏光画素ブロックを含めた構成とする。
撮像システム１０は、法線情報に対応する画像を出力する場合に無偏光画像生成部３９を設ける。無偏光画像生成部３９は、画像処理部３０の補正処理部３１で補正処理が行われた偏光画像から、偏光子を設けていない場合に相当する無偏光画像を生成する。図１０は、無偏光画像生成部の動作を説明するための図である。無偏光画像生成部３９は、撮像部２０が例えば図１０の（Ａ）に示すように構成されている場合（図２と同様）、２×２画素サイズの同一色のブロック内には、偏光方向が異なる４方向の偏光画素が含まれている。したがって、無偏光画像生成部３９は、図１０の（Ｂ）に示すように、２×２画素サイズの同一色のブロック毎に画素値の平均値を算出して無偏光画像の画素値とする。このような処理を行えば、水平方向および垂直方向の画素数がそれぞれ略（１／２）倍とされて色配列がベイヤー配列である無偏光画像を生成できる。
図１１は、撮像システムの基本動作を示すフローチャートである。ステップＳＴ１で撮像システム１０は偏光画像を生成する。撮像システム１０の撮像部２０は、消光比の高い偏光で複数偏光方向の偏光画像を生成してステップＳＴ２に進む。
ステップＳＴ２で撮像システム１０は偏光画像の補正処理を行う。撮像システム１０の補正処理部３１は、偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく偏光画像の処理を行うことができるように色毎のゲイン調整を行う。
図１２は、偏光画像の補正処理を示すフローチャートである。ステップＳＴ１１で補正処理部３１は、偏光画像を取得する。補正処理部３１は、撮像部２０で生成された偏光画像を取得してステップＳＴ１２に進む。
ステップＳＴ１２で補正処理部３１は、センサばらつき補正とシェーディング補正を行う。補正処理部３１は、予め計測等によって得られている補正値（ゲイン）を用いてセンサばらつき補正とシェーディング補正を行ってステップＳＴ１３に進む。
ステップＳＴ１３で補正処理部３１は、ホワイトバランス補正の補正値を算出する。補正処理部３１は、従来の撮像装置で行っているオートホワイトバランス補正の機構やユーザが自分で照明状況を指定する機構、または鏡面反射成分に基づいてホワイトバランス補正の補正値（ゲイン）を算出してステップＳＴ１４に進む。
ステップＳＴ１４で補正処理部３１は、ホワイトバランス補正を行う。補正処理部３１は、ステップＳＴ１３で算出した補正値を用いて偏光画像のホワイトバランス補正を行って、図１１のステップＳＴ３に進む。
ステップＳＴ３で撮像システム１０は偏光画像に対して反射成分処理を行う。撮像システム１０の偏光画像処理部３２は、ステップＳＴ２で補正処理が行われた偏光画像に対して反射成分を分離または抽出する処理を行い、ステップＳＴ４に進む。
ステップＳＴ４で撮像システム１０は法線情報を生成する。撮像システム１０の法線情報生成部３５は、分離または抽出した反射成分の偏光画像から法線情報を生成する。
ステップＳＴ５で撮像システム１０は出力画像を生成する。撮像システム１０の無偏光画像生成部３９は、ステップＳＴ２で補正処理が行われた偏光画像から偏光子を設けていない場合に相当する無偏光画像を生成する。
このように、撮像部では同時に複数の偏光方向の偏光画像を生成できるので、偏光画像の時間解像度の劣化を防止できる。このため、例えば動きを生じている被写体の偏光特性を容易に取得できる。また、撮像部は、同一偏光方向の複数の画素を同一偏光画素ブロックとして、同一偏光画素ブロックに各色の画素が含まれる構成とされているので、消光比の高い偏光で偏光画像を生成できる。さらに、消光比の高い偏光で生成された偏光画像を用いて反射成分を考慮した法線情報の生成が行われることから、精度の高い法線情報を生成できる。
＜２．撮像システムの第１の実施の形態＞
次に、撮像システムの第１の実施の形態について説明する。第１の実施の形態では、鏡面反射を除去した偏光画像から法線情報を生成することで、屋外などにおいて問題となる鏡面反射の影響が軽減された法線情報を生成する場合について説明する。
図１３は、第１の実施の形態の構成を示している。撮像システム１０は、撮像部２０と画像処理部３０を有している。また、画像処理部３０は、例えば補正処理部３１、偏光画像処理部３２、法線情報生成部３５、無偏光画像生成部３９を有しており、偏光画像処理部３２として鏡面反射除去部３３を用いている。
撮像部２０は、上述のように消光比の高い偏光で複数偏光方向の偏光画像を生成する。
撮像部２０は、センサ部の撮像面に、偏光子とカラーフィルタを設けている。偏光子は、消光比の高い偏光画像を生成できるように、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けた構成とする。カラーフィルタは、偏光子の同一偏光画素ブロックに所定の色毎の画素を設けた構成とする。撮像部２０は、生成した偏光画像を画像処理部３０へ出力する。
画像処理部３０の補正処理部３１は、撮像部２０で生成された偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく鏡面反射除去部３３で処理を行うことができるように色毎のゲイン調整を行う。補正処理部３１は、補正処理として例えば撮像素子の感度ばらつき補正やレンズのシェーディング補正、ホワイトバランス補正等を行い、補正後の偏光画像を鏡面反射除去部３３へ出力する。
鏡面反射除去部３３は、鏡面反射の影響を軽減するため、補正後の偏光画像から鏡面反射成分を除去する。鏡面反射除去部３３は、鏡面反射成分の除去された偏光画像すなわち拡散反射成分を抽出した偏光画像を法線情報生成部３５へ出力する。
鏡面反射は、撮像シーンにおいて支配的な光源が原因となって発生している。また、ホワイトバランスの補正では照明の色に合わせて補正値を調整するため、鏡面反射を発生させる照明の色は無彩色になっていると考えられる。この場合、照明の色を表すＲＧＢ値は同じ値となり、色差を求めることで鏡面反射成分を除去することが可能となる。したがって、鏡面反射除去部３３は、補正処理部３１によってホワイトバランス補正等がなされた偏光画像から式（８）に基づき、図１４に示すように同一偏光画素ブロック毎すなわち黒丸印の位置毎に色差Ｉ'υpolを求める。鏡面反射除去部３３は、このような処理を同一偏光画素ブロック毎に、ブロック内の赤色画素の画素値Ｒυpolと緑色画像の画素値Ｇυpolと青色画素の画素値Ｂυpolを用いて行い、鏡面反射成分が除去された画像である拡散反射成分のみの偏光画像を生成する。なお、図１４に示すように色配列がベイヤー配列で構成されている場合、緑色画素の画素値Ｇυpolは、例えば２つの緑色画素の画素値Ｇυ1，Ｇυ2の平均値とする。
Figure 2016136085
また、鏡面反射除去部３３は、例えば、光源が白色であるという仮定のもとで光源による鏡面反射成分が除かれた偏光画像を生成する。鏡面反射成分の除去では文献「D.Miyazaki, R.Tan, K.Hara, and K.Ikeuchi. Polarization-based inverse rendering from a single view.Proceedings of International Conference on Computer Vision, pages 982-987,2003」等に開示されている手法を用いてもよい。すなわち、式（９）に基づき色空間をＲＧＢ空間からＭ空間に変換して式（１０）に基づき鏡面反射成分が除去された画像を生成する。鏡面反射成分が除去された画像を式（１１）に基づきＭ空間からＲＧＢ空間に戻すことで、鏡面反射成分が除かれた偏光画像を生成できる。
Figure 2016136085
さらに、鏡面反射除去部３３は、文献「社団法人 画像処理学会 研究報告 2006-CVIM-155.2006/9/9. 二色性反射モデルに基づくリアルタイム鏡面反射成分除去.肥後智明、宮崎大輔、池内克史」等に記載されている手法を用いて鏡面反射成分を除去してもよい。この手法では、ＨＳＶ空間に射影したときに一つの色相（hue）空間において、拡散反射成分は彩度(saturation)と輝度(intensity）が比例の関係にあることを利用する。図１５はＨＳＶ空間を用いて鏡面反射成分を除去する処理を説明するための図である。鏡面反射除去部３３は、ＲＧＢ空間を変換した図１５の（Ａ）に示すＨＳＶ空間を用いて、色相毎に彩度と輝度の関係を図１５の（Ｂ）のようにプロットする。また、鏡面反射除去部３３は、図１５の（Ｃ）に示すように、近似された直線ＬＡに対して、輝度が予め設定した所定量より高い成分を鏡面反射成分として除去する。
法線情報生成部３５は、鏡面反射成分が除去された偏光画像すなわち拡散反射成分のみを示す偏光画像から法線情報を生成する。法線情報生成部３５は、偏光画像が拡散反射成分のみを示していることから、この偏光画像における４偏光方向の画素の輝度を用いて式（４）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す関数に基づき最大輝度となる方位角φdを判別する。また、式（５）の演算を行うことで偏光度ρdを算出して、偏光度ρdに基づいて天頂角θを判別する。法線情報生成部３５は、判別した方位角φdと天頂角θdを示す情報を法線情報とする。
図１６は、第１の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で撮像システム１０は偏光画像を生成する。撮像システム１０の撮像部２０は、図１１のステップＳＴ１と同様に、消光比の高い偏光で複数偏光方向の偏光画像を生成してステップＳＴ２２に進む。
ステップＳＴ２２で撮像システム１０は偏光画像の補正処理を行う。撮像システム１０の補正処理部３１は、図１１のステップＳＴ２と同様に、偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく偏光画像の処理を行うことができるように色毎のゲイン調整を行い、ステップＳＴ２３に進む。
ステップＳＴ２３で撮像システム１０は偏光画像に対して鏡面反射除去処理を行う。撮像システム１０の鏡面反射除去部３３は、ステップＳＴ２２で補正処理が行われた偏光画像から上述の手法を用いて鏡面反射成分の除去処理を行い、拡散反射成分の偏光画像を生成してステップＳＴ２４に進む。
図１７は鏡面反射の除去処理を示すフローチャートである。なお、図１７は偏光方向毎の色差を算出する場合を示している。ステップＳＴ３１で鏡面反射除去部３３は偏光画像を取得する。鏡面反射除去部３３は、補正処理部３１で補正処理が行われた偏光画像を取得してステップＳＴ３２に進む。
ステップＳＴ３２で鏡面反射除去部３３は色差を算出する。鏡面反射除去部３３は、偏光方向が同一である同一偏光画素ブロックにおける赤色画素と緑色画素Ｇと青色画素Ｂの画素値を用いて色差を算出してステップＳＴ３３に進む。
ステップＳＴ３３で鏡面反射除去部３３は色差の出力処理を行う。上述のように、色差は鏡面反射成分の影響がない値となることから、鏡面反射除去部３３は、ステップＳＴ３２で算出した色差を示す偏光画像を法線情報生成部３５に出力する。
図１８は鏡面反射の他の除去処理を示すフローチャートである。なお、図１８は鏡面反射成分が除かれた偏光画像を生成する場合を示している。ステップＳＴ４１で鏡面反射除去部３３は偏光画像を取得する。鏡面反射除去部３３は、補正処理部３１で補正処理が行われた偏光画像を取得してステップＳＴ４２に進む。
ステップＳＴ４２で鏡面反射除去部３３は鏡面反射除去画像を生成する。鏡面反射除去部３３は、上述の文献の開示された手法を用いて、鏡面反射成分が除去された偏光画像を生成してステップＳＴ４３に進む。
ステップＳＴ４３で鏡面反射除去部３３は偏光画像の出力処理を行う。鏡面反射除去部３３は、ステップＳＴ４２で生成した偏光画像、すなわち拡散反射成分の偏光画像を法線情報生成部３５に出力する。
図１６のステップＳＴ２４で撮像システム１０は法線情報を生成する。撮像システム１０の法線情報生成部３５は、拡散反射成分を示す偏光画像から法線情報を生成する。
ステップＳＴ２５で撮像システム１０は出力画像を生成する。撮像システム１０の無偏光画像生成部３９は、ステップＳＴ２２で補正処理が行われた偏光画像から偏光子を設けていない場合に相当する無偏光画像を生成する。
このように、第１の実施の形態では、偏光画像から鏡面反射成分を除去できる。また、偏光画像から鏡面反射成分を除去して得られた拡散反射成分を示す偏光画像から法線情報が生成される。したがって、物体表面で鏡面反射と拡散反射が生じるが、鏡面反射の影響を除去して精度よく法線情報を生成できるようになる。さらに、上述の基本構成の場合と同様に、偏光画像の時間解像度の劣化を防止できる。また、消光比の高い偏光で偏光画像を生成して、この偏光画像から法線情報を生成できる。
＜３．撮像システムの第２の実施の形態＞
次に、撮像システムの第２の実施の形態について説明する。第２の実施の形態では、鏡面反射成分と拡散反射成分の分離を行い、分離後の反射成分毎に生成した法線情報を統合する場合について説明する。
図１９は、第２の実施の形態の構成を示している。撮像システム１０は、撮像部２０と画像処理部３０を有している。画像処理部３０は、例えば補正処理部３１、偏光画像処理部３２、法線情報生成部３５、無偏光画像生成部３９を有している。また、画像処理部３０は、偏光画像処理部３２として反射成分分離部３４、法線情報生成部３５として鏡面反射法線情報生成部３６と拡散反射法線情報生成部３７と法線情報統合部３８を用いている。
撮像部２０は、上述のように消光比の高い偏光で複数偏光方向の偏光画像を生成する。
撮像部２０は、センサ部の撮像面に、偏光子とカラーフィルタを設けている。偏光子は、消光比の高い偏光画像を生成できるように、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けた構成とする。カラーフィルタは、偏光子の同一偏光画素ブロックに所定の色毎の画素を設けた構成とする。撮像部２０は、生成した偏光画像を画像処理部３０へ出力する。
画像処理部３０の補正処理部３１は、撮像部２０で生成された偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく鏡面反射除去部３３で処理を行うことができるように色毎のゲイン調整を行う。補正処理部３１は、補正処理として例えば撮像素子の感度ばらつき補正やレンズのシェーディング補正、ホワイトバランス補正等を行い、補正後の偏光画像を反射成分分離部３４へ出力する。
反射成分分離部３４は、鏡面反射成分と拡散反射成分を分離する。反射成分分離部３４では、上述のような手法を用いることで鏡面反射成分を分離できる。したがって、反射成分分離部３４は、鏡面反射除去部３３と同様な手法を用いることで、偏光画像を拡散反射成分の偏光画像と鏡面反射成分の偏光画像に分離する。反射成分分離部３４は、鏡面反射成分の偏光画像を鏡面反射法線情報生成部３６、拡散反射成分の偏光画像を拡散反射法線情報生成部３７へ出力する。
鏡面反射法線情報生成部３６は、偏光方向が３方向以上の鏡面反射成分の偏光画像の輝度を用いて上述の式（６）に示す偏光モデル式へのフィッティングを行い、輝度と偏光角の関係を示すフィッティング後の関数に基づき最小輝度となる方位角φsを判別する。また、鏡面反射法線情報生成部３６は、最小輝度Ｉsminと最大輝度Ｉsmaxを用いて上述の式（７）の演算を行うことで偏光度ρsを算出して、図９に示す特性から偏光度ρsに基づいて天頂角θsを１または２つ判別する。鏡面反射法線情報生成部３６は、判別した方位角φsと天頂角θsを示す情報を法線情報として法線情報統合部３８へ出力する。なお、鏡面反射法線情報生成部３６は、後述するように、法線情報統合部３８の統合処理で、偏光角の違いによって生じる輝度変化を用いて重み付けを行う場合、最小輝度Ｉsminと最大輝度Ｉsmaxを法線情報統合部３８へ出力する。また、鏡面反射法線情報生成部３６は、法線情報統合部３８の統合処理で、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いて重み付けを行う場合、フィッティング誤差Ｅsを法線情報統合部３８へ出力する。フィッティング誤差Ｅsは、所定の輝度変化を示す式（６）の偏光モデル式へのフィッティングを行った場合における関数値と偏光画像の輝度との差であり、例えば偏光方向毎の関数値と輝度との誤差についての積算値または平均値等を用いる。
拡散反射法線情報生成部３７は、偏光方向が３方向以上の拡散反射成分の偏光画像の輝度を用いて上述の式（４）に示す偏光モデル式へのフィッティングを行い、輝度と偏光角の関係を示すフィッティング後の関数に基づき最大輝度となる方位角φdを判別する。また、拡散反射法線情報生成部３７は、最小輝度Ｉdminと最大輝度Ｉdmaxを用いて上述の式（５）の演算を行うことで偏光度ρdを算出して、図８に示す特性から偏光度ρdに基づいて天頂角θdを判別する。拡散反射法線情報生成部３７は、判別した方位角φdと天頂角θdを示す情報を法線情報として法線情報統合部３８へ出力する。なお、拡散反射法線情報生成部３７は、後述するように、法線情報統合部３８の統合処理で、偏光角の違いによって生じる輝度変化を用いて重み付けを行う場合、最小輝度Ｉdminと最大輝度Ｉdmaxを法線情報統合部３８へ出力する。また、拡散反射法線情報生成部３７は、法線情報統合部３８の統合処理で、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いて重み付けを行う場合、フィッティング誤差Ｅdを法線情報統合部３８へ出力する。フィッティング誤差Ｅdは、所定の輝度変化を示す式（４）の関数へのフィッティングを行った場合における関数値と偏光画像の輝度との差であり、例えば偏光方向毎の関数値と輝度との誤差の積算値または平均値等を用いる。
法線情報統合部３８は、鏡面反射法線情報生成部３６で生成された法線情報と拡散反射法線情報生成部３７で生成された法線情報の統合処理を行う。法線情報統合部３８は、法線情報の統合処理として、例えば取得した法線情報を平均化する。具体的には式（１２）に基づいて統合処理を行い、方位角φdsを生成する。また、鏡面反射法線情報生成部３６では天頂角θs1，θs2が判別される場合があるため、式（１３）または式（１４）に基づいて統合処理を行い、天頂角θdsを決定する。
Figure 2016136085
また、法線情報統合部３８は、鏡面反射法線情報生成部３６で生成された法線情報と拡散反射法線情報生成部３７で生成された法線情報に対して、拡散反射と鏡面反射の何れが支配的であるかに応じた重み付けで統合処理を行ってもよい。重み付けは、例えば偏光角の違いによって生じる輝度変化を用いてもよく、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いてもよい。
次に、偏光角の違いによって生じる輝度変化を用いて重み付けを行う場合について説明する。法線情報統合部３８は、偏光角の違いによって生じる輝度変化が大きい反射成分を支配的な反射成分とする。すなわち、法線情報統合部３８は、反射成分毎の輝度の振幅を算出して振幅が大きい方を選択することで、法線情報を統合する。また、鏡面反射成分においては、２つの天頂角が判別される場合があるため、拡散反射成分について求めた天頂角に近い方を選択する。式（１５）は拡散反射成分の振幅Ａdの算出式、式（１６）は鏡面反射成分の振幅Ａsの算出式を示している。
Ａd ＝ Ｉdmax−Ｉdmin ・・・（１５）
Ａs ＝ Ｉsmax−Ｉsmin ・・・（１６）
法線情報統合部３８は、式（１７）に示すように、拡散反射成分の振幅と鏡面反射成分の振幅を用いた重み付けで統合処理を行い、方位角φdsを生成する。また、法線情報統合部３８は、式（１８）（１９）に示すように、拡散反射成分の振幅と鏡面反射成分の振幅を用いた重み付けで統合処理を行い、天頂角θdsを生成する。
Figure 2016136085
次に、偏光角の違いによって生じる所定の輝度変化に対する誤差を用いて重み付けを行う場合について説明する。法線情報統合部３８は、所定の輝度変化に対する誤差であるフィッティング誤差が少ない方を選択することで、法線情報を統合する。また、鏡面反射成分においては、２つの天頂角が判別される場合があるため、拡散反射成分について求めた天頂角に近い方を選択する。法線情報統合部３８は、式（２０）に示すように、拡散反射成分のフィッティング誤差Ｅdと鏡面反射成分のフィッティング誤差Ｅsを用いた重み付けで統合処理を行い、方位角φdsを生成する。また、法線情報統合部３８は、式（２１）（２２）に示すように、拡散反射成分のフィッティング誤差Ｅdと鏡面反射成分のフィッティング誤差Ｅsを用いた重み付けで統合処理を行い、天頂角θdsを生成する。
Figure 2016136085
また、法線情報統合部３８は、法線情報の統合として拡散反射成分の偏光画像から生成した法線情報と鏡面反射成分の偏光画像から生成した法線情報の何れかを選択してもよい。ここで、法線情報統合部３８は、拡散反射と鏡面反射の何れか支配的である反射の法線情報を選択する。法線情報統合部３８は、例えば、偏光角の違いによって生じる輝度変化の大きい反射を支配的であるとして、拡散反射成分の振幅Ａdと鏡面反射成分の振幅Ａsのいずれか振幅が大きい方の法線情報を選択する。また、法線情報統合部３８は、偏光角の違いによって生じる所定の輝度変化に対する誤差の少ない反射が支配的であるとして、拡散反射成分のフィッティング誤差Ｅdと鏡面反射成分のフィッティング誤差Ｅsのいずれか誤差が少ない方の法線情報を選択する。また、法線情報統合部３８は、周囲の法線情報との誤差を判別して、誤差が少ない方の法線情報を選択してもよい。また、法線情報統合部３８は、これらの方法を組み合わせて法線情報の選択を行ってもよく、他の方法も組み合わせて法線情報の選択を行うようにしてもよい。さらに、鏡面反射成分の法線情報が選択されて、上述のように２つの天頂角θs1，θs2が判別されている場合、法線情報統合部３８は、拡散反射成分の法線情報で示された天頂角θdとの角度差が少ない方の天頂角を、天頂角θs1，θs2から選択する。
図２０は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ５１で撮像システム１０は偏光画像を生成する。撮像システム１０の撮像部２０は、図１１のステップＳＴ１と同様に、消光比の高い偏光で複数偏光方向の偏光画像を生成してステップＳＴ５２に進む。
ステップＳＴ５２で撮像システム１０は偏光画像の補正処理を行う。撮像システム１０の補正処理部３１は、図１１のステップＳＴ２と同様に、偏光画像に対して、照明光の違いや撮像素子の特性ばらつき等の影響を受けることなく偏光画像の処理を行うことができるように色毎のゲイン調整を行い、ステップＳＴ５３に進む。
ステップＳＴ５３で撮像システム１０は偏光画像に対して反射成分分離処理を行う。撮像システム１０の反射成分分離部３４は、ステップＳＴ５２で補正処理が行われた偏光画像から上述の手法を用いて鏡面反射成分と拡散反射成分を分離してステップＳＴ５４，５５に進む。
ステップＳＴ５４で撮像システム１０は鏡面反射成分に基づき法線情報を生成する。撮像システム１０の鏡面反射法線情報生成部３６は、鏡面反射成分の偏光画像から法線情報を生成してステップＳＴ５６に進む。
ステップＳＴ５５で撮像システム１０は拡散反射成分に基づき法線情報を生成する。撮像システム１０の拡散反射法線情報生成部３７は、拡散反射成分の偏光画像から法線情報を生成してステップＳＴ５６に進む。
ステップＳＴ５６で撮像システム１０は法線情報統合処理を行う。撮像システム１０の法線情報統合部３８は、ステップＳＴ５４で取得した法線情報とステップＳＴ５５で取得した法線情報を統合する。
ステップＳＴ５７で撮像システム１０は無偏光画像を生成する。撮像システム１０の無偏光画像生成部３９は、ステップＳＴ５２で補正処理が行われた偏光画像から偏光子を設けていない場合に相当する無偏光画像を生成する。
このように、第２の実施の形態では、偏光画像から鏡面反射成分と拡散反射成分を分離できる。また、反射成分毎に法線情報が生成される。また、反射成分毎に生成された法線情報が統合される。さらに、法線情報の統合では、物体表面の反射が鏡面反射成分と拡散反射成分の何れが支配的であるかに応じて法線情報の統合が行われる。したがって、鏡面反射を考慮して精度よく法線情報を生成できる。さらに、上述の基本構成の場合と同様に、偏光画像の時間解像度の劣化を防止できる。また、消光比の高い偏光で偏光画像を生成して、この偏光画像から法線情報を生成できる。
＜４．撮像部の他の構成＞
ところで、撮像部の構成は、図２に示す構成に限られない。図２１〜図２４は、撮像部の他の構成を例示しており、カラーフィルタは、所定の色配列の単位である色パターン単位ブロックを画素の行方向と列方向に繰り返し設ける。また、偏光子は、同一偏光画素ブロックを色パターン単位ブロックと等しいサイズとする。
図２１において、撮像部の偏光子２１は、図２１の（Ａ）のように、偏光方向が等しい２×２画素単位を同一偏光画素ブロックとする。また、偏光子２１は、偏光方向が互いに異なる４つの同一偏光画素ブロックからなる４×４画素の偏光パターン単位ブロックを、画素の行方向と列方向に繰り返し設けた構成とする。
また、カラーフィルタ２２は、図２１の（Ｂ）に示すように、１つの赤色画素Ｒと青色画素Ｂおよび２つの緑色画素Ｇからなる２×２画素のブロックを色パターン単位ブロックとする。また、カラーフィルタ２２は、この色パターン単位ブロックを画素の行方向と列方向に繰り返し設けたベイヤー配列の構成とする。
さらに、偏光子とカラーフィルタは、図２１の（Ｃ）に示すように、同一偏光画素ブロックと色パターン単位ブロックの位置が一致した構成とする。なお、図２１の（Ｃ）（Ｄ）および後述する図２２の（Ｃ）（Ｄ），図２３の（Ｃ）（Ｄ），図２４の（Ｃ）では、画素の構成を判別しやすいように画素を拡大して示している。
このように撮像部を構成した場合、同一偏光画素ブロックは図２に示す場合と同様に２×２画素単位であることから、図２に示す撮像部と同様に消光比の高い偏光で偏光画像を生成できる。
また、この構成の撮像部を用いた場合、無偏光画像生成部は、図２１の（Ｄ）に示すように、所定の色毎に、偏光方向が異なっている最も近傍する４つの画素の画素値平均を算出して、無偏光画像の色毎の画素値とする。なお、図２１の（Ｄ）では赤色画素の場合を例示している。この場合、無偏光画像の画素数は、水平および垂直方向の画素数が図１０の（Ｂ）で示したように略（１／２）倍となってしまうことがない。また、色毎に偏光方向が異なり最も近傍する４つの画素の画素値平均を順次算出して無偏光画像の画素値とすることから、色配列がベイヤー配列である無偏光画像を容易に生成できる。
図２２において、撮像部の偏光子２１は、図２２の（Ａ）のように、偏光方向が等しい２×２画素単位を同一偏光画素ブロックとする。また、偏光子２１は、偏光方向が互いに異なる４つの同一偏光画素ブロックからなる４×４画素の偏光パターン単位ブロックを画素の行方向と列方向に繰り返し設ける。また、偏光子２１は、例えば水平方向に隣接する同一偏光画素ブロックの偏光方向が９０度の差を有するように構成する。
また、カラーフィルタ２２は、図２２の（Ｂ）に示すように、１つの赤色画素Ｒと青色画素Ｂおよび２つの緑色画素Ｇからなる２×２画素のブロックを色パターン単位ブロックとする。また、カラーフィルタ２２は、この色パターン単位ブロックを画素の行方向と列方向に繰り返し設けたベイヤー配列の構成とする。
さらに、偏光子とカラーフィルタは、図２２の（Ｃ）に示すように、同一偏光画素ブロックと色パターン単位ブロックの位置が一致した構成とする。
このように撮像部を構成した場合、無偏光画像生成部は、図２２の（Ｄ）に示すように、偏光方向が９０度の差を有しており水平方向に最も近接した２つの画素値の平均値を色毎に算出して、無偏光画像の画素値とする。したがって、無偏光画像の画素数は、水平および垂直方向が図１０の（Ｂ）で示したように略（１／２）倍となってしまうことがない。また、色毎に２つの画素値の平均値を無偏光の画素値として用いることから、色配列がベイヤー配列である無偏光画像を容易に生成できる。
なお、図２２では、偏光方向が９０度異なる同一偏光画素ブロックを水平方向に隣接して設けた場合を例示しているが、垂直方向に隣接して設ける構成であってもよい。この場合、無偏光画像生成部３９は、色毎に偏光方向が９０度の差を有しており垂直方向に最も近接した２つの画素値の平均値を無偏光画像の画素値とする。
図２３において、撮像部の偏光子２１は、図２３の（Ａ）のように、２×２画素単位の同一偏光画素ブロックに無偏光の１画素を設ける。また、偏光子２１は、偏光方向が互いに異なる４つの同一偏光画素ブロックからなる４×４画素の偏光パターン単位ブロックを画素の行方向と列方向に繰り返し設ける。
また、カラーフィルタ２２は、図２３の（Ｂ）に示すように、同一偏光画素ブロック内の３つの偏光画素は赤色画素Ｒと緑色画素Ｇと青色画素Ｂとする。さらに、同一偏光画素ブロック内の１つの無偏光画素は、各同一偏光画素ブロックから無偏光画素を選択したときの色配列が所望の色配列、例えば図２３の（Ｃ）に示すベイヤー配列となるように画素の色を設定する。
このように撮像部を構成した場合、無偏光画像生成部は、図２３の（Ｄ）に示すように、各同一偏光画素ブロックから無偏光画素を選択することで、水平および垂直方向のサイズが略（１／２）倍で色配列がベイヤー配列である無偏光画像を容易に生成できる。また、偏光画素を用いないことから、偏光による影響を受けることなく無偏光画像を生成できる。
図２４において、撮像部の偏光子２１は、偏光方向が異なる同一偏光画素ブロックを、画素の行方向に所定の順序で繰り返して設ける。また、次の行では、前の行に対してブロック位置の差を行方向に生じさせて、前の行と異なる偏光方向の同一偏光画素ブロックを、行方向に所定の順序で繰り返して設ける。偏光子２１は、例えば図２４の（Ａ）のように、偏光方向が等しい２×２画素単位を同一偏光画素ブロックとする。また、偏光子２１は、水平方向に隣接する同一偏光画素ブロックの偏光方向が９０度の差を有するように構成する。また、偏光子２１は、水平方向に並んだ同一偏光画素ブロックに対して、次の行の同一偏光画素ブロック群すなわち垂直方向下側に隣接する同一偏光画素ブロックは、前の行の同一偏光画素ブロックと異なる偏光方向であって水平方向に隣接する同一偏光画素ブロックの偏光方向が９０度の差を有するように構成する。さらに、偏光子２１は、次の行の同一偏光画素ブロック群は、前の行の同一偏光画素ブロック群に対して水平方向に１画素分だけブロック位置の差を生じた構成とする。
また、カラーフィルタ２２は、図２４の（Ｂ）に示すように、１つの赤色画素Ｒと青色画素Ｂおよび２つの緑色画素Ｇからなる２×２画素のブロックを色パターン単位ブロックとする。また、カラーフィルタ２２は、この色パターン単位ブロックを画素の行方向と列方向に繰り返し設けたベイヤー配列の構成とする。
さらに、偏光子とカラーフィルタは、図２４の（Ｃ）に示すように、同一偏光画素ブロックと色パターン単位ブロックの位置が一致した構成とする。
このように撮像部を構成した場合、無偏光画像生成部は、図２２の（Ｄ）の場合と同様に、偏光方向が９０度の差を有しており水平方向に最も近接した２つの画素値の平均値を色毎に算出して、無偏光画像の画素値とする。したがって、無偏光画像の画素数は、水平および垂直方向の画素数が図１０の（Ｂ）で示したように略（１／２）倍となってしまうことがない。また、色毎に２つの画素値の平均値を無偏光の画素値として用いることから、色配列がベイヤー配列である無偏光画像を容易に生成できる。
なお、図２４では、偏光方向が９０度の差を有する同一偏光画素ブロックを行方向（水平方向）に並んで設けた場合を例示しているが、列方向（垂直方向）に並んで設けて、次の列の同一偏光画素ブロック群は垂直方向に１画素分だけ移動した位置としてもよい。この場合、無偏光画像生成部は、偏光方向が９０度の差を有しており垂直方向に最も近接した２つの画素値の平均値を色毎に算出して、無偏光画像の画素値とする。
さらに、次の行（列）の同一偏光画素ブロックは水平方向（垂直方向）に１画素分だけブロック位置が移動していることから、図２２の構成に比べて、法線情報の空間解像度を高めることが可能となる。
さらに、図２および図２１乃至図２４では、同一偏光画素ブロックが赤色画素と緑色画素と青色画素で構成されている場合を例示したが、同一偏光画素ブロックに白色画素を設ける構成としてもよい。図２５は、白色画素を設けた場合の構成と動作を説明するための図である。図２５の（Ａ）は、図２に示す撮像部２０に白色画素（Ｗ）を設けた場合を例示している。撮像部２０では、偏光子を設けたことで感度が下がりやすい。したがって、予め設定した輝度レベル以下である暗い画像部分では図２５の（Ｂ）に示すように白色画素で偏光解析を行う。また、設定した輝度レベルよりも明るい画像部分では図２５の（Ｃ）に示すように赤色画素と緑色画素と青色画素を用いて偏光解析を行い、法線情報を生成する。また、暗い画像部分は鏡面反射成分が少ないので、拡散反射成分のみの画像として法線情報を生成する。このようにすれば、法線情報の生成におけるダイナミックレンジを、白色画素を設けていない場合に比べて拡大できる。
また、鏡面反射成分の除去処理で色差を算出する場合、Ｗ＝Ｒ＋Ｇ＋Ｂと仮定すれば、式（８）は式（２３）に置き換えることができる。また、白色画素はＳ／Ｎ比が良好であることから、色差の算出においてノイズの影響を受けにくい。
Figure 2016136085
図２６は、撮像部の他の構成において白色画素を設けた場合を例示している。図２６の（Ａ）は、図２１に示す構成の撮像部に白色画素を設けた場合を示している。図２６の（Ｂ）は、図２２に示す構成の撮像部に白色画素を設けた場合を示している。図２６の（Ｃ）は、図２４に示す構成の撮像部に白色画素を設けた場合を示している。
このような撮像部の他の構成でも、複数の偏光方向の偏光画像を同時に生成できるので、偏光画像の時間解像度の劣化を防止できる。また、撮像部は、同一偏光方向の複数の画素を同一偏光画素ブロックとして、同一偏光画素ブロックに各色の画素が含まれる構成とされているので、消光比の高い偏光で偏光画像を生成できる。さらに、消光比の高い偏光で生成された偏光画像を用いることで、法線情報を精度よく生成できる。なお、撮像部の色配列はベイヤー配列に限らず他の色配列であってもよい。
また、上述の実施の形態では同一偏光画素ブロックのサイズを２×２画素としたが、撮像部の高解像度化によって画素サイズが小さくなると２×２画素のサイズでも十分な消光比を得られないおそれがある。このような場合、例えば同一偏光画素ブロックを拡大して４×４画素とすれば、十分な消光比の偏光画像を取得できる。この場合も、無偏光画像は、偏光方向が直交する同一色の２つの近傍画素の平均値、偏光方向が直交する同一色の４つの近傍画素の平均値の算出、平均値を算出した画素位置間の画素について算出した平均値から画素値を算出する処理等を行えば容易に生成できる。
なお、上述のフローチャートで示した処理は、ステップ順に処理を行う順序処理に限らず、パイプライン処理や並列処理で行ってもよい。また、カラーフィルタは上述のように原色系に限らず補色系のカラーフィルタを用いてもよい。
＜５．適用例＞
次に、画像処理装置（画像処理方法）の適用例について説明する。図２７は、この技術の画像処理装置を用いた車両制御システムの概略構成を例示したブロック図である。車両制御システム９０は、通信ネットワーク９２０を介して接続された複数の制御部や検出部を備える。図２７に示した例では、車両制御システム９０は、駆動系制御部９３１、ボディ系制御部９３２、バッテリ制御部９３３、車外情報検出部９３４、無線通信部９３５および統合制御部９４０を備える。通信ネットワーク９２０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）またはＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。また、統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。
各制御部は、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラムまたは各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。
駆動系制御部９３１は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御部９３１は、内燃機関または駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構として機能する。また、駆動系制御部９３１は、車両の制動力を発生させる制動装置等の制御装置としての機能、ＡＢＳ（Antilock Brake System）またはＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御部９３１には、車両状態検出部９３１１が接続される。車両状態検出部９３１１には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数または走行速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御部９３１は、車両状態検出部９３１１から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置またはブレーキ装置等を制御する。
ボディ系制御部９３２は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御部９３２は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカーまたはフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御部９３２には、鍵を代替する携帯機から発信される電波または各種スイッチの信号が入力され得る。ボディ系制御部９３２は、これらの電波または信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御部９３３は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池９３３１を制御する。例えば、バッテリ制御部９３３には、二次電池９３３１を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧またはバッテリの残存容量等の情報が入力される。バッテリ制御部９３３は、これらの信号を用いて演算処理を行い、二次電池９３３１の温度調節制御またはバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出部９３４は、車両制御システム９０を搭載した車両の外部の情報を検出する。車外情報検出部９３４では、この技術の画像処理装置を用いた撮像システムを利用する。
図２８は、撮像部の設置例を示した図である。撮像システムの撮像部２０は、例えば、車両８０のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２０-Ａおよび車室内のフロントガラスの上部に備えられる撮像部２０-Ｂは、主として車両８０の前方の画像を取得する。サイドミラーに備えられる撮像部２０-Ｃ，２０-Ｄは、主として車両８０の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像部２０-Ｅは、主として車両８０の後方の画像を取得する。なお、図２８には、それぞれの撮像部２０-Ａ乃至２０-Ｅの撮影範囲の一例を示している。撮像範囲ＡＲ-ａは、フロントノーズに設けられた撮像部２０-Ａの撮像範囲を示し、撮像範囲ＡＲ-ｃ，ＡＲ-ｄは、それぞれサイドミラーに設けられた撮像部２０-Ｃ，２０-Ｄの撮像範囲を示し、撮像範囲ＡＲ-ｅは、リアバンパまたはバックドアに設けられた撮像部２０-Ｅの撮像範囲を示す。
図２７に戻り、車外情報検出部９３４は、車両の周辺領域を撮像して偏光画像を取得する。また、車外情報検出部９３４は、取得した偏光画像から反射成分の分離または抽出を行い、車両制御等に利用可能な情報、例えば反射成分を分離して取り除いた画像の生成等を行う。
無線通信部９３５は、ＤＳＲＣ（登録商標）（Dedicated Short Range Communication）等の無線通信網を介して車外、例えば他車両や道路状況等を管理する管理センタと通信を行い、受信した情報を統合制御部９４０に出力する。また、無線通信部９３５は車外情報検出部９３４で取得した情報を他車両や管理センタ等へ送信してもよい。なお、無線通信部９３５は、無線ＬＡＮの無線通信網、３Ｇ，ＬＴＥ，４Ｇなどの携帯電話用の無線通信網等の無線通信網を介して管理センタとの通信を行ってもよい。また、無線通信部９３５は、全地球測位システム（GNSS：Global Navigation Satellite System）の信号等を受信して測位を行い、測位結果を統合制御部９４０へ出力してもよい。
統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。入力部９５１は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチまたはレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部９５１は、搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御部９４０に出力する。
音声出力部９５２は、統合制御部９４０からの音声信号に基づいた音声を出力することで、車両の搭乗者に対して聴覚的に情報を通知する。表示部９５３は、統合制御部９４０からの画像信号に基づいて画像表示を行い、車両の搭乗者に対して視覚的に情報を通知する。
統合制御部９４０は、ＣＰＵ(Central Processing Unit)，ＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read Only Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random Access Memory）は、各種パラメータ、演算結果またはセンサ値等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、入力部９５１からの入力信号および通信ネットワーク９２０を介した各制御部や車外情報検出部および無線通信部との通信によって取得した情報、およびＲＡＭに記憶されている情報等に応じて車両制御システム９０内の動作全般を制御する。また、統合制御部９４０は、車両の搭乗者に対して、聴覚的に通知する情報を示す音声信号を生成して音声出力部９５２へ出力して、視覚的に情報を通知する画像信号を生成して表示部９５３へ出力する。また、統合制御部９４０は、無線通信部９３５を用いて他車両や管理センタ等の車外に存在する様々な機器と通信を行う。また、統合制御部９４０は、ＲＯＭまたはＲＡＭに記憶されている地図情報と無線通信部９３５から取得した測位結果に基づき、車両の走行支援を行う。
なお、図２７に示した例において、通信ネットワーク９２０を介して接続された少なくとも二つの制御部が一つの制御部として一体化されてもよい。あるいは、個々の制御部が、複数の制御部により構成されてもよい。さらに、車両制御システム９０が、図示されていない別の制御部を備えてもよい。また、上記の説明において、いずれかの制御部が担う機能の一部または全部を、他の制御部に持たせてもよい。つまり、通信ネットワーク９２０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御部で行われるようになってもよい。
このような車両制御システムにおいて、本技術の画像処理装置を例えば車外情報検出部に適用した場合、車外情報検出部では、例えば反射成分を分離して取り除いた周辺領域の画像に基づき被写体認識を行うことで、反射光によって認識しにくくなっている被写体をｙ容易に認識できるようになる。したがって、本技術の画像処理装置（画像処理方法）を用いることで、安全な走行を可能とする車両制御システムを構築できる。また、反射光によって認識しにくくなっている被写体を容易に認識できることから、監視システム等にも適用できる。
また、明細書中において説明した一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータに、上述の処理を行うプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した実施の形態に限定して解釈されるべきではない。この実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて前記同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子によって生成された偏光画像を用いて、反射成分の分離または抽出を行う偏光画像処理部
を備える画像処理装置。
（２） 前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分の抽出を行う（１）に記載の画像処理装置。
（３） 前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分と鏡面反射成分の分離を行う（１）に記載の画像処理装置。
（４） 前記偏光画像処理部で前記反射成分の分離または抽出が行われた偏光画像から法線情報を生成する法線情報生成部をさらに備える（１）に記載の画像処理装置。
（５） 前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分の抽出を行い、
前記法線情報生成部は、前記偏光画像処理部で抽出された拡散反射成分を示す偏光画像から前記法線情報を生成する（４）に記載の画像処理装置。
（６） 前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分と鏡面反射成分の分離を行い、
前記法線情報生成部は、前記偏光画像処理部で分離された拡散反射成分を示す偏光画像から生成された法線情報と前記偏光画像処理部で分離された鏡面反射成分を示す偏光画像から生成された法線情報とを統合する（４）に記載の画像処理装置。
（７） 前記法線情報生成部は、前記拡散反射成分を示す偏光画像と前記鏡面反射成分を示す偏光画像に対して、重み付けを行って前記法線情報を統合する（６）に記載の画像処理装置。
（８） 前記法線情報生成部は、拡散反射と鏡面反射の何れが支配的であるかに応じた重み付けを行って、前記法線情報を統合する（７）に記載の画像処理装置。
（９） 前記法線情報生成部は、偏光角の違いによって生じる輝度変化が大きい反射成分を前記支配的な反射成分とする（８）に記載の画像処理装置。
（１０） 前記法線情報生成部は、偏光角の違いによって生じる所定の輝度変化に対する誤差が少ない反射成分を前記支配的な反射成分とする（８）に記載の画像処理装置。
（１１） 前記偏光画像に対して前記所定の色毎のゲイン調整を行う補正処理部を備え、
前記偏光画像処理部は、前記補正処理部でゲイン調整が行われた偏光画像に対して前記反射成分の分離または抽出を行う（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記偏光画像から、色毎に、偏光方向が直交する画素を用いて無偏光の画像を生成する無偏光画像生成部をさらに備える（１）乃至（１１）のいずれかに記載の画像処理装置。
この技術の画像処理装置と画像処理方法および撮像素子によれば、同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて前記同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子で生成された偏光画像に対して、反射成分の分離または抽出する処理が行われる。このため、例えば反射成分を考慮して精度の高い法線情報を生成できる。したがって、被写体の３次元形状を取得する機器等に適している。
１０・・・撮像システム
２０・・・撮像部
２１・・・偏光子
２２・・・カラーフィルタ
３０・・・画像処理部
３１・・・補正処理部
３２・・・偏光画像処理部
３３・・・鏡面反射除去部
３４・・・反射成分分離部
３５・・・法線情報生成部
３６・・・鏡面反射法線情報生成部
３７・・・拡散反射法線情報生成部
３８・・・法線情報統合部
３９・・・無偏光画像生成部
８０・・・車両
９０・・・車両制御システム

Claims (20)

  1. 同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けて前記同一偏光画素ブロックに所定の色毎の画素を設けた構成の撮像素子によって生成された偏光画像を用いて、反射成分の分離または抽出を行う偏光画像処理部
    を備える画像処理装置。
  2. 前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分の抽出を行う
    請求項１記載の画像処理装置。
  3. 前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分と鏡面反射成分の分離を行う
    請求項１記載の画像処理装置。
  4. 前記偏光画像処理部で前記反射成分の分離または抽出が行われた偏光画像から法線情報を生成する法線情報生成部をさらに備える
    請求項１記載の画像処理装置。
  5. 前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分の抽出を行い、
    前記法線情報生成部は、前記偏光画像処理部で抽出された拡散反射成分を示す偏光画像から前記法線情報を生成する
    請求項４記載の画像処理装置。
  6. 前記偏光画像処理部は、前記偏光画像を用いて拡散反射成分と鏡面反射成分の分離を行い、
    前記法線情報生成部は、前記偏光画像処理部で分離された拡散反射成分を示す偏光画像から生成された法線情報と前記偏光画像処理部で分離された鏡面反射成分を示す偏光画像から生成された法線情報とを統合する
    請求項４記載の画像処理装置。
  7. 前記法線情報生成部は、前記拡散反射成分を示す偏光画像と前記鏡面反射成分を示す偏光画像に対して、重み付けを行って前記法線情報を統合する
    請求項６記載の画像処理装置。
  8. 前記法線情報生成部は、拡散反射と鏡面反射の何れが支配的であるかに応じた重み付けを行って、前記法線情報を統合する
    請求項７に記載の画像処理装置。
  9. 前記法線情報生成部は、偏光角の違いによって生じる輝度変化が大きい反射成分を前記支配的な反射成分とする
    請求項８記載の画像処理装置。
  10. 前記法線情報生成部は、偏光角の違いによって生じる所定の輝度変化に対する誤差が少ない反射成分を前記支配的な反射成分とする
    請求項８記載の画像処理装置。
  11. 前記偏光画像に対して前記所定の色毎のゲイン調整を行う補正処理部を備え、
    前記偏光画像処理部は、前記補正処理部でゲイン調整が行われた偏光画像に対して前記反射成分の分離または抽出を行う
    請求項１記載の画像処理装置。
  12. 前記偏光画像から、色毎に、偏光方向が直交する画素を用いて無偏光の画像を生成する無偏光画像生成部をさらに備える
    請求項１記載の画像処理装置。
  13. 同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設け、前記同一偏光画素ブロックには各色の画素を設けた構成の撮像素子によって生成された所定の色毎の偏光画像を用いて、偏光画像処理部で反射成分の分離または抽出を行うことを
    含む画像処理方法。
  14. 同一偏光方向の複数画素からなる同一偏光画素ブロックを複数の偏光方向毎に設けた偏光子と、
    前記偏光子の前記同一偏光画素ブロックに所定の色毎の画素を設けたカラーフィルタと、
    前記偏光子と前記カラーフィルタを透過した被写体光に基づき画像信号を生成するセンサ部と
    を備える撮像素子。
  15. 前記カラーフィルタは、所定の色配列の画素ブロックである色パターン単位ブロックを画素の行方向と列方向に繰り返し設けて構成し、
    前記偏光子は、前記同一偏光画素ブロックを複数の偏光方向毎に設けた画素ブロックである偏光パターン単位ブロックを画素の行方向と列方向に繰り返し設けて構成し、
    前記色パターン単位ブロックと前記偏光パターン単位ブロックとの位置差を生じさせて、前記同一偏光画素ブロックに所定の色毎の画素を設けた
    請求項１４記載の撮像素子。
  16. 前記カラーフィルタは、所定の色配列の単位である色パターン単位ブロックを画素の行方向と列方向に繰り返し設けて構成し、
    前記偏光子の前記同一偏光画素ブロックは前記色パターン単位ブロックと等しいサイズとする
    請求項１４記載の撮像素子。
  17. 前記偏光子は、偏光方向が直交する前記同一偏光画素ブロックを、画素の行方向または列方向に交互に設けた
    請求項１６記載の撮像素子。
  18. 前記偏光子は、偏光方向が異なる前記同一偏光画素ブロックを、画素の行方向（または列方向）に所定の順序で繰り返して設け、次の行（または列）では、前の行（または列）に対してブロック位置の差を行方向（または列方向）に生じさせて、前の行（または列）と異なる偏光方向の前記同一偏光画素ブロックを、行方向（または列方向）に所定の順序で繰り返して設けた
    請求項１６記載の撮像素子。
  19. 前記偏光子は、前記同一偏光画素ブロックに無偏光の画素を設け、
    前記カラーフィルタは、前記無偏光の画素を選択したときの色配列が所望の配列となるように、前記無偏光の画素に対して色を設定した
    請求項１６記載の撮像素子。
  20. 前記カラーフィルタは、前記同一偏光画素ブロックに三原色の画素と白色の画素を設けた
    請求項１４記載の撮像素子。
JP2017501864A 2015-02-27 2015-12-08 画像処理装置と画像処理方法および撮像素子 Active JP6673327B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015038164 2015-02-27
JP2015038164 2015-02-27
PCT/JP2015/084400 WO2016136085A1 (ja) 2015-02-27 2015-12-08 画像処理装置と画像処理方法および撮像素子

Publications (2)

Publication Number Publication Date
JPWO2016136085A1 true JPWO2016136085A1 (ja) 2017-12-07
JP6673327B2 JP6673327B2 (ja) 2020-03-25

Family

ID=56789644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017501864A Active JP6673327B2 (ja) 2015-02-27 2015-12-08 画像処理装置と画像処理方法および撮像素子

Country Status (6)

Country Link
US (1) US10362280B2 (ja)
EP (1) EP3264754B1 (ja)
JP (1) JP6673327B2 (ja)
CN (1) CN107251553B (ja)
TW (1) TWI682671B (ja)
WO (1) WO2016136085A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2929648T3 (es) * 2015-04-30 2022-11-30 Sony Group Corp Dispositivo de procesamiento de imágenes, método de procesamiento de imágenes y programa
JP6697681B2 (ja) * 2016-08-17 2020-05-27 ソニー株式会社 検査装置、検査方法、およびプログラム
WO2018061508A1 (ja) * 2016-09-28 2018-04-05 ソニー株式会社 撮像素子、画像処理装置、および画像処理方法、並びにプログラム
WO2018207661A1 (ja) * 2017-05-11 2018-11-15 ソニー株式会社 光センサ、及び、電子機器
US10168273B1 (en) * 2017-07-01 2019-01-01 Kla-Tencor Corporation Methods and apparatus for polarizing reticle inspection
JP7230824B2 (ja) * 2017-11-21 2023-03-01 ソニーグループ株式会社 画像処理装置、画像処理方法およびプログラム
CN111356895A (zh) * 2017-11-24 2020-06-30 索尼公司 检测装置以及生产电子装置的方法
US11637967B2 (en) 2018-04-09 2023-04-25 Sony Corporation Information processing apparatus, information processing method, and calibration apparatus
US20210211619A1 (en) * 2018-06-05 2021-07-08 Sony Corporation Information generation device, information generation method and program
US11796308B2 (en) * 2018-08-24 2023-10-24 Yamaha Hatsudoki Kabushiki Kaisha Three-dimensional measuring apparatus, three-dimensional measuring method
JP2020038107A (ja) * 2018-09-04 2020-03-12 株式会社三井フォトニクス 温度計測装置
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects
CN113557709A (zh) * 2019-04-19 2021-10-26 索尼集团公司 成像装置、图像处理装置和图像处理方法
WO2021033326A1 (ja) * 2019-08-22 2021-02-25 オリンパス株式会社 撮像素子、内視鏡および内視鏡システム
JP2021056164A (ja) * 2019-10-01 2021-04-08 富士ゼロックス株式会社 情報処理装置、発光装置、情報処理システム、及びプログラム
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
JPWO2021084907A1 (ja) * 2019-10-30 2021-05-06
CN110708453A (zh) * 2019-11-12 2020-01-17 Oppo广东移动通信有限公司 图像传感器、相机模组、终端和成像方法
CN110784633B (zh) * 2019-11-12 2021-07-16 Oppo广东移动通信有限公司 图像传感器、相机模组、终端和成像方法
CN110995968B (zh) * 2019-11-25 2021-08-20 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备和成像方法
US20230342963A1 (en) * 2019-12-13 2023-10-26 Sony Group Corporation Imaging device, information processing device, imaging method, and information processing method
CN113516607B (zh) * 2021-04-23 2024-02-13 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及存储介质
CN113286067B (zh) * 2021-05-25 2023-05-26 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备及成像方法
JP2022182346A (ja) * 2021-05-28 2022-12-08 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
WO2023105961A1 (ja) * 2021-12-08 2023-06-15 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2023111625A (ja) * 2022-01-31 2023-08-10 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099589A1 (ja) * 2007-02-13 2008-08-21 Panasonic Corporation 画像処理システム、方法、装置、及び画像フォーマット
JP2010263158A (ja) * 2009-05-11 2010-11-18 Sony Corp ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
WO2013031100A1 (ja) * 2011-09-02 2013-03-07 パナソニック株式会社 偏光撮像素子および内視鏡

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099589A1 (ja) * 2007-02-13 2008-08-21 Panasonic Corporation 画像処理システム、方法、装置、及び画像フォーマット
JP2010263158A (ja) * 2009-05-11 2010-11-18 Sony Corp ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
WO2013031100A1 (ja) * 2011-09-02 2013-03-07 パナソニック株式会社 偏光撮像素子および内視鏡

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肥後 智昭 TOMOAKI HIGO: "二色性反射モデルに基づくリアルタイム鏡面反射成分除去 Realtime Removal of Specular Reflection Compon", 情報処理学会研究報告 ＶＯＬ．２００６ ＮＯ．９３ IPSJ SIG TECHNICAL REPORTS, vol. 第2006巻，第93号, JPN6019050679, 9 September 2006 (2006-09-09), JP, pages 211 - 218, ISSN: 0004181827 *

Also Published As

Publication number Publication date
EP3264754A4 (en) 2018-09-05
EP3264754B1 (en) 2022-02-16
JP6673327B2 (ja) 2020-03-25
CN107251553B (zh) 2019-12-17
US20180013988A1 (en) 2018-01-11
WO2016136085A1 (ja) 2016-09-01
TWI682671B (zh) 2020-01-11
CN107251553A (zh) 2017-10-13
US10362280B2 (en) 2019-07-23
EP3264754A1 (en) 2018-01-03
TW201705758A (zh) 2017-02-01

Similar Documents

Publication Publication Date Title
JP6673327B2 (ja) 画像処理装置と画像処理方法および撮像素子
CN108353153B (zh) 图像处理装置和图像处理方法
US11405603B2 (en) Imaging device, image processing device and image processing method
JP6693530B2 (ja) 画像処理装置と画像処理方法
JP7070423B2 (ja) 画像処理装置と画像処理方法および撮像装置
JP7040447B2 (ja) 画像処理装置および情報生成装置と情報生成方法
WO2018179671A1 (ja) 画像処理装置と画像処理方法および撮像装置
CN111357282B (zh) 图像处理装置、图像处理方法、程序和固态成像装置
WO2019123795A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP2023054293A (ja) 固体撮像装置、補正方法、および電子装置
WO2019017081A1 (ja) 画像処理装置と画像処理方法とプログラムおよび撮像装置
WO2022249562A1 (ja) 信号処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200217

R151 Written notification of patent or utility model registration

Ref document number: 6673327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151