JP7006690B2 - 撮像装置と撮像素子および画像処理方法 - Google Patents

撮像装置と撮像素子および画像処理方法 Download PDF

Info

Publication number
JP7006690B2
JP7006690B2 JP2019525132A JP2019525132A JP7006690B2 JP 7006690 B2 JP7006690 B2 JP 7006690B2 JP 2019525132 A JP2019525132 A JP 2019525132A JP 2019525132 A JP2019525132 A JP 2019525132A JP 7006690 B2 JP7006690 B2 JP 7006690B2
Authority
JP
Japan
Prior art keywords
pixel
component
pixels
polarized
unpolarized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019525132A
Other languages
English (en)
Other versions
JPWO2018230119A1 (ja
Inventor
哲平 栗田
俊 海津
康孝 平澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018230119A1 publication Critical patent/JPWO2018230119A1/ja
Application granted granted Critical
Publication of JP7006690B2 publication Critical patent/JP7006690B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

この技術は、撮像装置と撮像素子および画像処理方法に関し、解像度と感度の高い無偏光画像と色成分毎の反射成分を取得できるようにする。
従来、カラー画像だけでなく偏光画像を取得できる撮像装置が提案されている。例えば、特許文献１では、ベイヤー配列の撮像素子の前段に偏光フィルタ層を有する光学フィルタが配置されている。偏光フィルタ層としては、縦横に隣接する４画素からなる画素グループに含まれる２つのＧ画素（緑色画素）の一方にのみ、入射光の水平偏光成分および垂直偏光成分のいずれか一方を入射させるための偏光子を形成する構成や、２つのＧ画素の一方に入射光の水平偏光成分を入射させるための偏光子を形成して、他方に入射光の垂直偏光成分を入射させるための偏光子を形成する構成、この構成に対してＲ画素（赤色画素）およびＢ画素（青色画素）に入射光の水平偏光成分を入射させるための偏光子を形成する構成が示されている。また、１つの画素グループに含まれる２つのＧ画素の一方に入射光の水平偏光成分を入射させるための偏光子と、一方のＧ画素から縦および横に１画素離れたＧ画素に入射光の垂直偏光成分を入射させるための偏光子、および一方のＧ画素から斜めに１画素離れたＧ画素に入射光の水平偏光成分を入射させるための偏光子を、縦横に隣接する４つの画素グループを単位として周期的に形成する構成が示されている。さらに、入射光の水平偏光成分および垂直偏光成分のいずれか一方を入射させるための偏光子をストライプ状のパターンとして形成する構成も示されている。このような偏光フィルタ層を有する光学フィルタを前段に配置した撮像素子で生成された色毎の画素値を用いて、水平偏光成分画像や垂直偏光成分画像、カラー画像等を生成することが行われている。
特開２０１３－１４８５０５号公報
ところで、特許文献１に示されているように、Ｇ画素にのみ偏光子を設ける構成では、赤色成分や青色成分についての反射成分を取得できない。また、画素グループの２つのＧ画素と１つの赤色画素と青色画素に偏光子を設ける構成では、各画素で感度が低下してしまう。さらに、偏光子をストライプ状のパターンとして形成する構成では、無偏光画素に関して、ストライプ方向と直交する方向の解像度が劣化する。
そこで、この技術では、解像度と感度の高い無偏光画像と色成分毎の反射成分の取得に用いることができる撮像装置と撮像素子および画像処理方法を提供することを目的とする。
この技術の第１の側面は、
撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記偏光画素を除く画素が前記４×４画素領域の過半数かつ無偏光画素である撮像部と、
前記撮像部で生成された画素信号から、成分の算出を行う算出対象画素に対する無偏光周辺画素および同じ色成分で同一偏光特性である周辺画素の画素信号を用いて、前記算出対象画素の無偏光成分を算出して、前記算出対象画素に対する偏光周辺画素および同じ色成分で同一偏光特性の周辺画素の画素信号を用いて、前記算出対象画素の拡散反射成分を算出する画像処理部
を備える撮像装置にある。
この技術において、撮像部は、撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、偏光画素を除く画素が４×４画素領域の過半数かつ無偏光画素とされている。撮像対象の被写体には、撮像素子の偏光画素の偏光方向に対して直交する偏光方向の偏光光が照明光として照射されて撮像が行われる。画像処理部は、撮像部で生成された無偏光画素と色成分毎の偏光画素の画素信号に基づき無偏光成分と拡散反射成分を算出して、算出した無偏光成分と拡散反射成分に基づき鏡面反射成分を例えば色成分毎に算出する。無偏光成分と拡散反射成分を算出は、例えば画素信号を用いたフィルタ処理によって算出する。画像処理部は、画素信号を用いてフィルタ処理を行い色成分毎の低周波成分を画素毎に算出して、画素位置毎に画素信号と当該画素と等しい色成分の低周波成分に基づき高周波成分情報を算出する。さらに、画像処理部は、画素位置毎に算出した高周波成分情報と色成分毎の低周波成分から無偏光成分と拡散反射成分を色成分毎に算出する。また、画像処理部は、フィルタ処理に替えて補間処理を行ってもよい。画像処理部は、偏光画素と同一色の無偏光画素の画素信号を用いて補間処理を行い偏光画素の無偏光成分を算出して、無偏光画素と同一色の偏光画素の画素信号を用いて補間処理を行い無偏光画素の拡散反射成分を算出する。
画像処理部は、算出した拡散反射成分と鏡面反射成分の少なくとも一方の成分量を調整して合成することで出力画像信号を生成する。例えば、画像処理部は鏡面反射成分の成分量を低下させて、あるいは拡散反射成分のみ成分量の調整を行って拡散反射成分と鏡面反射成分を合成する。また、画像処理部は、無偏光成分または拡散反射成分を用いて被写体認識を行い、認識した被写体領域毎に拡散反射成分と鏡面反射成分の少なくとも一方の成分量の調整を行う。
また、撮像部では、偏光特性と色成分が同一の画素から信号を加算して画素信号の生成が行われて、画像処理部では、信号の加算が行われた画素の配列方向に対して直交する方向に、信号の加算が行われた画素数に応じた画像縮小処理が行われる。
この技術の第２の側面は、
複数の色成分の画素を用いて構成される画素領域に、４×４画素領域内における前記複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記４×４画素領域内における前記偏光画素を除く画素が過半数かつ無偏光画素である領域を設けた撮像素子にある。
この技術においては、４×４画素領域内における複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、この４×４画素領域内における偏光画素を除く画素が過半数かつ無偏光画素とする。例えば４×４画素領域における２×２画素領域を、各色成分を含む同一偏光方向の偏光画素とする。あるいは、４×４画素領域に含まれる４つの２×２画素領域を各色成分の画素で構成して、２×２画素領域における１つの画素を偏光画素とする。または、４×４画素領域に含まれる４つの２×２画素領域の各２×２画素領域を同一色成分の画素とする。このように偏光画素と無偏光画素で構成される４×４画素領域が、複数の色成分の画素を用いて構成される画素領域に、例えば繰り返しあるいは所定間隔で繰り返して設ける。
この技術の第３の側面は、
撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記偏光画素を除く画素が前記４×４画素領域の過半数かつ無偏光画素である撮像部から前記偏光画素の画素信号と前記無偏光画素の画素信号を取得することと、
前記取得した画素信号から、成分の算出を行う算出対象画素に対する無偏光周辺画素および同じ色成分で同一偏光特性である周辺画素の画素信号を用いて、前記算出対象画素の無偏光成分を画像処理部で算出することと、前記算出対象画素に対する偏光周辺画素および同じ色成分で同一偏光特性の周辺画素の画素信号を用いて、前記算出対象画素の拡散反射成分を前記画像処理部で算出すること
を含む画像処理方法。
この技術によれば、撮像部の撮像素子は、４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、偏光画素を除く画素が４×４画素領域の過半数かつ無偏光画素とされている。画像処理部は、撮像部で生成された偏光画素の画素信号と無偏光画素の画素信号を用いて、画素毎に無偏光成分と拡散反射成分が算出される。したがって、解像度と感度の高い無偏光画像と色成分毎の反射成分を取得できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮像装置の構成を示す図である。 撮像部の偏光画素と照明部の照明光の関係を示す図である。 第１の実施の形態における撮像部の画素配置を示す図である。 フィルタ係数を例示した図である。 無偏光のＧ画素についての低周波成分算出動作を説明するための図である。 色成分毎の無偏光画像を示す図である。 色成分毎の偏光画像示す図である。 画像処理部の動作を示すフローチャートである。 第２の実施の形態における撮像部の画素配置を示す図である。 第３の実施の形態における撮像部の画素配置を示す図である。 第４の実施の形態における撮像部の画素配置を示す図である。 第５の実施の形態における撮像部の画素配置を示す図である。 無偏光成分算出部の動作を説明するための図である。 線形補間を説明するための図である。 第１乃至第５の実施の形態の特性と従来の特性を示す図である。 係数α，βを変化させた場合の出力画像を例示した図である。 被写体領域毎に係数α，βを変化させた場合の出力画像を例示した図である。 係数αを固定して係数βのみを変化させた場合の出力画像を例示した図である。 撮像部の画素と読出信号線を示す図である。 画素信号の読み出し動作を説明するための図である。 撮像部２０-1の画素配置と撮像部２０-1から出力される画素信号に基づく画像の関係を示した図である。 解像度変換部の構成を例示した図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．第４の実施の形態
６．第５の実施の形態
７．第１乃至第５の実施の形態の特性と従来の構成の特性について
８．反射成分調整部の動作
９．撮像部における信号読み出しについて
＜１．撮像装置の構成＞
図１は、本技術の撮像装置の構成を示している。撮像装置１０は、撮像部２０と画像処理部３０を有している。また、撮像装置１０は照明部４０を有してもよく、撮像装置１０と別個に照明部４０が設けられてもよい。照明部４０は、撮像装置１０と同期して照明動作を行う。
撮像部２０で用いる撮像素子は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等のセンサ部の撮像面にカラーフィルタと偏光子を設けた構成とされている。カラーフィルタはモザイクフィルタが用いられて、例えば撮像素子の画素配列が４×４画素領域内にＲ画素（赤画素）とＧ画素（緑画素）とＢ画素（青画素）を含む配列とされている。偏光子は、４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、偏光画素を除く画素が４×４画素領域の過半数かつ無偏光画素となるように構成されている。例えば、撮像素子は、４×４画素領域において、Ｒ画素（赤色画素）とＧ画素（緑色画素）とＢ画素（青色画素）のそれぞれ少なくとも１画素が同一偏光方向の偏光画素とされて、偏光画素を除く画素が４×４画素領域の過半数かつ各色成分の無偏光画素となるように設けられている。複数の色成分の画素を用いて構成される撮像素子の画素領域には、上述の画素配列である４×４画素領域が繰り返し、または所定間隔で繰り返し設けられている。
撮像部２０は、照明部４０から照明光が照射されているタイミングで静止画または動画の撮像を行い、生成した偏光画素と無偏光画素の画素信号を画像処理部３０へ出力する。また、撮像部２０は、ホワイトバランス調整を行い、ホワイトバランス調整後の画素信号を用いて後述するように画像処理部３０で無偏光成分と拡散反射成分の算出を行えるようにしてもよい。なお、ホワイトバランス調整は画像処理部３０で行ってもよい。
照明部４０は、偏光光を照明光として被写体に照射する。照明部４０は、撮像部２０の撮像動作と同期して照明光の照射を行い、上述のように、照明部４０から照明光が照射されているタイミングで撮像部２０の撮像動作を行えるようにする。
照明部４０から照射される偏光光は、照明光を照射して撮像部２０で撮像動作を行ったとき、被写体からの反射光における鏡面反射成分が除去されるように偏光方向が設定されている。具体的には、撮像部２０における偏光画素の偏光方向に対して照明部４０から照射される偏光光の偏光方向が直交するように設定されている。図２は、撮像部の偏光画素と照明部の照明光の関係を示している。撮像部２０におけるセンサ部２１の入射面側に設けられた偏光子２２は、例えばワイヤーグリッドタイプでありグリッド方向が垂直方向とされている。照明部４０は、光源４１と例えばワイヤーグリッドタイプの偏光子４２を用いて構成されており、偏光子４２のグリッド方向は、撮像部２０の偏光子２２のグリッド方向に対して直交する水平方向とする。この場合、被写体ＯＢに対して、照明部４０から偏光方向が垂直方向とされている直線偏光光が照射される。また、被写体ＯＢからの反射光は、偏光子２２によって水平方向の偏光成分が抽出されてセンサ部２１に入射される。したがって、撮像部２０における無偏光画素では、被写体ＯＢからの反射光に基づいた画素信号が生成されて、偏光画素では被写体ＯＢからの反射光における水平方向の偏光成分に基づいた画素信号が生成される。
画像処理部３０は、例えば無偏光成分算出部３１、拡散反射成分算出部３２、鏡面反射成分算出部３３、反射成分調整部３４を有している。無偏光成分算出部３１は、撮像部２０から供給された無偏光画素と偏光画素の画素信号を用いて無偏光成分を算出して鏡面反射成分算出部３３へ出力する。拡散反射成分算出部３２は、撮像部２０から供給された無偏光画素と偏光画素の画素信号を用いて拡散反射成分を算出して、鏡面反射成分算出部３３と反射成分調整部３４へ出力する。鏡面反射成分算出部３３は、無偏光成分算出部３１で算出された無偏光成分と、拡散反射成分算出部３２で算出された拡散反射成分に基づき、鏡面反射成分を算出して反射成分調整部３４へ出力する。反射成分調整部３４は、拡散反射成分算出部３２で算出された拡散反射成分と、鏡面反射成分算出部３３で算出された鏡面反射成分を用いて、反射成分を所望のレベルとした出力画像を生成する。
次に、撮像部の構成例と撮像部の構成例に対応する画像処理部の動作について、以下の実施の形態で詳細に説明する。
＜２．第１の実施の形態＞
図３は、撮像部の画素配置を示している。撮像部２０-1は、複数の色成分の画素を用いて構成される画素領域が、Ｒ画素とＧ画素とＢ画素をベイヤー配列とした構成とされている。なお、各実施の形態において、Ｒ画素が左側または右側に位置するＧ画素をＧｒ画素、Ｂ画素が左側または右側に位置するＧ画素をＧｂ画素ともいう。また、Ｒ画素とＢ画素と２つのＧ画素（Ｇｒ画素とＧｂ画素）からなる２×２画素領域を色画素配列単位とする。
例えば、図３の（ａ）は、左上の２×２画素領域内の画素を偏光画素とした構成を示している。また、図３の（ｂ）は、中央の２×２画素領域内の画素を偏光画素とした構成、図３の（ｃ）は、左下の２×２画素領域内の画素を偏光画素とした構成、図３の（ｄ）は、右端中央の２×２画素領域内の画素を偏光画素とした構成を例示している。なお、撮像部２０-1の構成は、４×４画素領域における１つの２×２画素領域内の画素を偏光画素として他の画像を無偏光画素とする構成であればよく、図３に例示した構成に限られない。撮像部２０-1は、このように構成されている４×４画素領域が繰り返し設けられている。
撮像部２０-1は、センサ部で生成された画素信号Ｒｓ，Ｇｓ，Ｂｓに対してホワイトバランス調整を行う。具体的には、予め設定されている色毎のホワイトバランス調整ゲインＲwg，Ｇwg，Ｂwgを用いて式（１）乃至（３）の演算を行い、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを生成して画像処理部３０へ出力する。なお、画素信号Ｒs，ＲはＲ画素の画素信号、画素信号Ｇs，ＧはＧ画素の画素信号、画素信号Ｂs，ＢはＢ画素の画素信号である。
Ｒ ＝ Ｒｓ × Ｒwg ・・・（１）
Ｇ ＝ Ｇｓ × Ｇwg ・・・（２）
Ｂ ＝ Ｂｓ × Ｂwg ・・・（３）
画像処理部３０の無偏光成分算出部３１は、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に無偏光成分を算出する。無偏光成分算出部３１は、各画素において低周波成分と高周波成分との割合が各色成分で等しいとして、無偏光成分の算出対象画素の画素値と算出対象画素における同一色成分かつ同一偏光特性の低周波成分から、低周波成分と高周波成分との関係に応じた高周波成分情報を算出する。さらに、無偏光成分算出部３１は、算出した高周波成分情報と算出対象画素における無偏光の低周波成分に基づき、算出対象画素における色成分毎の無偏光成分を算出する。
無偏光成分算出部３１は、画素信号Ｒ，Ｇ，Ｂを用いてフィルタ処理を行い、色成分毎の低周波成分を無偏光画素の画素信号を用いて画素毎に算出する。また、無偏光成分算出部３１は、画素毎に画素信号と当該画素と等しい色成分の低周波成分に基づき高周波成分情報を算出して、画素毎に算出した高周波成分情報と色成分毎の低周波成分から無偏光成分を色成分毎に算出する。無偏光成分算出部３１は、高周波成分情報として高周波成分係数を用いる。高周波成分係数は、算出対象画素に含まれる低周波成分と高周波成分との関係に応じた係数であり、例えば算出対象画素の画素値を算出対象画素の色成分の低周波成分で除算した値とする。したがって、算出対象画素における低周波成分が少なくなるに伴い高周波成分係数は大きな値となり、算出対象画素における低周波成分が多くなるに伴い高周波成分係数は小さな値となる。また、低周波成分に高周波成分係数を乗算することで低周波成分と高周波成分を含む算出対象画素の画素値を算出できる。
無偏光成分算出部３１は、算出対象画素の重み付けフィルタ処理を行い、低周波成分を算出する。図４はフィルタ係数を例示しており、算出対象画素を中心とする９×９画素の画素範囲（フィルタ演算範囲）の画素信号を用いてフィルタ処理を行う場合を示している。
無偏光成分算出部３１は、算出対象画素がＲ画素である場合、無偏光のＲ画素の画素信号を用いて重み付けフィルタ処理を行う。また、無偏光成分算出部３１は、算出対象画素がＢ画素である場合、無偏光のＢ画素の画素信号を用いて重み付けフィルタ処理を行い、算出対象画素がＧ画素である場合、無偏光のＧ画素の画素信号を用いて重み付けフィルタ処理を行う。
図５は、無偏光のＧ画素についての低周波成分算出動作を説明するための図である。なお、図５において、算出対象画素を二重枠線で示しており、低周波成分の算出で用いられる画素を太線枠で示している。無偏光成分算出部３１は、算出対象画素を基準（ｘ＝０，ｙ＝０）として、「ｘ＝－４，ｙ＝－４」乃至「ｘ＝４，ｙ＝４」の範囲内（フィルタ演算範囲内）における無偏光のＧ画素の画素信号を用いて重み付けフィルタ処理を行う。具体的には、無偏光成分算出部３１は、フィルタ演算範囲内における無偏光のＧ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、無偏光成分算出部３１は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して、算出対象画素の緑色成分の低周波成分ＧLPFを算出する。式（４）は、図５の場合の低周波成分ＧLPFの算出式を示している。なお、ＧＶ（ｘ，ｙ）は、算出対象画素を基準とする画素位置（ｘ，ｙ）のＧ画素の画素値を示している。
ＧLPF ＝（１×ＧＶ(-4,-4)＋１４×ＧＶ(0,-4)＋１×ＧＶ(4,-4)＋
１６×ＧＶ(-3,-3)＋４８×ＧＶ(-1,-3)＋・・・＋１×ＧＶ(4,4)）／
（１＋４＋１＋１５＋４８＋・・・＋１） ・・・（４）
次に、無偏光成分算出部３１は、算出対象画素の画素値を同じ偏光成分で同じ色成分の低周波成分で除算して、算出対象画素の画素位置における高周波成分係数を算出する。例えば、算出対象画素がＧ画素で画素値ＧＶ(0,0)である場合、式（５）の演算を行い、高周波成分係数ＨＰＦを算出する。
ＨＰＦ ＝ ＧＶ(0,0)／ＧLPF ・・・（５）
その後、無偏光成分算出部３１は、式（６）に示すように、低周波成分と高周波成分係数を乗算して、算出対象画素における緑色無偏光成分Ｇnpを得る。
Ｇnp ＝ ＨＰＦ × ＧLPF ・・・（６）
算出対象画素における赤色無偏光成分を算出する場合、無偏光成分算出部３１は、フィルタ演算範囲内における無偏光のＲ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、無偏光成分算出部３１は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＲLPFを算出する。無偏光成分算出部３１は、算出した低周波成分ＲLPFと算出されている高周波成分係数ＨＰＦを式（７）に示すように乗算して、算出対象画素における赤色無偏光成分Ｒnpを得る。
Ｒnp ＝ ＨＰＦ × ＲLPF ・・・（７）
算出対象画素における青色無偏光成分を算出する場合、無偏光成分算出部３１は、フィルタ演算範囲内における無偏光のＢ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、無偏光成分算出部３１は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＢLPFを算出する。無偏光成分算出部３１は、算出した低周波成分ＢLPFと算出されている高周波成分係数ＨＰＦを式（８）に示すように乗算して、算出対象画素における青色無偏光成分Ｂnpを得る。
Ｂnp ＝ ＨＰＦ × ＢLPF ・・・（８）
なお、図５では、Ｇ画素の画素値を用いて高周波成分係数ＨＰＦを算出したが、無偏光成分算出部３１は、算出対象画素がＲ画素である場合にはＲ画素の画素値と同じ色成分の低周波成分を用いて高周波成分係数ＨＰＦを算出する。また、無偏光成分算出部３１は、算出対象画素がＢ画素である場合にはＢ画素の画素値と同じ色成分の低周波成分を用いて高周波成分係数ＨＰＦを算出する。
無偏光成分算出部３１は、上述の処理を無偏光画素の画素位置毎に行い、無偏光画素の画素毎に色成分毎の無偏光成分を算出する。
算出対象画素が偏光画素である場合、無偏光成分算出部３１は、上述のように低周波成分を算出する。すなわち、無偏光成分算出部３１は、フィルタ演算範囲内における無偏光のＲ画素（Ｇ画素，Ｂ画素）の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、無偏光成分算出部３１は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＲLPF（ＧLPF，ＢLPF）を算出する。
また、無偏光成分算出部３１は、算出対象画素と等しい色の偏光画素の画素信号を用いて重み付けフィルタ処理を行い低周波成分を算出して、算出対象画素の画素値を低周波成分で除算して高周波成分係数ＨＰＦを算出する。例えば、図５において、破線枠で示す偏光画素（Ｇ画素）が算出対象画素である場合、無偏光成分算出部３１は、算出対象画素を基準としたフィルタ演算範囲内における偏光画素であるＧ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、無偏光成分算出部３１は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＧLPFpを算出する。次に、無偏光成分算出部３１は、算出対象画素の画素値を同じ偏光成分で同じ色成分の低周波成分で除算して、算出対象画素の画素位置における高周波成分係数を算出する。すなわち、偏光画素である算出対象画素が画素値Ｇ(0,0)pである場合、式（９）の演算を行い、高周波成分係数ＨＰＦを算出する。
ＨＰＦ ＝ ＧＶ(0,0)p／ＧLPFp ・・・（９）
無偏光成分算出部３１は、算出した高周波成分係数ＨＰＦと、算出対象画素について無偏光画素を用いて算出した色成分毎の低周波成分ＲLPF（ＧLPF，ＢLPF）を用いて、式（６）乃至（８）の演算を行い、偏光画素の画素毎に色成分毎の無偏光成分を算出する。
無偏光成分算出部３１は、各画素で算出された無偏光成分を示す図６の色成分毎の無偏光画像ＰＲnp，ＰＧnp，ＰＢnpの画像信号を鏡面反射成分算出部３３へ出力する。
拡散反射成分算出部３２は、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に拡散反射成分信号を生成する。拡散反射成分算出部３２は、各画素において低周波成分と高周波成分との割合が各色成分で等しいとして、偏光拡散成分の算出対象画素の画素値と算出対象画素における同一色成分かつ同一偏光特性の低周波成分から、低周波成分と高周波成分との関係に応じた高周波成分情報を算出する。さらに、拡散反射成分算出部３２は、算出した高周波成分情報と算出対象画素における偏光の低周波成分に基づき、算出対象画素における色成分毎の拡散反射偏光成分を算出する。
拡散反射成分算出部３２は、画素信号Ｒ，Ｇ，Ｂを用いてフィルタ処理を行い、色成分毎の低周波成分を偏光画素の画素信号を用いて画素毎に算出する。また、拡散反射成分算出部３２は、画素毎に画素信号と当該画素と等しい色成分の低周波成分に基づき高周波成分情報を算出して、画素毎に算出した高周波成分情報と色成分毎の低周波成分から拡散反射成分を色成分毎に算出する。さらに、拡散反射成分算出部３２は、算出した拡散反射成分に対して、偏光子によって生じる減光を補正する。
拡散反射成分算出部３２は、算出対象画素の重み付けフィルタ処理を行い、低周波成分を算出する。なお、フィルタ係数は、例えば無偏光成分画像の生成と等しい特性で拡散反射成分画像を生成できるように、無偏光成分算出部３１と等しいフィルタ係数を用いる。
拡散反射成分算出部３２は、算出対象画素がＲ画素である場合、偏光画素におけるＲ画素の画素信号を用いて重み付けフィルタ処理を行う。また、拡散反射成分算出部３２は、算出対象画素がＢ画素である場合、偏光画素におけるＢ画素の画素信号を用いて重み付けフィルタ処理を行い、算出対象画素がＧ画素である場合、偏光画素におけるＧ画素の画素信号を用いて重み付けフィルタ処理を行う。
拡散反射成分算出部３２は、例えばＧ画素の重み付けフィルタ処理を行う場合、フィルタ演算範囲内の偏光画素におけるＧ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、拡散反射成分算出部３２は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＧLPFpを算出する。
次に、拡散反射成分算出部３２は、算出対象画素の画素値を同じ偏光成分で同じ色成分の低周波成分で除算して、算出対象画素の画素位置における高周波成分係数を算出する。ここで、算出対象画素が画素値ＧＶ(0,0)pである場合、式（１０）の演算を行い、高周波成分係数ＨＰＦpを算出する。
ＨＰＦp ＝ ＧＶ(0,0)p／ＧLPFp ・・・（１０）
その後、拡散反射成分算出部３２は、式（１１）に示すように低周波成分と高周波成分係数を乗算して、算出対象画素における緑色拡散成分Ｇpを得る。
Ｇp ＝ ＨＰＦp × ＧLPFp ・・・（１１）
算出対象画素の位置におけるＲ画素の偏光子通過後の拡散反射成分を算出する場合、拡散反射成分算出部３２は、フィルタ演算範囲内の偏光画素におけるＲ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、拡散反射成分算出部３２は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＲLPFpを算出する。拡散反射成分算出部３２は、算出した低周波成分ＲLPFpと算出されている高周波成分係数ＨＰＦを式（１２）に示すように乗算して、算出対象画素の位置におけるＲ画素の赤色拡散反射成分Ｒpを得る。
Ｒp ＝ ＨＰＦp × ＲLPFp ・・・（１２）
算出対象画素の位置におけるＢ画素の偏光子通過後の拡散反射成分を算出する場合、拡散反射成分算出部３２は、フィルタ演算範囲内の偏光画素におけるＢ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、拡散反射成分算出部３２は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＢLPFpを算出する。拡散反射成分算出部３２は、算出した低周波成分ＢLPFpと算出されている高周波成分係数ＨＰＦを式（１３）に示すように乗算して、算出対象画素の位置におけるＢ画素の青色拡散反射成分Ｂpを得る。
Ｂp ＝ ＨＰＦp × ＢLPFp ・・・（１３）
なお、拡散反射成分算出部３２は、算出対象画素の位置の偏光画素がＲ画素である場合、偏光画素におけるＲ画素の画素値を用いて高周波成分係数ＨＰＦpを算出する。また、拡散反射成分算出部３２は、算出対象画素の位置の偏光画素がＢ画素である場合、偏光画素におけるＢ画素の画素値を用いて高周波成分係数ＨＰＦpを算出する。
拡散反射成分算出部３２は、上述の処理を偏光画素の画素位置毎に行い、偏光画素の画素位置毎に色成分毎の拡散反射信号成分を算出する。
算出対象画素の位置が無偏光画素の位置である場合、拡散反射成分算出部３２は、上述のように低周波成分を算出する。すなわち、拡散反射成分算出部３２は、フィルタ演算範囲内の偏光画素におけるＲ画素（Ｇ画素，Ｂ画素）の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、拡散反射成分算出部３２は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＲLPFp（ＧLPFp，ＢLPFp）を算出する。
また、拡散反射成分算出部３２は、算出対象画素と等しい色成分の無偏光画素の画素信号を用いたフィルタ処理によって算出対象画素の低周波成分を算出して、算出対象画素の画素値を算出した低周波成分で除算して高周波成分係数ＨＰＦpを算出する。例えば、算出対象画素が無偏光のＧ画素である場合、拡散反射成分算出部３２は、算出対象画素を基準としたフィルタ演算範囲内における無偏光のＧ画素の画素値に対して画素位置に応じた重み付けを行い、重み付け後の画素値の総和を算出する。さらに、拡散反射成分算出部３２は、重み付け後の画素値の総和を重み付けに用いた重みの総和で除算して低周波成分ＧLPFを算出する。次に、拡散反射成分算出部３２は、算出対象画素の画素値を同じ偏光成分で同じ色成分の低周波成分で除算して、算出対象画素の画素位置における高周波成分係数を算出する。すなわち、算出対象画素が無偏光画素で画素値ＧＶ(0,0)である場合、式（１４）の演算を行い、高周波成分係数ＨＰＦpを算出する。
ＨＰＦp ＝ ＧＶ(0,0)／ＧLPF ・・・（１４）
拡散反射成分算出部３２は、算出した高周波成分係数ＨＰＦpと、算出対象画素について偏光画素を用いて算出した低周波成分ＲLPFp（ＧLPFp，ＢLPFp）を用いて、式（１１）乃至（１３）の演算を行い、無偏光画素の画素毎に色成分毎の拡散反射成分を算出する。
さらに、拡散反射成分算出部３２は、偏光子の透過率ｒを用いて式（１５）の演算を行い、偏光子による減光を補正して各画素の拡散反射成分を算出する。なお、「Ｉp」は偏光子による減光を補正する前の拡散反射成分Ｒq，Ｇq，Ｂqを示しており、「Ｉdif」は偏光子による減光を補正した色成分毎の拡散反射成分Ｒdif，Ｇdif，Ｂdifを示している。
Ｉdif = （２／ｒ）× Ｉp ・・・（１５）
拡散反射成分算出部３２は、各画素で算出された拡散反射成分を示す図７の色成分毎の拡散反射成分画像ＰＲdif，ＰＧdif，ＰＢdifの画像信号を鏡面反射成分算出部３３へ出力する。
鏡面反射成分算出部３３は、式（１６）に示すように、色成分毎に無偏光成分から拡散反射成分を画素位置毎に減算して鏡面反射成分Ｉspeを算出する。なお「Ｉnp」は色成分毎の無偏光成分Ｒnp，Ｇnp，Ｂnpであり、「Ｉspe」は色成分毎の鏡面反射成分Ｒnp，Ｇnp，Ｂnpである。鏡面反射成分算出部３３は、各画素で算出された鏡面反射成分を示す鏡面反射成分画像の画像信号を反射成分調整部３４へ出力する。
Ｉspe＝Ｉnp－Ｉdif ・・・（１６）
反射成分調整部３４は、拡散反射成分算出部３２で算出された拡散反射成分と、鏡面反射成分算出部３３で算出された鏡面反射成分を合成して、反射成分が調整された画像信号を生成して出力する。なお、反射成分調整部３４の動作についての詳細は後述する。
図８は、画像処理部の動作を示すフローチャートである。ステップＳＴ１で画像処理部は無偏光成分を算出する。画像処理部３０は、無偏光画素の画素信号を用いて重み付けフィルタ処理を行い、画素位置毎の低周波成分を色成分毎に算出する。また、画像処理部３０は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素の画素位置毎に高周波成分係数を算出して、この高周波成分係数と色成分毎の低周波成分を乗算して、無偏光画素の画素位置毎に、色成分毎の無偏光成分を算出する。また、画像処理部３０は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素毎に偏光画素と同一の色成分の低周波成分を算出する。また、画像処理部３０は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、画像処理部３０は、この高周波成分係数と、無偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した偏光画素位置における色成分毎の低周波成分の乗算を偏光画素毎に行い、偏光画素の無偏光成分を色成分毎に算出する。このように、画像処理部３０は、偏光画素と無偏光画素について色成分毎の無偏光成分を算出してステップＳＴ２に進む。
ステップＳＴ２で画像処理部は拡散反射成分を算出する。画像処理部３０は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素毎に低周波成分を色成分毎に算出する。また、画像処理部３０は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出して、この高周波成分係数と色成分毎の低周波成分の乗算を偏光画素毎に行い、偏光画素における拡散反射成分を色成分毎に算出する。また、画像処理部３０は、無偏光画素の画素信号を用いて重み付けフィルタ処理を行い、無偏光画素と等しい色成分の低周波成分を算出する。また、画像処理部３０は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素毎の高周波成分係数を算出する。さらに、画像処理部３０は、この高周波成分係数と偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した無偏光画素位置における色成分毎の低周波成分の乗算を無偏光画素毎に行い、無偏光画素における拡散反射成分を色成分毎に算出する。このように、画像処理部３０は、偏光画素と無偏光画素の拡散反射成分を色成分毎に算出してステップＳＴ３に進む。
ステップＳＴ３で画像処理部は鏡面反射成分を算出する。画像処理部３０は、無偏光成分から拡散反射成分を減算する処理を各画素で色成分毎に行い、鏡面反射成分を色成分毎に算出してステップＳＴ４に進む。
ステップＳＴ４で画像処理部は反射成分調整処理を行う。画像処理部３０は、拡散反射成分と鏡面反射成分を所望の割合で加算する処理を各画素で色成分毎に行い、反射成分が調整された出力画像を得る。
なお、画像処理部３０の動作は、図８に示す順序に限られない。例えばステップＳＴ２に示す拡散反射成分の算出を、ステップＳＴ１に示す無偏光成分の算出よりも前に行ってもよい。また、並列処理が可能である場合、無偏光成分の算出と拡散反射成分の算出を並列して行うようにしてもよい。
このように、第１の実施の形態の撮像部２０-1は、Ｒ画素とＧ画素とＢ画素がベイヤー配列で設けられており、４×４画素領域に含まれる１つの２×２画素領域（色画素配列単位）内の画素を偏光画素として、他の画素を無偏光画素とした構成とされている。また、画像処理部３０は、撮像部２０-1で生成された画像信号を用いて、色成分毎に無偏光成分と拡散反射成分と鏡面反射成分が算出される。したがって、解像度と感度の高い無偏光画像と各色についての反射成分を取得できるようになる。
また、第１の実施の形態の撮像部２０-1は、はＲ画素とＧ画素とＢ画素がベイヤー配列で設けられていることから、細かい模様の被写体を撮像してもモアレの少ない撮像画を得られるようになる。
＜３．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態は、撮像部の画素配置が第１の実施の形態と異なる。図９は、撮像部の画素配置を示している。撮像部２０-2は、複数の色成分の画素を用いて構成される画素領域が、Ｒ画素とＧ画素とＢ画素をベイヤー配列とした構成とされている。また、Ｒ画素とＢ画素と２つのＧ画素（Ｇｒ画素とＧｂ画素）からなる２×２画素領域を色画素配列単位とする。撮像部２０-2は、４×４画素領域に含まれる各色画素配列単位において、互いに異なる色成分画素を偏光画素として、４×４画素領域内に１つのＲ画素とＢ画素および２つのＧ画素（Ｇｒ画素とＧｂ画素）の偏光画素が含まれる構成とされている。
例えば、図９の（ａ）は、左上の２×２画素領域内のＧｒ画素を偏光画素、右上の２×２画素領域内のＢ画素を偏光画素、左下の２×２画素領域内のＲ画素を偏光画素、右下の２×２画素領域内のＧｂ画素を偏光画素とした構成を示している。また、図９の（ｂ）は、左上の２×２画素領域内のＲ画素を偏光画素、右上の２×２画素領域内のＢ画素を偏光画素、左下の２×２画素領域内のＧｂ画素を偏光画素、右下の２×２画素領域内のＧｒ画素を偏光画素とした構成を示している。また、図９の（ｃ）は、左上の２×２画素領域内のＧｂ画素を偏光画素、右上の２×２画素領域内のＲ画素を偏光画素、左下の２×２画素領域内のＢ画素を偏光画素、右下の２×２画素領域内のＧｒ画素を偏光画素とした構成を示している。さらに、図９の（ｄ）は、左上の２×２画素領域内のＢ画素を偏光画素、右上の２×２画素領域内のＧｒ画素を偏光画素、左下の２×２画素領域内のＧｂ画素を偏光画素、右下の２×２画素領域内のＲ画素を偏光画素とした構成を示している。撮像部２０-2は、このように構成されている４×４画素領域が繰り返し設けられている。
撮像部２０-2は、センサ部で生成された画素信号Ｒｓ，Ｇｓ，Ｂｓに対して第１の実施の形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像信号Ｒ，Ｇ，Ｂを生成して画像処理部３０へ出力する。
画像処理部３０の無偏光成分算出部３１は、第１の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に無偏光成分を算出する。無偏光成分算出部３１は、無偏光画素の画素値を用いて重み付けフィルタ処理を行い、画素位置毎の低周波成分を色成分毎に算出する。また、無偏光成分算出部３１は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素の画素位置毎に高周波成分係数ＨＰＦを算出する。さらに、無偏光成分算出部３１は、算出した高周波成分係数と無偏光画素を用いて算出した低周波成分を用いて、上述の式（６）乃至（８）の演算を行い、無偏光画素毎に無偏光成分を色成分毎に算出する。
また、無偏光成分算出部３１は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素の画素位置毎の偏光画素の色成分の低周波成分を算出する。また、無偏光成分算出部３１は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、無偏光成分算出部３１は、この高周波成分係数と、無偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した偏光画素位置における色成分毎の低周波成分の乗算を偏光画素毎に行い、偏光画素の無偏光成分を色成分毎に算出する。
無偏光成分算出部３１は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で無偏光成分を色成分毎に算出して、無偏光成分を示す図６の色成分毎の無偏光画像ＰＲnp，ＰＧnp，ＰＢnpの画像信号を鏡面反射成分算出部３３へ出力する。
拡散反射成分算出部３２は、第１の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に拡散反射成分信号を生成する。拡散反射成分算出部３２は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素毎に低周波成分を色成分毎に算出する。また、拡散反射成分算出部３２は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、拡散反射成分算出部３２は、算出した高周波成分係数と偏光画素を用いて算出した低周波成分を用いて、上述の式（１１）乃至（１３）の演算を行い、偏光画素毎に拡散反射成分を色成分毎に算出する。また、拡散反射成分算出部３２は、無偏光画素の画素信号を用いて重み付けフィルタ処理を行い、無偏光画素と等しい色成分の低周波成分を算出する。また、拡散反射成分算出部３２は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素毎の高周波成分係数を算出する。さらに、画像処理部３０は、この高周波成分係数と偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した無偏光画素位置における色成分毎の低周波成分の乗算を無偏光画素毎に行い、無偏光画素の拡散反射成分を色成分毎に算出する。さらに、拡散反射成分算出部３２は、偏光子の透過率ｒを用いて、偏光子による減光を補正して各画素の拡散反射成分を算出する。
拡散反射成分算出部３２は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で拡散反射成分を色成分毎に算出して、拡散反射成分を示す図７の色成分毎の拡散反射成分画像ＰＲdif，ＰＧdif，ＰＢdifの画像信号を鏡面反射成分算出部３３へ出力する。
鏡面反射成分算出部３３は、色成分毎に無偏光成分から拡散反射成分を画素位置毎に減算して鏡面反射成分を算出して、各画素で算出された鏡面反射成分を示す鏡面反射成分画像の画像信号を反射成分調整部３４へ出力する。
反射成分調整部３４は、拡散反射成分算出部３２で算出された拡散反射成分と、鏡面反射成分算出部３３で算出された鏡面反射成分を合成して、反射成分が調整された画像信号を生成して出力する。
なお、第２の実施の形態における画像処理部の動作は、図８に示すフローチャートと等しい。
このように、第２の実施の形態の撮像部２０-2は、Ｒ画素とＧ画素とＢ画素がベイヤー配列で設けられており、４×４画素領域に含まれる各色画素配列単位、すなわちＲ画素とＢ画素と２つのＧ画素からなる２×２画素領域の色画素配列単位において、互いに異なる画素を偏光画素として、４×４画素領域内に１つのＲ画素とＢ画素および２つのＧ画素が偏光画素として設けた構成とされている。また、画像処理部３０は、撮像部２０-2で生成された画像信号を用いて、色毎に無偏光成分と拡散反射成分と鏡面反射成分が算出される。したがって、解像度と感度の高い無偏光画像と各色についての反射成分を取得できるようになる。
また、第２の実施の形態の撮像部２０-2は、Ｒ画素とＧ画素とＢ画素がベイヤー配列で設けられている。したがって、細かい模様の被写体を撮像してもモアレの少ない撮像画を得られるようになる。さらに、第２の実施の形態では、第１の実施の形態に比べて、偏光画素間の距離が小さいことから、反射成分の解像度を高くできる。
＜４．第３の実施の形態＞
次に、第３の実施の形態について説明する。第３の実施の形態は、撮像部の画素配置が第１乃至第２の実施の形態と異なる。図１０は、撮像部の画素配置を示している。撮像部２０-3は、複数の色成分の画素を用いて構成される画素領域が、２×２画素領域を色単位として同一色成分の画素で構成されており、４×４画素領域にＲ画素の色単位領域とＢ画素の色単位領域およびＧ画素の２つの色単位領域が設けられている。また、撮像部２０-3は、４×４画素領域において、１つのＲ画素とＢ画素および２つのＧ画素を２×２画素領域に隣接して設けた構成とされている。
例えば、図１０の（ａ）は、左上の２×２画素領域内における右下に位置するＲ画素を偏光画素、右上の２×２画素領域内における左下のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における右上に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における左上のＢ画素を偏光画素とした構成を示している。また、図１０の（ｂ）は、左上の２×２画素領域内における左下に位置するＲ画素を偏光画素、右上の２×２画素領域内における右下のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における左上に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における右上のＢ画素を偏光画素とした構成を示している。また、図１０の（ｃ）は、左上の２×２画素領域内における右上に位置するＲ画素を偏光画素、右上の２×２画素領域内における左上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における右下に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における左下のＢ画素を偏光画素とした構成を示している。さらに、図１０の（ｄ）は、左上の２×２画素領域内における左上に位置するＲ画素を偏光画素、右上の２×２画素領域内における右上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における左下に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における右下のＢ画素を偏光画素とした構成を示している。撮像部２０-3は、このように構成されている４×４画素領域が繰り返し設けられている。
撮像部２０-3は、センサ部で生成された画素信号Ｒｓ，Ｇｓ，Ｂｓに対して第１乃至第２の実施の形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像信号Ｒ，Ｇ，Ｂを生成して画像処理部３０へ出力する。
画像処理部３０の無偏光成分算出部３１は、第１および第２の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に無偏光成分を算出する。無偏光成分算出部３１は、無偏光画素の画素値を用いて重み付けフィルタ処理を行い、画素位置毎の低周波成分を色成分毎に算出する。また、無偏光成分算出部３１は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素の画素位置毎に高周波成分係数ＨＰＦを算出する。さらに、無偏光成分算出部３１は、算出した高周波成分係数と無偏光画素を用いて算出した低周波成分を用いて、上述の式（６）乃至（８）の演算を行い、無偏光画素毎に無偏光成分を色成分毎に算出する。
また、無偏光成分算出部３１は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素の画素位置毎の偏光画素の色成分の低周波成分を算出する。また、無偏光成分算出部３１は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、無偏光成分算出部３１は、この高周波成分係数と、無偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した偏光画素位置における色成分毎の低周波成分の乗算を偏光画素毎に行い、偏光画素の無偏光成分を色成分毎に算出する。
無偏光成分算出部３１は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で無偏光成分を色成分毎に算出して、偏光成分を示す図６の色成分毎の無偏光画像ＰＲnp，ＰＧnp，ＰＢnpの画像信号を鏡面反射成分算出部３３へ出力する。
拡散反射成分算出部３２は、第１および第２の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に拡散反射成分信号を生成する。拡散反射成分算出部３２は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素毎に低周波成分を色成分毎に算出する。また、拡散反射成分算出部３２は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、拡散反射成分算出部３２は、算出した高周波成分係数と偏光画素を用いて算出した低周波成分を用いて、上述の式（１１）乃至（１３）の演算を行い、偏光画素毎に拡散反射成分を色成分毎に算出する。また、拡散反射成分算出部３２は、無偏光画素の画素信号を用いて重み付けフィルタ処理を行い、無偏光画素と等しい色成分の低周波成分を算出する。また、拡散反射成分算出部３２は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素毎の高周波成分係数を算出する。さらに、画像処理部３０は、この高周波成分係数と偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した無偏光画素位置における色成分毎の低周波成分の乗算を無偏光画素毎に行い、無偏光画素の拡散反射成分を色成分毎に算出する。さらに、拡散反射成分算出部３２は、偏光子の透過率ｒを用いて、偏光子による減光を補正して各画素の拡散反射成分を算出する。
拡散反射成分算出部３２は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で拡散反射成分を色成分毎に算出して、拡散反射成分を示す図７の色成分毎の拡散反射成分画像ＰＲdif，ＰＧdif，ＰＢdifの画像信号を鏡面反射成分算出部３３へ出力する。
鏡面反射成分算出部３３は、色成分毎に無偏光成分から拡散反射成分を画素位置毎に減算して鏡面反射成分を算出して、各画素で算出された鏡面反射成分を示す鏡面反射成分画像の画像信号を反射成分調整部３４へ出力する。
反射成分調整部３４は、拡散反射成分算出部３２で算出された拡散反射成分と、鏡面反射成分算出部３３で算出された鏡面反射成分を合成して、反射成分が調整された画像信号を生成して出力する。
なお、第３の実施の形態における画像処理部の動作は、図８に示すフローチャートと等しい。
このように、第３の実施の形態の撮像部２０-3は、２×２画素領域が色単位とされて同一色の画素で構成されており、４×４画素領域にＲ画素の色単位とＢ画素の色単位およびＧ画素の２つの色単位の領域が設けられている。また、撮像部２０-3は、４×４画素領域において、１つのＲ画素とＢ画素および２つのＧ画素を含む２×２画素領域を偏光画素領域とする構成とされている。また、画像処理部３０は、撮像部２０-3で生成された画像信号を用いて、色毎に無偏光成分と拡散反射成分と鏡面反射成分が算出される。したがって、解像度と感度の高い無偏光画像と各色についての反射成分を取得できるようになる。
また、第３の実施の形態では、２×２画素領域が色単位とされているので、第１の実施の形態や第２の実施の形態のようにＲ画素とＧ画素とＢ画素をベイヤー配列として設ける場合に比べて混色の少ない撮像画を得られるようになる。
＜５．第４の実施の形態＞
次に、第４の実施の形態について説明する。第４の実施の形態は、撮像部の画素配置が第１乃至第３の実施の形態と異なる。図１１は、撮像部の画素配置を示している。撮像部２０-4は、複数の色成分の画素を用いて構成される画素領域が、２×２画素領域を色単位として同一色成分の画素で構成されており、４×４画素領域にＲ画素の色単位領域とＢ画素の色単位領域およびＧ画素の２つの色単位領域が設けられている。また、撮像部２０-4は、色単位領域毎に１つの画素が偏光画素とされており、４×４画素領域において、偏光画素が水平方向と垂直方向に１画素置きに分散して設けた構成とされている。
例えば、図１１の（ａ）は、左上の２×２画素領域内における右上に位置するＲ画素を偏光画素、右上の２×２画素領域内における右上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における右上に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における右上のＢ画素を偏光画素とした構成を示している。また、図１１の（ｂ）は、左上の２×２画素領域内における左上に位置するＲ画素を偏光画素、右上の２×２画素領域内における左上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における左上に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における左上のＢ画素を偏光画素とした構成を示している。また、図１１の（ｃ）は、左上の２×２画素領域内における左下に位置するＲ画素を偏光画素、右上の２×２画素領域内における右上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における右上に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における左下のＢ画素を偏光画素とした構成を示している。さらに、図１１の（ｄ）は、左上の２×２画素領域内における右下に位置するＲ画素を偏光画素、右上の２×２画素領域内における左上のＧｒ画素を偏光画素とする。また、左下の２×２画素領域内における左下に位置するＧｂ画素を偏光画素、右下の２×２画素領域内における右上のＢ画素を偏光画素とした構成を示している。撮像部２０-4は、このように構成されている４×４画素領域が繰り返し設けられている。
撮像部２０-4は、センサ部で生成された画素信号Ｒｓ，Ｇｓ，Ｂｓに対して第１乃至第３の実施の形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像信号Ｒ，Ｇ，Ｂを生成して画像処理部３０へ出力する。
画像処理部３０の無偏光成分算出部３１は、第１乃至第３の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に無偏光成分を算出する。無偏光成分算出部３１は、無偏光画素の画素値を用いて重み付けフィルタ処理を行い、画素位置毎の低周波成分を色成分毎に算出する。また、無偏光成分算出部３１は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素の画素位置毎に高周波成分係数ＨＰＦを算出する。さらに、無偏光成分算出部３１は、算出した高周波成分係数と無偏光画素を用いて算出した低周波成分を用いて、上述の式（６）乃至（８）の演算を行い、無偏光画素毎に無偏光成分を色成分毎に算出する。
また、無偏光成分算出部３１は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素の画素位置毎の偏光画素の色成分の低周波成分を算出する。また、無偏光成分算出部３１は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、無偏光成分算出部３１は、この高周波成分係数と、無偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した偏光画素位置における色成分毎の低周波成分の乗算を偏光画素毎に行い、偏光画素の無偏光成分を色成分毎に算出する。
無偏光成分算出部３１は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で無偏光成分を色成分毎に算出して、無偏光成分を示す図６の色成分毎の無偏光画像ＰＲnp，ＰＧnp，ＰＢnpの画像信号を鏡面反射成分算出部３３へ出力する。
拡散反射成分算出部３２は、第１乃至第３の実施の形態と同様に、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に拡散反射成分信号を生成する。拡散反射成分算出部３２は、偏光画素の画素値を用いて重み付けフィルタ処理を行い、偏光画素毎に低周波成分を色成分毎に算出する。また、拡散反射成分算出部３２は、偏光画素の画素値を同じ色成分の低周波成分で除算して、偏光画素毎に高周波成分係数を算出する。さらに、拡散反射成分算出部３２は、算出した高周波成分係数と偏光画素を用いて算出した低周波成分を用いて、上述の式（１１）乃至（１３）の演算を行い、偏光画素毎に拡散反射成分を色成分毎に算出する。また、拡散反射成分算出部３２は、無偏光画素の画素信号を用いて重み付けフィルタ処理を行い、無偏光画素と等しい色成分の低周波成分を算出する。また、拡散反射成分算出部３２は、無偏光画素の画素値を同じ色成分の低周波成分で除算して、無偏光画素毎の高周波成分係数を算出する。さらに、画像処理部３０は、この高周波成分係数と偏光画素の画素信号を用いた重み付けフィルタ処理によって算出した無偏光画素位置における色成分毎の低周波成分の乗算を無偏光画素毎に行い、無偏光画素の拡散反射成分を色成分毎に算出する。さらに、拡散反射成分算出部３２は、偏光子の透過率ｒを用いて、偏光子による減光を補正して各画素の拡散反射成分を算出する。
拡散反射成分算出部３２は、上述の処理を画素毎に行い、無偏光画素と偏光画素の各画素で拡散反射成分を色成分毎に算出して、拡散反射成分を示す図７の色成分毎の拡散反射成分画像ＰＲdif，ＰＧdif，ＰＢdifの画像信号を鏡面反射成分算出部３３へ出力する。
鏡面反射成分算出部３３は、色成分毎に無偏光成分から拡散反射成分を画素位置毎に減算して鏡面反射成分を算出して、各画素で算出された鏡面反射成分を示す鏡面反射成分画像の画像信号を反射成分調整部３４へ出力する。
反射成分調整部３４は、拡散反射成分算出部３２で算出された拡散反射成分と、鏡面反射成分算出部３３で算出された鏡面反射成分を合成して、反射成分が調整された画像信号を生成して出力する。
なお、第４の実施の形態における画像処理部の動作は、図８に示すフローチャートと等しい。
このように、第４の実施の形態の撮像部２０-4は、２×２画素領域が色単位とされて同一色の画素で構成されており、４×４画素領域にＲ画素の色単位とＢ画素の色単位およびＧ画素の２つの色単位の領域が設けられている。また、撮像部２０-4は、４×４画素領域において、色単位領域毎に１つの画素が偏光画素とされており、４×４画素領域において、偏光画素が水平方向と垂直方向に１画素置きに設けた構成とされている。したがって、解像度と感度の高い無偏光画像と各色についての反射成分を取得できるようになる。
また、第４の実施の形態では、２×２画素領域が色単位とされているので、第１の実施の形態や第２の実施の形態のようにＲ画素とＧ画素とＢ画素をベイヤー配列として設ける場合に比べて混色の少ない撮像画を得られるようになる。また、第４の実施の形態では、第３の実施の形態に比べて、偏光画素間の距離が小さいことから、反射成分の解像度を高くできる。
＜６．第５の実施の形態＞
次に、第５の実施の形態について説明する。第５の実施の形態は、撮像部の画素配置が第１乃至第４の実施の形態と異なる。第１乃至第４の実施の形態では、複数の色成分の少なくとも各色成分を含む同一偏光方向の偏光画素を有する４×４画素領域が繰り返し設けられた場合を示しているが、第５の実施の形態では、複数の色成分の少なくとも各色成分を含む同一偏光方向の偏光画素を有する４×４画素領域が所定間隔で繰り返し設けられた場合を示している。図１２は、撮像部の画素配置を示しており、複数の色成分の少なくとも各色成分を含む同一偏光方向の偏光画素を有する４×４画素領域が４画素領域の間隔とされている。すなわち、８×８画素領域内の４×４画素領域において複数の色成分の少なくとも各色成分を含む同一偏光方向の偏光画素が設けられて、偏光画素を除く画素の過半数が無偏光画素とされている。
例えば、図１２の（ａ）は、画素配列がベイヤー配列とされており、８×８画素領域内における１つの２×２画素領域内に含まれる１つのＲ画素とＢ画素および２つのＧ画素（Ｇｒ画素とＧｂ画素）が偏光画素とされている。また、図１２の（ｂ）は、２×２画素領域が色単位領域とされて同一色の画素で構成されており、４×４画素領域にＲ画素の色単位領域とＢ画素の色単位領域およびＧ画素の２つの色単位領域が設けられている。さらに、各色単位領域を含む４×４画素領域を上下左右に２つずつ含む８×８画素領域では、中央に位置する２×２画素領域内に含まれる１つのＲ画素とＢ画素および２つのＧ画素（Ｇｒ画素とＧｂ画素）が偏光画素とされている。
撮像部２０-5は、センサ部で生成された画素信号Ｒｓ，Ｇｓ，Ｂｓに対して第１乃至第４の実施の形態と同様にホワイトバランス調整を行い、ホワイトバランス調整後の画像信号Ｒ，Ｇ，Ｂを生成して画像処理部３０へ出力する。
画像処理部３０の無偏光成分算出部３１は、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色成分毎に無偏光成分を算出する。第５の実施の形態では、上述の第１乃至第４の実施の形態に比べて、無偏光画素に対する偏光画素の割合が少ない。したがって、無偏光成分算出部３１は、無偏光画素を用いて補間処理を行い、偏光画素の画素位置の無偏光成分を算出する。
図１３は、無偏光成分算出部の動作を説明するための図である。例えばＲ画素である偏光画素の無偏光成分ＲＶｔを算出する場合、上下左右方向に１画素分離れた位置の無偏光のＲ画素の画素値ＲＶ0，ＲＶ1，ＲＶ2，ＲＶ3を用いて式（１７）に示す補間演算を行い、無偏光成分Ｒｔを算出する。なお、無偏光画素の画素値は無偏光成分である。
ＲＶt ＝ （ＲＶ0＋ＲＶ1＋ＲＶ2＋ＲＶ3）／４ ・・・（１７）
また、Ｇｂ画素である偏光画素の無偏光成分Ｇｂtを算出する場合、斜め方向に隣接する無偏光のＧ画素の画素値ＧＶr0，ＧＶr1を用いて式（１８）に示す補間演算を行い、無偏光成分ＧＶｂｔを算出する。
ＧＶｂt ＝ （ＧＶr0＋ＧＶr2）／２ ・・・（１８）
また、Ｇｒ画素である偏光画素の無偏光成分ＧＶrtを算出する場合、斜め方向に隣接する無偏光のＧ画素の画素値ＧＶb0，ＧＶb1を用いて上述のように補間演算を行い、無偏光成分ＧＶbtを算出する。さらに、Ｂ画素である偏光画素の無偏光成分ＢＶｔを算出する場合、上下左右方向に１画素分離れた位置の無偏光のＢ画素の画素値ＢＶ0，ＢＶ1，ＢＶ2，ＢＶ3を用いて、Ｒ画素と同様に補間演算を行い、無偏光成分ＢＶｔを算出する。
無偏光成分算出部３１は、このように補間処理を行い偏光画素の無偏光成分を算出して、各画素が無偏光成分を示すベイヤー配列の無偏光画像の画像信号を生成する。さらに、無偏光成分算出部３１は、ベイヤー配列である無偏光画像の画像信号を用いて、従来と同様なデモザイク処理を行い、色成分毎の無偏光画像ＰＲnp，ＰＧnp，ＰＢnpの画像信号を生成して、鏡面反射成分算出部３３へ出力する。
拡散反射成分算出部３２は、ホワイトバランス調整後の画素信号Ｒ，Ｇ，Ｂを用いて色毎に拡散反射成分を算出する。拡散反射成分算出部３２は、無偏光画素を算出対象画素として、偏光画素の画素値を用いた線形補間によって、無偏光画素である算出対象画素の拡散反射成分を算出する。図１４は線形補間を説明するための図である。例えば算出対象画素の拡散反射成分Ｉｔを算出する場合、周囲に位置する例えば４つの偏光画素の画素値Ｉ0，Ｉ1，Ｉ2，Ｉ3を用いる。例えば算出対象画素がＲ画素である場合、画素値Ｉ0，Ｉ1，Ｉ2，Ｉ3は、偏光画素であるＲ画素の画素値を用いる。なお、「Ｉｔ」は各色成分の拡散反射成分のいずれかを示している。また、「Ｉ0，Ｉ1，Ｉ2，Ｉ3」は、「Ｉｔ」と色成分が等しい偏光画素の画素値を示している。
拡散反射成分算出部３２は、式（１９）に基づいて、算出対象画素の拡散反射成分を算出する。なお、式（１９）において、「ｈ０，ｈ１」は、算出対象画素と等しい色成分で拡散反射成分を示す偏光画素との垂直方向の距離、「Ｗ０，Ｗ１」は、算出対象画素と等しい色成分で拡散反射成分を示す偏光画素との水平方向の距離を示している。
Figure 0007006690000001
また、算出対象画素がＧ画素である場合、画素値Ｉ0，Ｉ1，Ｉ2，Ｉ3をＧｒ画素で拡散反射成分を示す偏光画素の画素値とした線形補間と、画素値Ｉ0，Ｉ1，Ｉ2，Ｉ3をＧｂ画素で拡散反射成分を示す偏光画素の画素値とした線形補間を行い、２つの線形補間の補間結果の平均値を算出対象画素のＧ画素の拡散反射成分とする。
拡散反射成分算出部３２は、各無偏光画素を算出対象画素として上述の線形補間処理を行い、各画素の拡散反射成分を用いて上述の式（１５）のように、偏光子による減光が補正された各画素の拡散反射成分を算出する。拡散反射成分算出部３２は、各画素が拡散反射成分を示すベイヤー配列の拡散反射画像の画像信号を生成する。さらに、拡散反射成分算出部３２は、ベイヤー配列である拡散反射画像の画像信号を用いて、従来と同様なデモザイク処理を行い、色成分毎の拡散反射画像ＰＲdif，ＰＧdif，ＰＢdifの画像信号を生成して、鏡面反射成分算出部３３へ出力する。
鏡面反射成分算出部３３は、色成分毎に無偏光成分から拡散反射成分を画素位置毎に減算して鏡面反射成分を算出して、各画素で算出された鏡面反射成分を示す鏡面反射成分画像の画像信号を反射成分調整部３４へ出力する。
反射成分調整部３４は、拡散反射成分算出部３２で生成された拡散反射成分信号と、鏡面反射成分算出部３３で生成された鏡面反射成分信号を混合して、反射成分が調整された画像信号を生成して出力する。
なお、第５の実施の形態における画像処理部は、図８に示すフローチャートの処理を行い、ステップＳＴ１において画像処理部は、偏光画素の無偏光成分を同じ色成分の無偏光画素の無偏光成分を用いた補間処理によって算出したのちデモザイク処理等を行い、画素毎の無偏光成分を色成分毎に算出する。また、ステップＳＴ２において画像処理部は、無偏光画素の拡散反射成分を同じ色成分の偏光画素の拡散反射成分を用いた補間処理によって算出したのちデモザイク処理や減光補正等を行い、画素毎の拡散反射成分を色成分毎に算出する。
このように、第５の実施の形態の撮像部２０-5は、８×８画素領域またはそれ以上の広範囲の画素領域において、１つのＲ画素とＢ画素および２つのＧ画素の偏光画素を設けた構成とされている。また、８×８画素領域またはそれ以上の広範囲の画素領域は、Ｒ画素とＧ画素とＢ画素をベイヤー配列として設けた構成、または、同一色の画素からなる２×２画素領域の色単位領域として、Ｒ画素の色単位領域とＢ画素の色単位領域およびＧ画素の色単位領域が設けた構成とされている。したがって、解像度と感度の高い無偏光画像と各色成分についての反射成分を取得できるようになる。
また、第５の実施の形態では、８×８画素領域またはそれ以上の広範囲の画素領域において、１つのＲ画素とＢ画素および２つのＧ画素の偏光画素を設けた構成とされている。このため、第１乃至第４の実施の形態に比べて偏光画素が少なく、高い解像度の無偏光画像を得られるようになる。
＜７．第１乃至第５の実施の形態の特性と従来の構成の特性について＞
図１５は、第１乃至第５の実施の形態の特性と従来の特性を一覧として示している。なお、偏光画素を設けていない場合と先行技術（特開２０１３－１４８５０５号公報）で示された構成を従来例として示している。
偏光画素を設けることで感度が低下することから、偏光画素を設けないようにすると赤色と緑色と青色のいずれについても反射成分も取得できない。また、先願の第１の実施の形態のように感度を高くする構成では赤色と青色の反射成分を分離することができず、赤色と緑色と青色のいずれの反射成分も分離することができる構成とすると感度が低い。
例えば、偏光画素を設けていない場合の感度を「１」として、偏光子を設けた画素の感度は１／２とする。この場合、先願の第１の実施の形態では感度が「０．８７５」となるが赤色と青色の反射成分を得ることができない。また、先願の第５の実施の形態では、赤色と緑色と青色のいずれの反射成分も取得できるが、感度が「０．７５」となってしまう。しかし、本技術の第１乃至第５の実施の形態によれば、感度が「０．８７５」以上であって、赤色と緑色と青色のいずれの反射成分も取得できるようになる。
＜８．反射成分調整部の動作＞
次に、画像処理装置における反射成分調整部の動作について説明する。反射成分調整部３４は、拡散反射成分Ｉdifと鏡面反射成分Ｉspeの少なくとも一方の成分量を調整して合成する。例えば、反射成分調整部３４は、鏡面反射成分Ｉspeと拡散反射成分Ｉdifを用いて式（２０）の演算を行い、鏡面反射成分Ｉspeと拡散反射成分Ｉdifの少なくとも一方の成分量を調整して合成することで、反射成分が調整された出力画像信号Ｉoutを生成する。なお、係数α，βは、ユーザが自由設定できるようにしてもよく、予め係数α，βの組み合わせた複数設定されており、係数α，βの組合せを例えばユーザの指示または被写体、撮像モードや撮像条件、撮像環境等に応じて
選択できるようにしてもよい。
Ｉout ＝ α×Ｉspe ＋ β×Ｉdif ・・・（２０）
図１６は、係数α，βを変化させた場合の出力画像を例示している。図１６の（ａ）は、α＝β＝１である場合を示しており、出力画像は無偏光画像となる。図１６の（ｂ）は、α＝０，β＝１である場合を示しており、出力画像は拡散反射成分のみを示す画像となり、つやのない鈍い色であるマットな画像となる。図１６の（ｃ）は、α＝１，β＝０である場合を示しており、出力画像は鏡面反射成分のみを示す画像となる。図１６の（ｄ）は、鏡面反射成分の成分量を低下させて合成する場合、例えばα＝０．２，β＝１とした場合を示している。この場合、拡散反射成分の画像に鏡面反射成分がわずかに含まれて、無偏光画像よりも反射が抑えられて、出力画像を見栄えのよい画像にできる。
また、反射成分調整部３４は、無偏光成分または拡散反射成分を用いて被写体認識を行い、認識した被写体領域毎に拡散反射成分と鏡面反射成分の少なくとも一方の成分量の調整を行うようにしてもよい。図１７は、被写体領域毎に係数α，βを設定した場合の出力画像を例示した図である。例えば、被写体認識によって、目の領域を判別して、目の領域以外の係数を「α＝０．２，β＝１」に設定して、無偏光画像よりも反射を抑えた画像とする。また、目の領域の係数を「α＝１，β＝１」に設定して、目の領域は反射を残した状態とする。このようにすれば、図１７の（ａ）に示す無偏光画像に比べて、図１７の（ｂ）に示すように顔がオイリーに表示されてしまうことがなく、かつ目の部分は輝きを残した出力画像を得られるようになる。また、被写体認識によって、口の領域を判別して、口の領域を他の領域と異なる係数に設定すれば、顔の反射（てかり）を抑えても、唇をつやのある色で表現できるようになる。
また、反射成分調整部３４は、拡散反射成分のみ成分量の調整を行うようにしてもよい。具体的には、鏡面反射成分に関する係数αを固定して、拡散反射成分に関する係数βを変化させて、例えば肌の色を調整する。図１８は、係数αを固定して係数βのみを変化させた場合の出力画像を例示した図である。例えば、図１８の（ａ）に示す無偏光画像に比べて、係数βを小さくすることで、図１８の（ｂ）に示すように肌の色を日焼けしたような暗い色とすることができる。また、係数βを大きくすることで、図１８の（ｃ）に示すように肌の色を明るい色とすることができる。
＜９．撮像部における信号読み出しについて＞
ところで、撮像部２０でＣＭＯＳイメージセンサを用いた場合、画素信号を加算して読み出すことが可能である。また、画素信号を加算して読み出す場合、高フレームレートで画素信号の読み出しを行うことが可能となり、画素信号のＳ／Ｎ比を向上させることも可能となる。
次に、撮像部で画素から信号を加算して読み出す場合の動作について、例えば第１の実施の形態の撮像部２０-1を用いた場合について説明する。
図１９は撮像部の画素と読出信号線を示している。図１９の（ａ）は、撮像部２０-1における画素配列の一部を例示している。また、図１９の（ｂ）は、読出信号線を示している。撮像部２０-1の画素は、図示せずもフォトダイオードおよび電荷転送用やリセット用のトランジスタを有している。各画素は、リセット信号によってリセット用のトランジスタを駆動して蓄積電荷を排出する。その後、各画素は、読出信号によって電荷転送用のトランジスタを駆動して、リセット終了から読出開始までの露光期間中に蓄積された電荷を画素信号として読出信号線に出力する。読出信号線はアナログ／デジタル変換部（Ａ／Ｄ）と接続されており、各画素から読み出されたアナログ画素信号をデジタル画素信号に変換して、ノイズ除去等を行ったのち画像処理部３０へ出力する。
図２０は、画素信号の読み出し動作を説明するための図である。撮像部２０-1は、同一の読出信号線に接続されている同一列の画素における同一色成分および同一偏光特性の画素から画素信号を順次加算して読み出す。例えば、図２０の（ａ）に示すように、撮像部２０-1は、読出信号線ＶＳＬ０を介して、偏光画素である２つのＲ画素から画素信号を加算して読み出して、偏光画素である１つのＲ画素のデジタル画素信号を生成する。また、撮像部２０-1は、読出信号線ＶＳＬ１を介して、偏光画素である２つのＧｒ画素から画素信号を加算して読み出して、偏光画素である１つのＧｒ画素のデジタル画素信号を生成する。また、撮像部２０-1は、読出信号線ＶＳＬ２を介して、無偏光画素である２つのＲ画素から画素信号を加算して読み出して、無偏光画素である１つのＲ画素のデジタル画素信号を生成する。さらに、撮像部２０-1は、読出信号線ＶＳＬ３を介して、無偏光画素である２つのＧｒ画素から画素信号を加算して読み出して、無偏光画素である１つのＧｒ画素のデジタル画素信号を生成する。このようにして、１ライン分の画素信号を生成する。
次に、撮像部２０-1は、次ラインの画素信号を生成する。例えば、図２０の（ｂ）に示すように、撮像部２０-1は、読出信号線ＶＳＬ０を介して、偏光画素である２つのＧｒ画素から画素信号を加算して読み出して、偏光画素である１つのＧｒ画素のデジタル画素信号を生成する。また、撮像部２０-1は、読出信号線ＶＳＬ１を介して、偏光画素である２つのＢ画素から画素信号を加算して読み出して、偏光画素である１つのＢ画素のデジタル画素信号を生成する。また、撮像部２０-1は、読出信号線ＶＳＬ２を介して、無偏光画素である２つのＧｂ画素から画素信号を加算して読み出して、無偏光画素である１つのＧｂ画素のデジタル画素信号を生成する。さらに、撮像部２０-1は、読出信号線ＶＳＬ３を介して、無偏光画素である２つのＢ画素から画素信号を加算して読み出して、無偏光画素である１つのＢ画素のデジタル画素信号を生成する。このようにして、１ライン分の画素信号を生成する。
さらに、撮像部２０-1は、例えば、図２０の（ｃ）（ｄ）に示すように、撮像部２０-1は、読出信号線ＶＳＬ０～ＶＳＬ３を介して、無偏光画素である２つの画素から画素信号を加算して読み出して、無偏光画素である１つの画素のデジタル画素信号を生成する。撮像部２０-1は、図２０に示す同一色で同一偏光特性の２画素を加算して１画素の画素信号を生成する処理を繰り返して画像信号を生成する。このように、撮像部２０-1は、信号加算の対象となる画素を垂直方向に順次移動して、ライン毎に画素信号を生成する。
図２１は、撮像部２０-1の画素配置と撮像部２０-1から出力される画素信号に基づく画像の関係を示している。図２１の（ａ）に示す撮像部２０-1の画素配置に対して、図２０に示す処理を行うと、撮像部２０-1から出力される画素信号に基づく画像は、図２１の（ｂ）に示すように、垂直方向の解像度が１／２となる。そこで、画像処理部３０では、水平方向の解像度を１／２として、出力画像のアスペクト比が変化しないように処理してもよい。
図２２は、水平方向の解像度を１／２とする解像度変換部の構成を例示している。解像度変換部３５は、加算部３５１と除算部３５２を有している。解像度変換部３５は、例えば反射成分調整部３４から出力された画像信号を用いて解像度変換を行う。
解像度変換部３５の加算部３５１は、水平方向に隣接する２画素の画素値を加算して、加算結果を除算部３５２へ出力する。除算部３５２は、１ビットの右シフト処理を行い、加算部３５１の加算結果を１／２とする演算を行う。このように、解像度変換部３５は、水平方向に隣接する２画素の画素値を加算して、加算結果を１／２とする画像縮小処理を行う。したがって、解像度変換部３５から出力される画像は、高フレームレートの動作が可能で画素信号のＳ／Ｎ比を向上できるように、撮像部で複数画素から信号が加算して読み出されても、アスペクト比を保つことができる。なお、図２２では、加算部３５１に複数の加算器を設けて、乗算部３５２では加算部３５１の加算器毎に除算器を設ける場合を例示しているが、加算器と除算器をそれぞれ１つ設けて、２画素の画素信号から１画素の画素信号を生成する処理をライン毎に、順次水平方向に行うようにしてもよい。
なお、上述の実施の形態では、原色系のカラーフィルタを用いて撮像部が構成されている場合を例示したが、撮像部は補色系のカラーフィルタを用いて構成されてもよい。また、無偏光画素は色成分画素で構成されている場合に限らず、他の特性の画素例えば白画素や赤外領域に感度を有する赤外画素等が含まれていてもよい。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の撮像装置は以下のような構成も取ることができる。
（１） 撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記偏光画素を除く画素が前記４×４画素領域の過半数かつ無偏光画素である撮像部と、
前記撮像部で生成された前記偏光画素の画素信号と前記無偏光画素の画素信号を用いて、画素毎に無偏光成分と拡散反射成分の少なくともいずれかを算出する画像処理部と
を備える撮像装置。
（２） 前記画像処理部は、前記無偏光成分と前記拡散反射成分を算出して、算出した前記無偏光成分と前記拡散反射成分に基づき鏡面反射成分を算出する（１）に記載の撮像装置。
（３） 前記画像処理部は、前記無偏光成分と前記拡散反射成分の少なくともいずれか、または前記無偏光成分と前記拡散反射成分と前記鏡面反射成分を色成分毎に算出する（２）に記載の撮像装置。
（４） 前記画像処理部は、前記画素信号を用いてフィルタ処理を行い色成分毎の低周波成分を画素毎に算出して、画素位置毎に画素信号と当該画素と等しい色成分の低周波成分に基づき高周波成分情報を算出して、画素位置毎に算出した高周波成分情報と色成分毎の低周波成分から前記無偏光成分と前記拡散反射成分を前記色成分毎に算出する（３）に記載の撮像装置。
（５） 前記画像処理部は、偏光画素と同一色の無偏光画素の画素信号を用いて補間処理を行い前記偏光画素の無偏光成分を算出して、無偏光画素と同一色の偏光画素の画素信号を用いて補間処理を行い前記無偏光画素の拡散反射成分を算出する（３）に記載の撮像装置。
（６） 前記画像処理部は、前記拡散反射成分と前記鏡面反射成分の少なくとも一方の成分量を調整して合成する（２）乃至（５）のいずれかに記載の撮像装置。
（７） 前記画像処理部は、前記鏡面反射成分の成分量を低下させて合成する（６）に記載の撮像装置。
（８） 前記画像処理部は、前記拡散反射成分のみ成分量の調整を行う（６）に記載の撮像装置。
（９） 前記画像処理部は、前記無偏光成分または前記拡散反射成分を用いて被写体認識を行い、認識した被写体領域毎に前記拡散反射成分と前記鏡面反射成分の少なくとも一方の成分量の調整を行う（６）に記載の撮像装置。
（１０） 前記撮像部は、偏光特性と色成分が同一の画素から信号を加算して画素信号の生成を行い、
前記画像処理部は、信号の加算が行われた画素の配列方向に対して直交する方向に、前記信号の加算が行われた画素数に応じた画像縮小処理を行う（１）乃至（９）のいずれかに記載の撮像装置。
（１１） 前記撮像部で撮像される被写体には、前記撮像素子の偏光画素の偏光方向に対して直交する偏光方向の偏光光が照射されている（１）乃至（１０）のいずれかに記載の撮像装置。
（１２） 前記偏光光を照射する照明部をさらに備える（１１）に記載の撮像装置。
この技術によれば、撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、且つ、４×４画素領域のうち過半数の画素が無偏光画素とされて、偏光画素の画素信号と無偏光画素の画素信号を用いて、画素毎に無偏光成分と拡散反射成分が算出される。このため、解像度と感度の高い無偏光画像と色成分毎の反射成分を取得できる。したがって、被写体画像の調整機能を有する撮像装置や、撮像部で生成された画像信号を用いて画像処理を行う機能を有した電子機器等に適している。
１０・・・撮像装置
２０，２０-1，２０-2，２０-3，２０-4，２０-5・・・撮像部
２１・・・センサ部
２２，４２・・・偏光子
３０・・・画像処理部
３１・・・無偏光成分算出部
３２・・・拡散反射成分算出部
３３・・・鏡面反射成分算出部
３４・・・反射成分調整部
３５・・・解像度変換部
３５１・・・加算部
３５２・・・除算部
４０・・・照明部
４１・・・光源

Claims (12)

  1. 撮像素子の４×４画素領域のうち、複数の色成分の少なくとも各色成分を含む画素が同一偏光方向の偏光画素であり、前記偏光画素を除く画素が前記４×４画素領域の過半数かつ無偏光画素である撮像部と、
    前記撮像部で生成された画素信号から、成分の算出を行う算出対象画素に対する無偏光周辺画素および同じ色成分で同一偏光特性である周辺画素の画素信号を用いて、前記算出対象画素の無偏光成分を算出して、前記算出対象画素に対する偏光周辺画素および同じ色成分で同一偏光特性の周辺画素の画素信号を用いて、前記算出対象画素の拡散反射成分を算出する画像処理部
    を備える撮像装置。
  2. 前記画像処理部は、前記無偏光成分と前記拡散反射成分を算出して、算出した前記無偏光成分と前記拡散反射成分に基づき鏡面反射成分を算出する
    請求項１に記載の撮像装置。
  3. 前記画像処理部は、前記無偏光成分と前記拡散反射成分の少なくともいずれか、または前記無偏光成分と前記拡散反射成分と前記鏡面反射成分を色成分毎に算出する
    請求項２に記載の撮像装置。
  4. 前記画像処理部は、前記画素信号を用いてフィルタ処理を行い色成分毎の低周波成分を画素毎に算出して、画素位置毎に画素信号と当該画素と等しい色成分の低周波成分に基づき高周波成分情報を算出して、画素位置毎に算出した高周波成分情報と色成分毎の低周波成分から前記無偏光成分と前記拡散反射成分を前記色成分毎に算出する
    請求項３に記載の撮像装置。
  5. 前記画像処理部は、偏光画素と同一色の無偏光画素の画素信号を用いて補間処理を行い前記偏光画素の無偏光成分を算出して、無偏光画素と同一色の偏光画素の画素信号を用いて補間処理を行い前記無偏光画素の拡散反射成分を算出する
    請求項３に記載の撮像装置。
  6. 前記画像処理部は、前記拡散反射成分と前記鏡面反射成分の少なくとも一方の成分量を調整して合成する
    請求項２に記載の撮像装置。
  7. 前記画像処理部は、前記鏡面反射成分の成分量を低下させて合成する
    請求項６に記載の撮像装置。
  8. 前記画像処理部は、前記拡散反射成分のみ成分量の調整を行う
    請求項６に記載の撮像装置。
  9. 前記画像処理部は、前記無偏光成分または前記拡散反射成分を用いて被写体認識を行い、認識した被写体領域毎に前記拡散反射成分と前記鏡面反射成分の少なくとも一方の成分量の調整を行う
    請求項６に記載の撮像装置。
  10. 前記撮像部は、偏光特性と色成分が同一の画素から信号を加算して画素信号の生成を行い、
    前記画像処理部は、信号の加算が行われた画素の配列方向に対して直交する方向に、前記信号の加算が行われた画素数に応じた画像縮小処理を行う
    請求項１に記載の撮像装置。
  11. 前記撮像部で撮像される被写体には、前記撮像素子の偏光画素の偏光方向に対して直交する偏光方向の偏光光が照射される
    請求項１に記載の撮像装置。
  12. 前記偏光光を照射する照明部をさらに備える
    請求項１１に記載の撮像装置。
JP2019525132A 2017-06-13 2018-04-09 撮像装置と撮像素子および画像処理方法 Active JP7006690B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017115755 2017-06-13
JP2017115755 2017-06-13
PCT/JP2018/014915 WO2018230119A1 (ja) 2017-06-13 2018-04-09 撮像装置と撮像素子および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2018230119A1 JPWO2018230119A1 (ja) 2020-04-16
JP7006690B2 true JP7006690B2 (ja) 2022-01-24

Family

ID=64660016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019525132A Active JP7006690B2 (ja) 2017-06-13 2018-04-09 撮像装置と撮像素子および画像処理方法

Country Status (5)

Country Link
US (1) US11108951B2 (ja)
JP (1) JP7006690B2 (ja)
CN (1) CN110741632B (ja)
DE (1) DE112018002992T5 (ja)
WO (1) WO2018230119A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113557709A (zh) * 2019-04-19 2021-10-26 索尼集团公司 成像装置、图像处理装置和图像处理方法
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
TW202131671A (zh) * 2019-10-07 2021-08-16 日商索尼半導體解決方案公司 電子機器
EP4066001A4 (en) * 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263158A (ja) 2009-05-11 2010-11-18 Sony Corp ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
JP2013148505A (ja) 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
JP2017017563A (ja) 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2512124B1 (en) * 2009-12-08 2016-07-06 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus
CN103037751B (zh) * 2010-11-30 2015-06-10 松下电器产业株式会社 图像处理装置
WO2014125529A1 (ja) * 2013-02-15 2014-08-21 パナソニック株式会社 画像処理装置および内視鏡

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010263158A (ja) 2009-05-11 2010-11-18 Sony Corp ２次元固体撮像装置、及び、２次元固体撮像装置における偏光光データ処理方法
JP2013148505A (ja) 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両
JP2017017563A (ja) 2015-07-01 2017-01-19 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置

Also Published As

Publication number Publication date
DE112018002992T5 (de) 2020-02-27
CN110741632B (zh) 2021-08-03
JPWO2018230119A1 (ja) 2020-04-16
WO2018230119A1 (ja) 2018-12-20
CN110741632A (zh) 2020-01-31
US11108951B2 (en) 2021-08-31
US20200204729A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
JP7006690B2 (ja) 撮像装置と撮像素子および画像処理方法
US11244209B2 (en) Image processing device, imaging device, and image processing method
JP5625371B2 (ja) 画像処理装置、および信号処理方法、並びにプログラム
JP3838243B2 (ja) 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP4501855B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP5284537B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
US8837853B2 (en) Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
WO2021047345A1 (zh) 图像降噪方法、装置、存储介质及电子设备
JP5054248B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
US20130342738A1 (en) Tone Mapping For Low-Light Video Frame Enhancement
US20160335749A1 (en) Image processing apparatus that performs image restoration processing, method of controlling the same, and storage medium
TWI737979B (zh) 圖像去馬賽克裝置及方法
WO2014027511A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPWO2014024500A1 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
US9807325B2 (en) Imaging apparatus, control method for imaging apparatus, and non-transitory computer-readable storage medium
JP2013055623A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
WO2020210472A1 (en) High-dynamic-range image generation with pre-combination denoising
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
CN104427321B (zh) 图像处理装置及其控制方法
JP5919086B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP5963611B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP6316140B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2016051911A1 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210630

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211005

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211005

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211014

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220