JP5310483B2 - 撮像装置 - Google Patents

Description

本発明は、複数の偏光フィルタ又は複数の色分解フィルタを配列した光透過フィルタを備え、被撮像物を撮像して画像信号を得る撮像装置に関する。

デジタルカメラ等において、被撮像物を撮像して得られた画像信号よりなる画像情報を、複数の波長帯域の画像情報に分解する撮像装置がある。

あるいは、デジタルカメラ等において、例えば不要な偏光成分を除去して被撮像物のコントラストを強調するために、被撮像物を撮像して得られた画像信号よりなる画像情報を、複数の偏光成分の画像情報に分解する撮像装置がある。

このような撮像装置においては、１種類の受光素子を配列してなる受光素子アレイを用い、複数の異なる偏光方向又は複数の異なる波長帯域を有する複数の種類の光に分解するものがある。

例えば、ＣＣＤ（電荷結合素子：Charge Coupled Device）、ＣＭＯＳ（相補形金属酸化膜半導体：Complementary Metal Oxide Semiconductor）等よりなる受光素子アレイの前面に、互いに異なる特性の複数の光を透過する複数の種類の領域に分割された領域分割型のフィルタを配置した撮像装置がある。このような撮像装置では、受光素子から出力される画像信号データに対して信号処理を行って、異なる特性の複数の光透過フィルタを透過した複数の種類の受光素子が存在するかのように、複数の画像信号を得る。

また、例えば、ＣＣＤ等よりなる受光素子アレイの前面に、領域分割偏光フィルタ、すなわち偏光方向の異なる偏光フィルタ（以下、「偏光フィルタ部」という。）を所定の配置パターンに従って配列した偏光フィルタを設置した撮像装置がある。このような撮像装置では、１つの被撮像物を撮像して得た１つの画像信号データを、偏光方向ごとに分離して複数の画像信号データを取得する。

また、ＣＣＤ等よりなる受光素子アレイの前面に、領域分割分光フィルタ、すなわち、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色分解フィルタのように、透過する光の帯域波長が異なる分光フィルタ（以下、「分光フィルタ部」という。）を、所定の配置パターンに従って配列したカラーフィルタを設置した撮像装置がある。このような撮像装置では、更にマイクロレンズを組合せ、カラー画像信号データを取得する。

上記した、マイクロレンズ、カラーフィルタ及び受光素子アレイを組み合わせた撮像装置においては、光線の入射角、フィルタ、マイクロレンズの微妙な位置ずれが生じる場合がある。位置ずれが生じると、あるフィルタを透過した光に隣のフィルタを透過した光が混入する現象（色シェーディング）が生じる。受光素子アレイの各受光素子（画素）の画像信号において上述した光の混入を補正するために、通常の色補正マトリクス処理の結果に対し、混入を除去するためのマトリクス処理をもう一度行うことを特徴とする撮像装置がある（例えば特許文献１参照）。

ところが、このような撮像装置の受光素子アレイにおける各受光素子（画素）の画像信号をマトリクス処理により復元する場合において、以下のような問題があった。

特許文献１では、フィルタが受光素子アレイに対して位置ずれしていない撮像装置について、隣のフィルタを透過した光が混入することによる光の混合を補正することを補正の対象としている。そのため、受光素子（画素）の位置によらない通常の色補正マトリクス処理の後段で、受光素子（画素）の位置座標の１次式で得られる係数をそのまま用いたマトリクス処理を行うことによって、補正が行われる。

ところが、領域分割偏光フィルタを用いる場合には、１画素以上のずれが生じることがある。このような大きなずれが生じているときは、受光素子（画素）の位置により、例えば縦方向又は横方向に隣接する受光素子（画素）の感度が同一となる等、マトリクス処理における加重和計算を行うための加重係数が受光素子（画素）の位置によって大きく異なることがある。そのため、受光素子（画素）の位置によらない固定パラメータを用いたマトリクス処理により補正を行うことはできない。

一方、領域分割偏光フィルタを用いる場合でも、受光素子（画素）の位置ごとに異なるパラメータを用いることにより、補正を行うことは可能である。例えば、受光素子（画素）ごとに異なる加重係数を用いることにより、領域分割フィルタの位置精度が悪い場合でも各受光素子（画素）の画像信号を補正して復元することができる。しかしながら、受光素子（画素）ごとに異なるパラメータ（加重係数）が必要になるため、これらのパラメータ（加重係数）を全て記憶するための大容量のメモリが必要になるという問題があった。

本発明は上記の点に鑑みてなされたものであり、受光素子アレイの各受光素子の画像信号をマトリクス処理により復元する場合において、全受光素子（全画素）の係数を全て記憶することなく、全受光素子（全画素）の係数を全て記憶する場合と同様の結果を得ることができる撮像装置を提供することを目的とする。

第１の発明は、被撮像物を撮像して画像信号を得る撮像装置において、受光素子が行方向及び列方向に二次元的に配列された受光素子アレイと、前記受光素子アレイの手前に設けられ、互いに光透過特性が異なる複数の種類の帯状の光透過部が、前記受光素子が配列する前記行方向及び前記列方向のいずれとも平行でない方向に沿って交互に配列されてなる光透過フィルタと、前記受光素子が出力した画像信号を入力して演算処理を行う演算処理部とを有し、前記演算処理部は、一の前記受光素子の位置を入力として、前記光透過部が配列した光透過部パターンの位置を表す第１のパラメータを生成する第１のパラメータ生成部と、前記第１のパラメータ生成部が出力した前記第１のパラメータを入力として、出力画像を生成するための第２のパラメータを生成する第２のパラメータ生成部と、前記一の前記受光素子が出力した画像信号と、前記第２のパラメータ生成部が出力した前記第２のパラメータとを入力として、前記出力画像を生成する画像生成部とを有することを特徴とする。

第２の発明は、第１の発明に係る撮像装置において、前記第１のパラメータは、サブピクセル精度を有することを特徴とする。

第３の発明は、第１又は第２の発明に係る撮像装置において、前記第１のパラメータは、前記一の前記受光素子の近傍における、前記受光素子が配列した受光素子パターンに対する前記光透過部パターンの相対位置を表し、前記第２のパラメータは、複数の前記受光素子が出力した前記画像信号から前記出力画像の前記一の前記受光素子に対応する画像信号を生成するための加重係数であり、前記画像生成部は、前記第２のパラメータを用いて前記複数の前記受光素子が出力した前記画像信号の加重和を求めることによって、前記出力画像を生成することを特徴とする。

第４の発明は、第１から第３のいずれかの発明に係る撮像装置において、前記第１のパラメータ生成部は、前記受光素子ごとの前記第１のパラメータを記憶する記憶部と、入力する前記一の前記受光素子の位置に対応する前記第１のパラメータを選択して読み出す選択部とを有することを特徴とする。

第５の発明は、第１から第３のいずれかの発明に係る撮像装置において、前記第１のパラメータ生成部は、複数の前記受光素子に対応する前記第１のパラメータを記憶する記憶部と、入力する前記一の前記受光素子の位置に対応する前記第１のパラメータを選択して読み出す選択部とを有することを特徴とする。

第６の発明は、第１から第３のいずれかの発明に係る撮像装置において、前記第１のパラメータ生成部は、前記受光素子の位置と前記第１のパラメータとの間の関係式のパラメータである第３のパラメータを記憶する記憶部と、前記記憶部に記憶された前記第３のパラメータを用いて、前記一の前記受光素子の位置に対応する前記第１のパラメータを計算する計算部とを有することを特徴とする。

本発明によれば、受光素子アレイの各受光素子の画像信号をマトリクス処理により復元する場合において、全受光素子（全画素）の係数を全て記憶することなく、全受光素子（全画素）の係数を全て記憶する場合と同様の結果を得ることができる。

本発明の第１の実施の形態に係る撮像装置の全体構成を模式的に示すブロック図である。 本発明の第１の実施の形態に係る撮像装置の領域分割偏光フィルタにおける偏光フィルタ部の配置パターンを示す図である。 偏光フィルタ部の受光素子に対する相対位置が、横方向（行方向）にずれた場合の配置を示す図である。 横方向（行方向）のずれ量と、特定の偏光フィルタ部が特定の受光素子と重なる面積の割合であるカバー率を示すグラフである。 配置パターンが市松模様である偏光フィルタ部が、受光素子に対して横方向（行方向）及び縦方向（列方向）に１／２（０．５）ずつずれている場合を示す図である。 本発明の第１の実施の形態に係る撮像装置における信号処理部の構成を示すブロック図である。 本発明の第１の実施の形態に係る撮像装置における信号処理部の構成を示すブロック図である。 図７に示す信号処理部の第１のパラメータ生成部の構成を示すブロック図である。 本発明の第１の実施の形態に係る撮像装置が実行する信号処理方法を説明する工程図である。 受光素子パターンに対する光透過部パターンのずれ量の変化を説明するための図である。 ずれ量を推定する計算を説明するための模式図である。 撮像装置の画面内のずれ量の分布の例を示す模式図である。 受光素子（画素）ごとのずれ量を記録する記録容量について説明するための模式図である。 ずれ量ごとに加重係数を記録することを説明するための模式図である。 比較例における撮像装置が実行する信号処理方法を説明する工程図である。 比較例において受光素子（画素）ごとのずれ量を記録する記録容量について説明するための模式図である。 本発明の第２の実施の形態に係る撮像装置の信号処理部の第１のパラメータ生成部の構成を示すブロック図である。 受光素子（画素）ごとのずれ量を記録する記録容量について説明するための模式図である。 本発明の第３の実施の形態に係る撮像装置の信号処理部の第１のパラメータ生成部の構成を示すブロック図である。

次に、本発明を実施するための形態について図面と共に説明する。
（第１の実施の形態）
（撮像装置）
図１から図６を参照し、本発明の第１の実施の形態に係る撮像装置を説明する。

本実施の形態に係る撮像装置は、１組の受光素子アレイと領域分割偏光フィルタを用いて被撮像物を１回撮像し、得られた画像信号データから縦偏光成分と横偏光成分の２つの画像信号データを復元するものである。

始めに、図１を参照し、本実施の形態の全体構成を説明する。図１は、本実施の形態に係る撮像装置の全体構成を模式的に示すブロック図である。

図１に示すように、本実施の形態に係る撮像装置５０は、イメージセンサである受光素子アレイ１、領域分割偏光フィルタ２、結像光学系２ａ、信号処理部３、及び出力インタフェース部３５を有する。結像光学系２ａは、被写体の像をイメージセンサである受光素子アレイ１上に結像させる。

なお、領域分割偏光フィルタ２、及び信号処理部３は、本発明における光透過フィルタ、及び演算処理部のそれぞれに相当する。

イメージセンサである受光素子アレイ１は、受光素子が行方向及び列方向に二次元的に配列されてなる。受光素子アレイ１としては、ＣＣＤやＭＯＳ、ＣＭＯＳ等を用いることができる。領域分割偏光フィルタ２は、受光素子アレイ１に受光される光の光路上であって受光素子アレイ１の手前に設けられる。領域分割偏光フィルタ２は、受光素子アレイ１の表面に密着するように設けられていてもよい。領域分割偏光フィルタ２は、後述するような斜めストライプ型領域分割フィルタである。信号処理部３は、受光素子アレイ１から出力される画像信号データを入力し、領域分割されていない各偏光フィルタ単体を通過したのと同様な画像信号データを生成する。すなわち、信号処理部３は、受光素子アレイ１から出力される画像信号データに対して信号処理を行う。また、受光素子アレイ１は例えば６４０×４８０画素の解像度を有する。

結像光学系２ａにより結像された像は、受光素子アレイ１の各受光素子の表面に設けられた領域分割偏光フィルタ２を透過して、受光素子アレイ１の各受光素子に入射する。受光素子アレイ１の出力する画像信号データは、各受光素子に入射する光量に比例し、そのままでは各偏光成分の画像（受光素子アレイ１の全面を各偏光成分を透過する光透過フィルタで覆った場合に出力する画像）とは異なる。しかし、受光素子アレイ１の出力する画像信号データを信号処理することにより、各偏光成分の画像を復元する。
（領域分割偏光フィルタ）
次に、図２を参照し、本実施の形態に係る撮像装置の領域分割偏光フィルタについて説明する。図２は、本実施の形態に係る撮像装置の領域分割偏光フィルタにおける偏光フィルタ部の配置パターンを示す図である。なお、本実施の形態に係る偏光フィルタ部は、本発明における光透過部に相当する。

領域分割偏光フィルタ２は、偏光方向が互いに異なる光を透過する複数の種類の帯状の偏光フィルタ部を有する。具体的には、図２に示すように、領域分割偏光フィルタ２は、透過する偏光方向が互いに９０°異なる光を透過する複数の種類の帯状の偏光フィルタ部２１、２２を有する。図２における２種類の斜めの帯が、縦方向及び横方向のそれぞれに対応する２種類の偏光フィルタ部２１、２２を示す。２種類の帯状の偏光フィルタ部２１、２２は、幅方向に沿って交互に配列されている。本実施の形態では、一例として、偏光フィルタ部２１を、偏光方向が縦方向である縦偏光フィルタ部２１とし、偏光フィルタ部２２を、偏光方向が横方向である横偏光フィルタ部２２とすることができる。

なお、本実施の形態に示す一例のように偏光フィルタ部が２種類である場合、その種類をＡ、Ｂで表記すると、「交互に配列する」とは、Ａ、Ｂ、Ａ、Ｂ、Ａ、Ｂ・・・の順番に繰返し配列することを意味する。

また、領域分割偏光フィルタは、それぞれ縦偏光又は横偏光を透過する２種類の偏光フィルタ部が配列する構成に限られるものではなく、偏光方向が異なる３種類以上の偏光フィルタ部が配列する構成であってもよい。３種類の偏光フィルタ部が配列する場合、その３種類をＡ、Ｂ、Ｃで表記すると、「交互に配列する」とは、Ａ、Ｂ、Ｃ、Ａ、Ｂ、Ｃ、Ａ、Ｂ、Ｃ・・・の順番に繰返し配列することを意味する。

また、領域分割偏光フィルタ２は、受光素子アレイ１に対する相対位置が位置ずれしていない場合には、図２に示すように、縦横に格子状に配列する正方形である各受光素子１０（又は各受光素子１０の受光部）に対して下記に説明するような所定の位置関係を有するように設置される。

具体的には、縦偏光フィルタ部２１、横偏光フィルタ部２２は、図２における横方向に１受光素子分（１画素分）の幅に等しい幅寸法を有する。すなわち、受光素子１０が配列する行方向に沿う縦偏光フィルタ部２１、横偏光フィルタ部２２の幅寸法は、行方向に沿う受光素子１０の幅寸法に略等しい。また、縦偏光フィルタ部２１、横偏光フィルタ部２２は、図２における縦方向に２画素分の幅寸法に等しい幅寸法を有する。すなわち、受光素子１０が配列する列方向に沿う各偏光フィルタ部の幅寸法は、列方向に沿う受光素子１０の幅寸法の略２倍である。従って、領域分割偏光フィルタの各偏光フィルタ部同士の境界線の傾きは２、すなわち、横方向に１受光素子分（１画素分）進む間に縦方向に２受光素子分（２画素分）変化する角度を有する斜めに傾いた帯状の形状を有する。

すなわち、帯状の偏光フィルタ部が配列配置される配置パターンは、斜めストライプパターンであり、帯状の偏光フィルタ部が配列する配列方向である幅方向は、受光素子が配列する横方向（行方向）及び縦方向（列方向）のいずれとも平行でない。

なお、本実施の形態において、行方向及び列方向は、それぞれ二次元に配列する２つの配列方向のうち一方及び他方を表すものであって、特に区別されるものではない。従って、本実施の形態は、行方向と列方向を取り替えて９０度回転させた配置を含む。すなわち、「横方向（行方向）」及び「縦方向（列方向）」を、それぞれ「縦方向（行方向）」及び「横方向（列方向）」とした場合を含む。

次に、図３及び図４を参照し、本実施の形態における領域分割偏光フィルタにおける偏光フィルタ部の配置パターンが、偏光フィルタ部の受光素子に対する相対位置の位置ずれが生じた場合にも、その位置ずれの影響を受け難いことを説明する。

図３は、偏光フィルタ部の受光素子に対する相対位置が、横方向（行方向）にずれた場合の配置を示す図である。図４は、横方向（行方向）のずれ量と、特定の偏光フィルタ部が特定の受光素子と重なる面積の割合であるカバー率を示すグラフである。具体的には、縦偏光フィルタ部が特定の受光素子と重なるカバー率を示す。

図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）は、偏光フィルタ部の受光素子に対する相対位置のずれ量をｄとしたときに、ｄが、横方向（行方向）にそれぞれ０画素分、１／４画素分（０．２５画素分）、１／２画素分（０．５画素分）、３／４画素分（０．７５画素分）となる配置を示す。図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）では、簡単のため、２行２列に配列された４つの受光素子１１〜１４と、その４つの受光素子１１〜１４に重なる縦偏光フィルタ部２１、横偏光フィルタ部２２のみを示す。また、図３（ａ）における点線IIで囲まれた範囲は、図２における点線Ｉで囲まれた範囲に相当する。また、図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）では、視やすいように、縦偏光フィルタ部２１のみハッチングを行い、横偏光フィルタ部２２にはハッチングを行っていない。

最初に、４つの受光素子１１〜１４を代表し、受光素子１４、１２について、図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）を参照し、受光素子１４、１２が縦偏光フィルタ部２１と重なる面積の割合であるカバー率について説明する。

偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが０の場合（図３（ａ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率の割合は、０．７５、０．２５である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが１／４（０．２５）の場合（図３（ｂ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率は０．８７５、０．５である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが１／２（０．５）の場合（図３（ｃ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率は０．７５、０．７５である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが３／４の場合（図３（ｄ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率は０．５、０．８７５である。

以上のカバー率の変化を、ずれ量ｄの連続的な変化に対して表したものが図４である。図４において、横軸は、偏光フィルタ部の受光素子に対する相対位置の横方向（行方向）に沿うずれ量ｄ（単位は一つの受光素子の横方向（行方向）の幅）を示す。また、縦軸は、１つの受光素子の縦偏光フィルタ部２１によるカバー率を示す。また、図４において、符号を付したように、破線で示す曲線Ｃ１、実線で示す曲線Ｃ２、一点鎖線で示す曲線Ｃ３、点線で示す曲線Ｃ４のそれぞれが、図３（ａ）に示す受光素子１１、１２、１３、１４のそれぞれに対応する。

図４を参照し、受光素子１１、１２、１３、１４のうち、受光素子１４、１２について、ずれ量と縦偏光フィルタ部によるカバー率の関係について説明する。

図４に示すように、ずれ量ｄが０から０．５の範囲では、曲線Ｃ４は、縦偏光フィルタ部２１によるカバー率が０．７５以上の範囲にあり、受光素子１４の面積の７５％以上が縦偏光フィルタ部２１でカバーされる。また、ずれ量ｄが０．５以上１．０以下の範囲では、曲線Ｃ４は、右肩下がりの直線であり、ずれ量ｄの増加に伴って、受光素子１４の縦偏光フィルタ部２１によるカバー率は低下する。その代わりに、ずれ量ｄが０．５以上１．０以下の範囲では、曲線Ｃ２が、縦偏光フィルタ部２１によるカバー率が０．７５以上の範囲にあり、受光素子１２の縦偏光フィルタ部２１によるカバー率が７５％以上となる。ずれ量ｄが１．０以上２．０以下の範囲における曲線Ｃ４、Ｃ２は、ずれ量ｄが０以上１．０以下の範囲における曲線Ｃ４、Ｃ２を、縦偏光フィルタ部２１によるカバー率が０．５となる水平線を対称中心として上下反転させた形状を有している。しかし、受光素子１４、１２において縦偏光フィルタ部２１でカバーされない部分は、横偏光フィルタ部２２でカバーされる面積であるため、ずれ量ｄが１．０以上２．０以下の範囲では、横偏光フィルタ部２２のカバー率が７５％以上となる。

すなわち、上下に隣接する２つの受光素子１４、１２に注目すると、上側の受光素子１２が縦偏光フィルタ部２１及び横偏光フィルタ部２２にそれぞれ半分ずつカバーされるような配置（ずれ量ｄが０．２５）では、下側の受光素子１４が一方の偏光フィルタ部である縦偏光フィルタ部２１に略全面に亘りカバーされる。逆に下側の受光素子１４が縦偏光フィルタ部２１及び横偏光フィルタ部２２にそれぞれ半分ずつカバーされるような配置（ずれ量ｄが０．７５）では、上側の受光素子１２が一方の偏光フィルタ部である縦偏光フィルタ部２１に略全面に亘りカバーされる。さらに左右の画素に注目すると、偏光フィルタ部の幅が１素子分であるため、右隣の受光素子は左隣の受光素子と反対の種類の偏光フィルタ部に関して同じカバー率を有する。従って、縦横２画素ずつ（２行２列）計４画素の近傍領域を考えると、任意のずれ量ｄに対して、４画素中の１画素は縦偏光フィルタ部２１に略全面に亘りカバーされ（カバー率０．７５以上）、他の１画素は横偏光フィルタ部２２に略全面に亘りカバーされる（カバー率０．７５以上）。

一方、領域分割偏光フィルタの配置パターンが他の場合は、このような効果は得られない。例えば、市松模様の場合について、図５を参照し、本実施の形態と比較する。図５は、配置パターンが市松模様である偏光フィルタ部が、受光素子に対して横方向（行方向）及び縦方向（列方向）に１／２（０．５）ずつずれている場合を示す図である。

図５に示すように、横方向（行方向）及び縦方向（列方向）に例えば６μｍの幅寸法を有する受光素子アレイにおいて、偏光フィルタ部の受光素子に対する相対的な位置関係が縦横に３μｍ（すなわち１／２画素分）ずれた場合について考える。図５においては、４つの受光素子１１１、１１２、１１３、１１４と、４つの偏光フィルタ部のみを示す。４つの偏光フィルタ部とは、縦偏光フィルタ部１２１ａ、１２１ｂ、横偏光フィルタ部１２２ａ、１２２ｂである。このような状態では、例えば受光素子１１４の受光する光は、４つの偏光フィルタ部１２１ａ、１２１ｂ、１２２ａ、１２２ｂを透過した光を平均したものとなってしまい、どのような偏光方向の光を入射した場合にも、受光素子１１４の出力は略等しくなるため、偏光に関する情報を得ることができない。受光素子アレイ及び偏光フィルタにおいては、このような相対的な位置関係が横方向（行方向）及び縦方向（列方向）に繰り返されるため、受光素子１１４以外の全ての受光素子においても、受光素子が受光する光が４つの偏光フィルタ部を透過した光を平均したものとなってしまい、偏光に関する情報を得ることができない。

上記したのと対照的に、本実施の形態では、受光素子と偏光フィルタとの相対的な位置関係はいずれのずれ量によりずれていたとしても、縦横２画素ずつ計４画素の近傍領域における全ての受光素子において、縦偏光フィルタ部によるカバー率又は横偏光フィルタ部によるカバー率が同じ値になることはない。従って、入射する光の偏光方向に変化があった場合、４画素の出力の組み合わせには、必ず変化が生ずることになるため、偏光に関する情報を得ることができる。

なお、偏光フィルタ部の境界の受光素子の境界に対する傾きは２以外の値としてもよいが、傾きが２で、かつ、横方向のフィルタ幅が１画素分の場合、縦方向のフィルタ幅は２画素分となり、縦方向２画素ごと同じ配置の繰り返しになる。近傍範囲を狭くすることができ、実質的な解像度の低下を防止することができ、また後述する演算処理部において必要な演算量を低減することができる。

また、上記においては、領域分割偏光フィルタが受光素子アレイに対して横方向（行方向）にずれた場合について説明したが、領域分割偏光フィルタが受光素子アレイに対して縦方向（列方向）にずれた場合についても、全く同様な配置として表される。

また、小角度で回転してずれた場合についても、近傍領域においては平行移動として近似することができるため、上記した場合と全く同様に説明することができる。
（信号処理方法）
次に、図６から図８を参照し、上記の配置パターンで得られる画像信号データから、各フィルタ成分による単独画像信号データを復元するための信号処理方法について説明する。図６及び図７は、本実施の形態に係る撮像装置における信号処理部の構成を示すブロック図である。図８は、図７に示す信号処理部の第１のパラメータ生成部の構成を示すブロック図である。

前述したように、帯状の偏光フィルタ部が配列配置される配置パターンは、斜めストライプパターンである。すなわち、帯状の偏光フィルタ部が配列配置される配置パターンは、斜めストライプパターンであり、帯状の偏光フィルタ部が配列する配列方向である幅方向は、受光素子が配列する横方向（行方向）及び縦方向（列方向）のいずれとも平行でない。

このような斜めストライプの偏光フィルタ部の配置パターンを採用することにより、偏光フィルタと受光素子アレイに対する相対位置に位置ずれがあった場合に偏光情報を得ることができなくなることを防止することができる。

しかしながら、このような斜めストライプの偏光フィルタ部の配置パターンにおいては、１つの偏光フィルタ部と１つの受光素子とが１対１に対応しておらず、複数の偏光フィルタ部が１つの受光素子に対応している。そのため、このままでは、各偏光フィルタ部を透過した透過光の成分のみからなる画像信号データを得ることができない。

そこで、以下に説明するような、信号処理方法を行い、斜めストライプの偏光フィルタ部の配置パターンを用いて被撮像物を撮像して得た画像信号データから、異なる種類の偏光フィルタ部に対応する複数の種類の画像信号データを復元する。具体的には、注目する受光素子（画素）近傍の複数の受光素子（画素）について、その受光素子（画素）から出力される画像信号に対し、偏光フィルタ部の配置パターンに応じて予め決められた加重係数を用いて加重和演算を行う。その演算結果が、その受光素子（画素）における縦偏光成分又は横偏光成分（ｐ偏光成分又はｓ偏光成分）となる。

なお、以下では、ｐ偏光が縦偏光の意味を含み、ｓ偏光が横偏光の意味を含む場合がある。

図６に示すように、信号処理部３は、ＣＰＵ３１、ＤＲＡＭ３２、フラッシュメモリ３３等の不揮発性メモリ、画像データ入力インタフェース３４を有する。信号処理部３は、不揮発性メモリに記録されたプログラムをＣＰＵ３１やＤＲＡＭ３２を用いて実行する。これにより、受光素子アレイ１から画像データ入力インタフェース３４を経由して入力される画像データに対して、以下に述べる信号処理演算を実行し、演算処理結果を出力インタフェース部３５へ送る。

ここでは、ＣＰＵ３１上のソフトウェアを用いて信号処理を実行するが、演算処理回路をハードウェアとして設計してもよい。

図７に示すように、信号処理部３は、パラメータ生成部４及び画像生成部５を有する。

パラメータ生成部４は、画素選択部４１及び係数生成部４２を有する。画像選択部４１は、例えば互いに隣接する２×２＝４個である複数の受光素子（画素）を選択し、その複数の受光素子（画素）の各受光素子（画素）の画像信号であるＩ_０、Ｉ_１、Ｉ_２、Ｉ_３を取得する。係数生成部４２は、複数の受光素子（画素）が出力した画像信号データから出力画像を復元するために必要となる、受光素子（画素）の位置（ｉ，ｊ）に対応する画像信号を生成するための加重係数（Ｗ_ｐ０、Ｗ_ｐ１、Ｗ_ｐ２、Ｗ_ｐ３、Ｗ_ｓ０、Ｗ_ｓ１、Ｗ_ｓ２、Ｗ_ｓ３）を生成する。

画像生成部５は、複数の受光素子（画素）が出力した画像信号と、係数生成部４２が出力した加重係数とを入力として、加重係数を用いて複数の受光素子（画素）が出力した画像信号の加重和を求めることによって、出力画像の成分画素値であるｐ_ｉ，ｊ、ｓ_ｉ，ｊを生成する。

図８に示すように、パラメータ生成部４の係数生成部４２は、第１のパラメータ生成部４３及び第２のパラメータ生成部４４を有する。

第１のパラメータ生成部４３は、ずれ量選択部４５及びずれ量記憶部４６を有する。第１のパラメータ生成部４３は、一の受光素子の位置を入力として、一の受光素子の近傍における、受光素子が配列配置した配置パターンに対する偏光フィルタ部が配列配置した配置パターンのずれ量を表す第１のパラメータを生成する。ずれ量選択部４５は、入力する一の受光素子の位置に対応する第１のパラメータを選択して読み出す。ずれ量記憶部４６は、受光素子ごとの第１のパラメータを記憶する。

第２のパラメータ生成部４４は、係数選択部４７及び係数記憶部４８を有する。第２のパラメータ生成部４４は、第１のパラメータ生成部４３が出力した第１のパラメータを入力として、一の受光素子の近傍における複数の受光素子が出力した画像信号から出力画像の一の受光素子に対応する画像信号を生成するための加重係数である第２のパラメータを生成する。

なお、ずれ量選択部４５及びずれ量記憶部４６は、それぞれ本発明における選択部及び記憶部に相当する。また、上記した受光素子が配列配置した配置パターンは、本発明における受光素子が配列した受光素子パターンに相当する。また、上記した偏光フィルタ部が配列配置した配置パターンは、本発明における光透過部が配列した光透過部パターンに相当する。また、受光素子が配列配置した配置パターンに対する偏光フィルタ部が配列配置した配置パターンのずれ量とは、本発明における受光素子が配列した受光素子パターンに対する光透過部が配列した光透過部パターンの相対位置に相当する。

また、受光素子が配列配置した配置パターンと、偏光フィルタ部が配列配置した配置パターンとを区別するため、以下では、受光素子が配列配置した配置パターンに代え、受光素子が配列した受光素子パターンという。また、偏光フィルタ部が配列配置した配置パターンに代え、光透過部が配列した光透過部パターンという。

次に、図９から図１４を参照し、信号処理方法について本実施の形態に係る撮像装置が実行する信号処理方法を説明する。図９は、本実施の形態に係る撮像装置が実行する信号処理方法を説明する工程図である。図１０は、受光素子パターンに対する光透過部パターンのずれ量の変化を説明するための図である。図１１は、ずれ量を推定する計算を説明するための模式図である。図１２は、撮像装置の画面内のずれ量の分布の例を示す模式図である。図１３は、受光素子（画素）ごとのずれ量を記録する記録容量について説明するための模式図である。図１４は、ずれ量ごとに加重係数を記録することを説明するための模式図である。

図９に示すように、本実施の形態に係る信号処理方法は、感度計測ステップ（ステップＳ１１）と、ずれ量計算ステップ（ステップＳ１２）と、加重係数計算ステップ（ステップＳ１３）と、画像信号データ取得ステップ（ステップＳ１４）と、加重和演算ステップ（ステップＳ１５）と、画像信号データ復元ステップ（ステップＳ１６）を有する。

本実施の形態に係る信号処理方法においては、予めステップＳ１１からステップＳ１３を実行しておき、被撮像物を撮像する際には、ステップＳ１４からステップＳ１６を実行する。

上記したように、予めステップＳ１１である感度計測ステップを行う。ステップＳ１１では、縦方向の偏光成分のみの偏光又は横方向の偏光成分のみの偏光（縦横１００％偏光）を平面照明等により照射して撮像し、受光素子アレイの各受光素子から出力された画像信号データを信号処理部が取得する。

予め、受光素子アレイの表面に領域分割偏光フィルタが取り付けられたものを用意する。具体的には、例えば、受光素子アレイの表面に、領域分割偏光フィルタを接着することによって、取り付ける。このとき、受光素子アレイの各受光素子に対する領域分割偏光フィルタの各偏光フィルタ部の境界の角度を含めた相対位置は、凡そ一致していればよく、精密な位置合わせをする必要はない。このような受光素子アレイの表面に領域分割偏光フィルタが取り付けられたものを、信号処理部、出力インタフェース部と組み合わせ、本実施の形態に係る撮像装置を準備する。

次に、受光素子アレイ全体に一様な強度の１００％縦偏光の光を照射し、その時の受光素子アレイの各受光素子の出力値を参照画像信号データＲＩ１として記録する。続けて、同様に、受光素子アレイ全体に一様な強度の１００％横偏光の光を照射し、参照画像信号データＲＩ２として記録する。

ここで、参照画像信号データＲＩ１、ＲＩ２の各受光素子（画素）における成分は、各受光素子（画素）での縦偏光に対する感度及び横偏光に対する感度のそれぞれに比例している。また、その縦偏光に対する感度及び横偏光に対する感度は、主として各受光素子（画素）における縦偏光フィルタ及び横偏光フィルタのそれぞれのカバー率によって決定されるものであり、受光素子アレイに領域分割偏光フィルタを接着して固定した後では、変動することはない。

また、入射光が受光素子アレイ及び領域分割偏光フィルタの表面に垂直に入射しない場合等において、前述した縦偏光及び横偏光に代え、入射面内で振動する光の成分であるｐ偏光と、入射面内に垂直に振動する光の成分であるｓ偏光とを用いてもよい。すなわち、ステップＳ１１において、ｐ偏光又はｓ偏光を照射して撮像し、各受光素子（画素）でのｐ偏光に対する感度及びｓ偏光に対する感度のそれぞれに比例する成分を有する参照画像信号データＲＩ１、ＲＩ２を得るようにしてもよい。

次に、ステップＳ１２であるずれ量計算ステップを行う。ステップＳ１２では、信号処理部が取得した画像信号データから受光素子パターンに対する光透過部パターンのずれ量を計算する。具体的には、複数の受光素子（画素）における画像信号データのパターンと、予め種々のずれ量に対応して得られる理想の画像信号データのパターンとの相関係数を計算し、最も相関係数の高い理想の画像信号データに基づいて、ずれ量を推定する。ここで、受光素子パターンに対する光透過部パターンのずれ量とは、前述したように、受光素子パターンに対する光透過部パターンの相対位置を意味する。

ステップＳ１２の計算を行うために、予め種々のずれ量に対応して得られる理想の画像信号データを計算しておく。図１０（ａ）から図１０（ｅ）に、その種々のずれ量の場合における受光素子パターンと光透過部パターンとの関係を示す。

なお、図１０（ａ）から図１０（ｅ）では、図３と同様に、受光素子パターンは、２行２列に配列された４つの受光素子１１〜１４よりなり、光透過部パターンは、２種類の帯状の偏光フィルタ部２１、２２よりなる。また、偏光フィルタ部２１を縦線ハッチングで示す。

図１０（ａ）は、ずれ量ｄが０の場合を示す。この場合、左上の受光素子１１では、偏光フィルタ部２１（縦線ハッチングで示す領域）に７５％カバーされ、偏光フィルタ部２２（ハッチングのない領域）に２５％カバーされる。ここで、縦偏光の光は偏光フィルタ部２１では１００％透過し、偏光フィルタ部２２では１００％遮断されると仮定すると、左上の受光素子１１では、縦偏光の光は２５％だけ透過し、この受光素子（画素）の縦偏光感度は２５％となる。このように各受光素子（画素）における偏光フィルタ部２１、２２のカバー率から、各偏光成分に対応する理想の感度を予想することができる。

図１０（ｂ）、図１０（ｃ）、図１０（ｄ）及び図１０（ｅ）は、それぞれずれ量ｄが１／４、１／２、１及び２の場合を示す。この図の右側に示すような、偏光フィルタ部２１、２２のカバー率から計算で求めた各受光素子（画素）の画像信号データのパターンを理想感度パターンという。

上記したように予め理想感度パターンを求めた後、図１１に示すように、各受光素子（画素）における画像信号データのパターンと、理想感度パターンとの相関係数を計算し、最も相関係数の高い理想感度パターンを求める。このようにして各受光素子（画素）の位置でのずれ量の推定値が得られる。

図１２に、ずれ量の推定値の分布を示す。図１２の太線で囲んだ斜めの面が、６４０×４８０画素のイメージセンサの各画素位置（ｉ，ｊ）でのずれ量ｄ_ｉ，ｊを表す。図１２では平面が２つに分割しているが、これはずれ量を０以上２以下の範囲で表現しているためである。従って、ずれ量として負の値を許せば、図中の太い破線で示すように、一続きの面となる。また、推定したずれ量の誤差を低減するため、適当な平面や曲面で近似してもよい。

領域分割フィルタ全体の回転、又は領域分割フィルタの各光透過部の縦方向又は横方向の幅寸法であるピッチのずれが存在する場合には、図１２に示すように、ずれ量ｄ_ｉ，ｊの分布形状は平面となる。また、フィルタ自身の歪み、又は入射光線の傾き等の影響により、ずれ量ｄ_ｉ，ｊの分布形状が曲面になる可能性もある。しかし、いずれの場合でも、ずれ量ｄ_ｉ，ｊは、近隣の受光素子（画素）との間で大きな差がなく、かつ、受光素子アレイ全体（画面全体）ではある程度の差が生じるため、ずれ量ｄ_ｉ，ｊの分布形状は、なめらかな斜面となる。

本実施の形態では、このようにして得られるずれ量ｄ_ｉ，ｊを、受光素子（画素）の個数分記録する。例えば受光素子アレイの受光素子（画素）数を６４０×４８０画素とし、受光素子（画素）ごとにずれ量ｄ_ｉ，ｊを１／２５６画素単位（８ｂｉｔ）で表現する場合、必要な記録容量は、図１３に示すように、６４０×４８０×１＝３０７２００ｂｙｔｅである。

ここで、ずれ量ｄ_ｉ，ｊの推定値は、前述したように、予め異なるずれ量に対応して計算しておいた理想感度パターンのうち、画像信号データのパターンとの相関係数が最大値となるような理想感度パターンを求めることによって得られる。従って、理想感度パターンを所望の間隔例えば１／２５６画素単位で予め計算しておくことにより、ずれ量を同じ１／２５６画素単位の精度で求めることができる。その結果、ずれ量を表す第１のパラメータは、サブピクセル精度を有する。

ずれ量と（面積）カバー率との関係は、図４に示すように、ずれ量１画素分の間に大きく変化する。次のステップ（ステップＳ１３）でずれ量から求める加重係数も、（面積）カバー率に応じて変化するため、同様にずれ量１画素分の間に大きく変化する。従って、ステップＳ１２で求めるずれ量については、画素単位より細い精度であることが望ましい。

次に、ステップＳ１３である加重係数計算ステップを行う。ステップＳ１３では、ステップＳ１２で得られたずれ量から各受光素子に対応する加重係数を計算し、計算した加重係数を記憶部に記録する。加重係数の計算は、式（５）を用いて後述するような方法により行う。また、記憶部として、前述したフラッシュメモリ３３等の不揮発性メモリに記録することができる。

ずれ量を量子化し、それぞれのずれ量に対応して必要な数の加重係数を記憶部に記録する。図１４に示すように、一周期分の２画素分を２５６分割、１／１２８画素ごとに４×２個の係数を記録するものとする。図１４に示す例では、加重係数１個に対し１ｂｙｔｅのデータを想定している。しかし、このデータ量は、出力画像に要求される精度や使用するイメージセンサのノイズ特性等に応じて、適宜変更することができる。

記憶部に記録される加重係数は、予めそれぞれの理想感度パターンに対応して、式（５）を用いて後述するような擬似逆行列を計算しておくことにより決定する。その場合、理想感度パターンは、実際に利用する偏光フィルタの透過率や、あるいは領域境界での回りこみの影響なども計測して決定することが望ましい。

このようにして、予めステップＳ１１からステップＳ１３を行って加重係数を計算し記録した後、実際の撮像時に、ステップＳ１４からステップＳ１７を行う。

始めに、ステップＳ１４である画像信号データ取得ステップを行う。ステップＳ１４では、被撮像物を撮像し、画像信号データを取得する。

次に、ステップＳ１５である加重和演算ステップを行う。ステップＳ１５では、取得した画像信号データに対して予め記録された加重係数を用いて加重和を求める演算処理を行う。

入射光の縦偏光成分をＬ_ｖ、横偏光成分をＬ_ｈ、受光素子ｉでの縦偏光成分の感度をａ_ｖｉ、横偏光成分の感度をａ_ｈｉとする。領域分割偏光フィルタを透過して受光素子ｉに入射する入射光の強度Ｉ_ｉは、
Ｉ_ｉ＝ａ_ＶｉＬ_ｖ＋ａ_ｈｉＬ_ｈ （１）
である。

ここで、隣接する２行２列の受光素子の位置に同じ光が入射するものとすると、それら４つの受光素子１１〜１４について式（１）が成り立ち、以下のようにまとめて表すことができる。

また、式（２）において、左辺をＩ、右辺の２つのテンソルを順にＭ、Ｌとすると、式（２）は、式（３）のように表すことができる。

Ｉ＝ＭＬ （３）
ここで、入射光の入射強度Ｉ_ｉは、受光素子アレイの出力する画像信号として取得することができる。また、各受光素子ｉの縦横偏光成分感度（ａ_ｖｉ、ａ_ｈｉ）は、ステップＳ１１で測定した値を利用すれば既知である。また、入射光の偏光成分Ｌ_ｖ、Ｌ_ｈだけが未知量となる。

式（３）は、未知量Ｌ_ｖ、Ｌ_ｈの個数より制約条件の数が多い連立一次方程式であり、このような問題は、行列Ｍの擬似逆行列Ｍ^＋を用いることにより、式（３）から以下のように解くことができる。

Ｌ＝Ｍ^＋Ｉ （４）
ただし、
Ｍ^＋＝（Ｍ^ＴＭ）^−１Ｍ^Ｔ （５）
偏光フィルタ部の受光素子に対する相対位置のずれ量によっては、参照する２行２列の画素の領域内に、隣接する画素同士でフィルタ領域のカバー率が５０％に近くなる場合、すなわち偏光情報が比較的得にくい場合も存在する。しかしながら、本実施の形態に係る演算処理方法を用いることにより、擬似逆行列により誤差を最小化するように、Ｌ_ｖ、Ｌ_ｈの解が求められる。

前述したように、ステップＳ１３において、式（５）を用いて各受光素子に対応する加重係数であるテンソルＭ^＋を計算し、計算したテンソルＭ^＋を記録しておくことができる。これにより、ステップＳ１５においては、２行２列の受光素子における画像信号データＩ＝（Ｉ_１１、Ｉ_１２、Ｉ_１３、Ｉ_１４）の単純な加重和を求める演算を行うだけで、各受光素子（画素）の縦横偏光成分Ｌ＝（Ｌ_ｖ、Ｌ_ｈ）を求めることができる。

式（５）の計算は、多少複雑である。しかしながら、式（５）の演算処理を、実際の撮像より前に、具体的にはカメラの製造時にカメラ外部の計算機などで一回だけ実行して結果だけ記録しておけばよいため、撮像時の処理速度には影響しない。

最後に、ステップＳ１６である画像信号データ復元ステップを行う。ステップＳ１６では、求めた加重和に基づいて画像信号データを復元し、復元した画像信号データを、出力インタフェース部へ送る。

次に、図１５及び図１６を参照し、比較例と比較することによって、本実施の形態に係る撮像装置において、全受光素子（全画素）の係数を全て記憶することなく、全受光素子（全画素）の係数を全て記憶する場合と同様の結果を得ることができる作用効果について説明する。図１５は、比較例における撮像装置が実行する信号処理方法を説明する工程図である。図１６は、比較例において受光素子（画素）ごとのずれ量を記録する記録容量について説明するための模式図である。

以下、比較例として、１受光素子（画素）ごとに加重係数全体を計算し記憶する場合について説明する。

図１５に示すように、比較例としての信号処理方法は、感度計測ステップ（ステップＳ１１１）と、加重係数計算ステップ（ステップＳ１１２）と、画像信号データ取得ステップ（ステップＳ１１３）と、加重和演算ステップ（ステップＳ１１４）と、画像信号データ復元ステップ（ステップＳ１１５）を有する。すなわち、画素位置に基づいて加重係数を計算するというパラメータ生成処理は、加重係数計算ステップ（ステップＳ１１２）の１段階により行う。

この場合、本実施の形態と同様に６４０×４８０画素のイメージセンサを用い、縦偏光成分（又はｐ偏光成分）及び横偏光成分（又はｓ偏光成分）のそれぞれの成分を復元処理するために２×２＝４画素の加重和を計算するものとすると、図１６に示すように、６４０×４８０×４×２＝２４５７６００ｂｙｔｅの記録容量を有する記憶部が必要となる。

一方、本実施の形態に係る信号処理方法では、画素位置に基づいて加重係数を計算するというパラメータ生成処理は、画素位置に基づいてずれ量を推定する（第１パラメータを生成する）ずれ量計算ステップ（ステップＳ１２）と、推定したずれ量に基づいて加重係数を計算する加重係数計算ステップ（ステップＳ１３）の２段階に分解して行う。信号処理部におけるずれ量計算ステップ（ステップＳ１２）及び加重係数計算ステップ（ステップＳ１３）の２つの処理を行う部分は、それぞれ第１のパラメータ生成部及び第２のパラメータ生成部に対応する。

加重係数の値は、受光素子（画素）の位置すなわち座標に応じて種々に変化する。しかし、加重係数の値は、座標自体によって直接的に決定されるものではなく、注目する受光素子（画素）の周辺における受光素子パターンに対する光透過部パターン（近傍４受光素子（画素）のｐｓ感度パターン）の相対位置によって決定される。そして、受光素子（画素）の位置によってこの受光素子パターンに対する光透過部パターンの相対位置が変化するために、加重係数の値は、受光素子（画素）の位置（座標）に応じて間接的に変化する。したがって、受光素子（画素）の位置座標から光透過部パターンの相対位置への変換、光透過部パターンの相対位置から加重係数への変換、という２段階の変換により、比較例と同等のパラメータ生成処理を実現することができる。

また、前述したように、この２段階の処理のために記憶部に必要な記録容量は、比較例において必要な記録容量に比べ、はるかに小さな容量である。前述した例では、本実施の形態で係数生成部に必要な記録容量は、６４０×４８０×１＋２５６×４×２＝３０９２４８ｂｙｔｅであり、図１６に示す比較例（６４０×４８０×４×２＝２４５７６００ｂｙｔｅ）の約１３％である。

以上、本実施の形態に係る撮像装置によれば、受光素子パターンに対する光透過部パターンの相対位置（ずれ量）が同じであれば加重係数も等しくなることを利用する。そのため、全受光素子（全画素）の係数を全て記憶することなく、全受光素子（全画素）の係数を全て記憶する場合と同様の結果を得ることができる。また、各受光素子（画素）の位置においてずれ量ｄ_ｉ，ｊの分布形状が平面である場合には、各受光素子（画素）について１次元のずれ量のみを記憶すればよいので、より小さい記録容量で各受光素子（画素）におけるずれ量を記憶することができる。

なお、本実施の形態では、縦横２種類の偏光フィルタ部が交互に配列された領域分割偏光フィルタを用いた。しかし、偏光フィルタ部は縦横２種類に限定されるものではなく、互いに異なる３種類以上の偏光方向を有する偏光フィルタ部が順番に繰返し配列されてもよい。
（第２の実施の形態）
次に、図１７及び図１８を参照し、本発明の第２の実施の形態に係る撮像装置について説明する。

図１７は、本実施の形態に係る撮像装置の信号処理部の第１のパラメータ生成部の構成を示すブロック図である。図１８は、受光素子（画素）ごとのずれ量を記録する記録容量について説明するための模式図である。

本実施の形態に係る撮像装置は、イメージセンサの画面全体をブロック分割し、加重係数をブロックごとに記録する点で、第１の実施の形態に係る撮像装置と相違する。

本実施の形態に係る撮像装置のイメージセンサである受光素子アレイ１、領域分割偏光フィルタ２、結像光学系２ａ、及び出力インタフェース部３５については、第１の実施の形態と同様である。また、本実施の形態に係る撮像装置の信号処理部３ａの画像生成部５及びパラメータ生成部４の画素選択部４１については、第１の実施の形態と同様である。また、本実施の形態に係る撮像装置の信号処理部３ａのパラメータ生成部４における係数生成部４２ａの第２のパラメータ生成部４４については、第１の実施の形態と同様である。

一方、本実施の形態に係る撮像装置の信号処理部３ａのパラメータ生成部４における係数生成部４２ａの第１のパラメータ生成部４３ａは、第１の実施の形態と相違する。第１のパラメータ生成部４３ａは、第１の実施の形態と同様のずれ量選択部４５及びずれ量記憶部４６に加え、複数の受光素子（画素）よりなるブロックを選択するブロック選択部４９を有する。従って、ずれ量記憶部４６は、ブロック選択部４９が選択する複数の受光素子に対応する第１のパラメータを記憶する。

なお、ずれ量選択部４５及びずれ量記憶部４６は、それぞれ本発明における選択部及び記憶部に相当する。

本実施の形態では、ずれ量記憶部４６がずれ量を記憶する際に、図１８に示すように、例えば８×８画素のブロックサイズよりなるブロックを用いる。受光素子（画素）の位置（ｉ，ｊ）をそれぞれブロックサイズである８で割る。すなわち、ずれ量を記録する記録容量を３ビット下位にシフトさせる。これにより、受光素子（画素）の位置（ｉ，ｊ）に対応するブロックを選択するためのブロック選択信号を生成する。

本実施の形態では、図１８に示すように、（６４０／８）×（４８０／８）×１＝８０×６０×１＝４８００ｂｙｔｅの不揮発性メモリをずれ量記憶部４６として、ずれ量を記録することができる。従って、本実施の形態で係数生成部に必要な記録容量は、（６４０／８）×（４８０／８）×１＋２５６×４×２＝６８４８ｂｙｔｅであり、図１６に示す比較例（６４０×４８０×４×２＝２４５７６００ｂｙｔｅ）の約０．３％以下である。

以上、本実施の形態に係る撮像装置によれば、受光素子パターンに対する光透過部パターンの相対位置（ずれ量）が同じであれば加重係数も等しくなることを利用する。そのため、全受光素子（全画素）の係数を全て記憶することなく、全受光素子（全画素）の係数を全て記憶する場合と同様の結果を得ることができる。また、全画素でなく、近傍領域ごとにずれ量を記憶するので、より小さい記録容量で各受光素子（画素）におけるずれ量を記憶することができる。
（第３の実施の形態）
次に、図１９を参照し、本発明の第３の実施の形態に係る撮像装置について説明する。

図１９は、本実施の形態に係る撮像装置の信号処理部の第１のパラメータ生成部の構成を示すブロック図である。

本実施の形態に係る撮像装置は、受光素子の位置と第１のパラメータとの間の関係式のパラメータであるモデル係数のみを記録する点で、第１の実施の形態に係る撮像装置と相違する。

なお、モデル係数は、本発明における第３のパラメータに相当する。

本実施の形態に係る撮像装置のイメージセンサである受光素子アレイ１、領域分割偏光フィルタ２、結像光学系２ａ、及び出力インタフェース部３５については、第１の実施の形態と同様である。また、本実施の形態に係る撮像装置の信号処理部３ｂの画像生成部５及びパラメータ生成部４の画素選択部４１については、第１の実施の形態と同様である。また、本実施の形態に係る撮像装置の信号処理部３ｂのパラメータ生成部４の係数生成部４２ｂの第２のパラメータ生成部４４については、第１の実施の形態と同様である。

一方、本実施の形態に係る撮像装置の信号処理部３ｂのパラメータ生成部４における係数生成部４２ｂの第１のパラメータ生成部４３ｂは、第１の実施の形態と相違する。第１のパラメータ生成部４３ｂは、ずれモデル係数記憶部４５ｂ、及びずれ量計算部４６ｂを有する。ずれモデル係数記憶部４５ｂは、受光素子の位置と第１のパラメータとの間の関係式のパラメータであるモデル係数を記憶する。ずれ量計算部４６ｂは、ずれモデル係数記憶部４５ｂに記憶されたモデル係数を用いて、一の受光素子の位置に対応する第１のパラメータを計算する。

なお、ずれモデル係数記憶部４５ｂ及びずれ量計算部４６ｂは、それぞれ本発明における記憶部及び計算部に相当する。

本実施の形態では、第１の実施の形態において図１２を用いて説明したずれ量ｄ_ｉ，ｊの分布形状であるデータをモデル近似する。例えば、
ｄ＝ａｘ＋ｂｙ＋ｃ （６）
という平面で近似すれば、ａ、ｂ、ｃという３つのモデル係数のみを記憶するだけで、受光素子（画素）ごとのずれ量を算出することができる。モデル係数ａ、ｂ、ｃは、予めずれモデル係数記憶部４５ｂに記憶しておく。

また、本実施の形態では、ずれ量計算部４６ｂは、画素位置（ｉ，ｊ）に対し、
ｄ＝ａｉ＋ｂｊ＋ｃ （７）
という平面近似式を計算し、結果として、ずれ量ｄ_ｉ，ｊを得る。

以上、本実施の形態に係る撮像装置によれば、受光素子パターンに対する光透過部パターンの相対位置（ずれ量）が同じであれば加重係数も等しくなることを利用する。そのため、全受光素子（全画素）の係数を全て記憶することなく、全受光素子（全画素）の係数を全て記憶する場合と同様の結果を得ることができる。また、画素位置座標から演算によりずれ量を生成するため、より小さい記憶容量で各受光素子（画素）におけるずれ量を記憶することができる。

なお、第１の実施の形態から第３の実施の形態に係る３種類の撮像装置及び信号処理方法を（ａ）から（ｃ）で表すと、（ａ）から（ｃ）において必要な記録容量は、（ｃ）＜（ｂ）＜（ａ）となり、第３の実施の形態が最も好ましい。また、（ａ）から（ｃ）におけるデータの自由度としては（ａ）＞（ｂ）＞（ｃ）となり、第１の実施の形態が最も好ましい。例えば、ずれ量の発生原因が偏光フィルタの回転、ピッチずれのみの場合には、（ｃ）の平面近似が最も好ましく、フィルタの歪みなど１次近似で対応できない分布を有する場合には、（ａ）及び（ｂ）の方が精度が高くなり、より好ましい。従って、実際のずれ量の分布の状態や、記録容量の制約等に応じて、（ａ）から（ｃ）のいずれかを適宜選択してもよい。

また、ステップＳ１１においてズームや絞りを変更して参照画像を撮影し、これらに応じた加重係数等の各種パラメータを予め計算しておき、記録、参照してもよい。

以上、本発明の好ましい実施の形態について記述したが、本発明はかかる特定の実施の形態に限定されるものではなく、特許請求の範囲内に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

また、本発明の実施の形態では、光透過フィルタとして領域分割偏光フィルタを用いた場合について説明した。しかしながら、本発明は、領域分割偏光フィルタに代え、領域分割分光フィルタ、すなわち、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色分解フィルタのように、透過する光の帯域波長が異なる分光フィルタを、所定の配置パターンに従って配列したカラーフィルタを設置した撮像装置にも適用することができる。この場合、受光素子アレイを用いてカラー画像信号データを取得することができる。

１ 受光素子アレイ
２ 領域分割偏光フィルタ
２ａ 結像光学系
３、３ａ、３ｂ 信号処理部
４ パラメータ生成部
５ 画像生成部
１０、１１〜１４ 受光素子
２１ 縦偏光フィルタ部
２２ 横偏光フィルタ部
３１ ＣＰＵ
３２ ＤＲＡＭ
３３ フラッシュメモリ
３４ 画像データ入力インタフェース
３５ 出力インタフェース部
４１ 画素選択部
４２、４２ａ、４２ｂ 係数生成部
４３、４３ａ、４３ｂ 第１のパラメータ生成部
４４ 第２のパラメータ生成部
４５ ずれ量選択部
４５ｂ ずれモデル係数記憶部
４６ ずれ量記憶部
４６ｂ ずれ量計算部
４７ 係数選択部
４８ 係数記憶部
４９ ブロック選択部
５０ 撮像装置

特許４２９５１４９号公報

Claims (6)

1. 被撮像物を撮像して画像信号を得る撮像装置において、
   受光素子が行方向及び列方向に二次元的に配列された受光素子アレイと、
   前記受光素子アレイの手前に設けられ、互いに光透過特性が異なる複数の種類の帯状の光透過部が、前記受光素子が配列する前記行方向及び前記列方向のいずれとも平行でない方向に沿って交互に配列されてなる光透過フィルタと、
   前記受光素子が出力した画像信号を入力して演算処理を行う演算処理部と
   を有し、
   前記演算処理部は、
   一の前記受光素子の位置を入力として、前記光透過部が配列した光透過部パターンの位置を表す第１のパラメータを生成する第１のパラメータ生成部と、
   前記第１のパラメータ生成部が出力した前記第１のパラメータを入力として、出力画像を生成するための第２のパラメータを生成する第２のパラメータ生成部と、
   前記一の前記受光素子が出力した画像信号と、前記第２のパラメータ生成部が出力した前記第２のパラメータとを入力として、前記出力画像を生成する画像生成部と
   を有することを特徴とする撮像装置。
2. 前記第１のパラメータは、サブピクセル精度を有することを特徴とする請求項１に記載の撮像装置。
3. 前記第１のパラメータは、前記一の前記受光素子の近傍における、前記受光素子が配列した受光素子パターンに対する前記光透過部パターンの相対位置を表し、
   前記第２のパラメータは、複数の前記受光素子が出力した前記画像信号から前記出力画像の前記一の前記受光素子に対応する画像信号を生成するための加重係数であり、
   前記画像生成部は、前記第２のパラメータを用いて前記複数の前記受光素子が出力した前記画像信号の加重和を求めることによって、前記出力画像を生成することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記第１のパラメータ生成部は、
   前記受光素子ごとの前記第１のパラメータを記憶する記憶部と、
   入力する前記一の前記受光素子の位置に対応する前記第１のパラメータを選択して読み出す選択部と
   を有することを特徴とする請求項１から請求項３のいずれかに記載の撮像装置。
5. 前記第１のパラメータ生成部は、
   複数の前記受光素子に対応する前記第１のパラメータを記憶する記憶部と、
   入力する前記一の前記受光素子の位置に対応する前記第１のパラメータを選択して読み出す選択部と
   を有することを特徴とする請求項１から請求項３のいずれかに記載の撮像装置。
6. 前記第１のパラメータ生成部は、
   前記受光素子の位置と前記第１のパラメータとの間の関係式のパラメータである第３のパラメータを記憶する記憶部と、
   前記記憶部に記憶された前記第３のパラメータを用いて、前記一の前記受光素子の位置に対応する前記第１のパラメータを計算する計算部と
   を有することを特徴とする請求項１から請求項３のいずれかに記載の撮像装置。

Images