JP5359841B2 - 撮像装置、撮像方法及びこの撮像方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、被撮像物を撮像して画像信号を得る撮像装置、撮像方法及びこの撮像方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

デジタルカメラ等において、被撮像物を撮像して得られた画像信号よりなる画像情報を、複数の波長帯域の画像情報に分解する撮像装置がある。

あるいは、デジタルカメラ等において、例えば不要な偏光成分を除去して被撮像物のコントラストを強調するために、被撮像物を撮像して得られた画像信号よりなる画像情報を、複数の偏光成分の画像情報に分解する撮像装置がある。

このような撮像装置においては、１種類の受光素子を配列してなる受光素子アレイを用い、複数の異なる偏光方向又は複数の異なる波長帯域を有する複数の種類の光に分解するものがある。

例えば、ＣＣＤ（電荷結合素子：Charge Coupled Device）、ＣＭＯＳ（相補形金属酸化膜半導体：Complementary Metal Oxide Semiconductor）等よりなる受光素子アレイの前面に、互いに異なる特性の複数の光を透過する複数の種類の領域に分割された領域分割型のフィルタを配置した撮像装置がある。このような撮像装置では、受光素子から出力される画像信号データに対して信号処理を行って、異なる特性の複数の光透過フィルタを透過した複数の種類の受光素子が存在するかのように、複数の画像信号を得る。

また、例えば、ＣＣＤ等よりなる受光素子アレイの前面に、領域分割偏光フィルタ、すなわち偏光方向の異なる偏光フィルタ（以下、「偏光フィルタ部」という。）を所定の配置パターンに従って配列した偏光フィルタを設置した撮像装置がある。このような撮像装置では、１つの被撮像物を撮像して得た１つの画像信号データを、偏光方向ごとに分離して複数の画像信号データを取得する。

また、ＣＣＤ等よりなる受光素子アレイの前面に、領域分割分光フィルタ、すなわち、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色分解フィルタのように、透過する光の帯域波長が異なる分光フィルタ（以下、「分光フィルタ部」という。）を、所定の配置パターンに従って配列したカラーフィルタを設置した撮像装置がある。このような撮像装置では、更にマイクロレンズを組合せ、カラー画像信号データを取得する。

上記した、マイクロレンズ、カラーフィルタ及び受光素子アレイを組み合わせた撮像装置においては、光線の入射角、フィルタ、マイクロレンズの微妙な位置ずれが生じる場合がある。位置ずれが生じると、あるフィルタを透過した光に隣のフィルタを透過した光が混入する現象（色シェーディング）が生じる。受光素子アレイの各受光素子（画素）の画像信号において上述した光の混入を補正するために、通常の色補正マトリクス処理の結果に対し、混入を除去するためのマトリクス処理をもう一度行うことを特徴とする撮像装置がある（例えば特許文献１参照）。

ところが、このような撮像装置の受光素子アレイにおける各受光素子（画素）の画像信号をマトリクス処理により復元する場合において、以下のような問題があった。

特許文献１では、フィルタが受光素子アレイに対して位置ずれしていない撮像装置について、隣のフィルタを透過した光が混入することによる光の混合を補正することを補正の対象としている。そのため、受光素子（画素）の位置によらない通常の色補正マトリクス処理の後段で、受光素子（画素）の位置座標の１次式で得られる係数をそのまま用いたマトリクス処理を行うことによって、補正が行われる。

ところが、領域分割偏光フィルタを用いる場合には、１画素以上のずれが生じることがある。このような大きなずれが生じているときは、受光素子（画素）の位置により、例えば縦方向又は横方向に隣接する受光素子（画素）の感度が同一となる等、マトリクス処理における加重和計算を行うための加重係数が受光素子（画素）の位置によって大きく異なることがある。そのため、受光素子（画素）の位置によらない固定パラメータを用いたマトリクス処理により補正を行うことはできない。

一方、領域分割偏光フィルタを用いる場合でも、受光素子（画素）の位置ごとに異なるパラメータを用いることにより、補正を行うことは可能である。例えば、受光素子（画素）ごとに異なる加重係数を用いることにより、領域分割フィルタの位置精度が悪い場合でも各受光素子（画素）の画像信号を補正して復元することができる。しかしながら、受光素子（画素）ごとに異なるパラメータ（加重係数）が必要になるため、これらのパラメータ（加重係数）を全て記憶するための大容量のメモリが必要になるという問題があった。

本発明は上記の点に鑑みてなされたものであり、受光素子アレイの各受光素子の画像信号をマトリクス処理により復元する場合において、加重係数を全て記憶することなく、加重係数を全て記憶する場合と同様の結果を得ることができる撮像装置及び撮像方法を提供することを目的とする。

第１の発明は、被撮像物を撮像して画像信号を得る撮像装置において、受光素子が行方向及び列方向に二次元的に配列された受光素子アレイと、前記受光素子アレイの手前に設けられ、互いに光透過特性が異なる複数の種類の帯状の光透過部が、前記受光素子が配列する前記行方向及び前記列方向のいずれとも平行でない方向に沿って交互に配列されてなる光透過フィルタと、互いに近接する複数の受光素子のそれぞれが出力した画像信号の加重和を求めるための複数の加重係数のうち一部の加重係数を記憶する記憶部と、前記記憶部が記憶した前記一部の加重係数を前記記憶部から読み出し、読み出した前記一部の加重係数に基づいて前記複数の加重係数の他の加重係数を求め、求めた前記他の加重係数と前記一部の加重係数とを用いて前記画像信号の加重和を求める演算処理を行う演算処理部とを有することを特徴とする。

第２の発明は、第１の発明に係る撮像装置において、前記受光素子が配列する前記行方向に沿う前記光透過部の幅寸法が、前記行方向に沿う前記受光素子の幅寸法に略等しいことを特徴とする。

第３の発明は、第２の発明に係る撮像装置において、前記演算処理部は、前記他の加重係数が前記一部の加重係数に等しくなるように、前記他の加重係数を求めることを特徴とする。

第４の発明は、第１から第３のいずれかの発明に係る撮像装置において、前記一部の加重係数は、前記複数の加重係数のうち一の加重係数であることを特徴とする。

第５の発明は、第１から第４のいずれかの発明に係る撮像装置において、前記記憶部は、前記一部の加重係数を固定小数点数として記憶することを特徴とする。

第６の発明は、受光素子が行方向及び列方向に二次元的に配列された受光素子アレイと、前記受光素子アレイの手前に設けられ、互いに光透過特性が異なる複数の種類の帯状の光透過部が、前記受光素子が配列する前記行方向及び前記列方向のいずれとも平行でない方向に沿って交互に配列されてなる光透過フィルタとを有する撮像装置における、被撮像物を撮像して画像信号を得る撮像方法であって、互いに近接する複数の受光素子のそれぞれが出力した画像信号の加重和を求めるための複数の加重係数のうち一部の加重係数を記憶部に記憶する記憶工程と、前記記憶部が記憶した前記一部の加重係数を前記記憶部から読み出し、読み出した前記一部の加重係数に基づいて前記複数の加重係数の他の加重係数を求め、求めた前記他の加重係数と前記一部の加重係数とを用いて前記画像信号の加重和を求める演算処理を行う演算処理工程とを含むことを特徴とする。

第７の発明は、第６の発明に係る撮像方法において、前記撮像装置は、前記受光素子が配列する前記行方向に沿う前記光透過部の幅寸法が、前記行方向に沿う前記受光素子の幅寸法に略等しいことを特徴とする。

第８の発明は、第７の発明に係る撮像方法において、前記演算処理工程において、前記他の加重係数が前記一部の加重係数に等しくなるように、前記他の加重係数を求めることを特徴とする。

第９の発明は、第６から第８のいずれかの発明に係る撮像方法において、前記一部の加重係数は、前記複数の加重係数のうち一の加重係数であることを特徴とする。

第１０の発明は、第６から第９のいずれかの発明に係る撮像方法において、前記記憶工程において、前記一部の加重係数を固定小数点数として記憶することを特徴とする。

第１１の発明は、コンピュータに第６から第１０のいずれかの発明に係る撮像方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、受光素子アレイの各受光素子の画像信号をマトリクス処理により復元する場合において、加重係数を全て記憶することなく、加重係数を全て記憶する場合と同様の結果を得ることができる。

本発明の第１の実施の形態に係る撮像装置の全体構成を模式的に示すブロック図である。 本発明の第１の実施の形態に係る撮像装置の領域分割偏光フィルタにおける偏光フィルタ部の配置パターンを示す図である。 偏光フィルタ部の受光素子に対する相対位置が、横方向（行方向）にずれた場合の配置を示す図である。 横方向（行方向）のずれ量と、特定の偏光フィルタ部が特定の受光素子と重なる面積の割合であるカバー率を示すグラフである。 配置パターンが市松模様である偏光フィルタ部が、受光素子に対して横方向（行方向）及び縦方向（列方向）に１／２（０．５）ずつずれている場合を示す図である。 本発明の第１の実施の形態に係る撮像装置における信号処理部の構成を示すブロック図である。 本発明の第１の実施の形態に係る撮像装置における信号処理部の構成を示すブロック図である。 本発明の第１の実施の形態に係る撮像装置における撮像方法を説明する工程図である。 横方向（行方向）のずれ量と、擬似逆行列Ｍ^＋の各要素である各加重係数の値との関係を示すグラフである。 図９のグラフのデータを２^１２倍したグラフである。

次に、本発明を実施するための形態について図面と共に説明する。
（第１の実施の形態）
（撮像装置）
図１から図６を参照し、本発明の第１の実施の形態に係る撮像装置を説明する。

本実施の形態に係る撮像装置は、１組の受光素子アレイと領域分割偏光フィルタを用いて被撮像物を１回撮像し、得られた画像信号データから縦偏光成分と横偏光成分の２つの画像信号データを復元するものである。

始めに、図１を参照し、本実施の形態の全体構成を説明する。図１は、本実施の形態に係る撮像装置の全体構成を模式的に示すブロック図である。

図１に示すように、本実施の形態に係る撮像装置５０は、イメージセンサである受光素子アレイ１、領域分割偏光フィルタ２、結像光学系２ａ、信号処理部３、及び出力インタフェース部３５を有する。結像光学系２ａは、被写体の像をイメージセンサである受光素子アレイ１上に結像させる。信号処理部３は、演算処理部４及び記憶部５を有する。なお、領域分割偏光フィルタ２は、本発明における光透過フィルタに相当する。

イメージセンサである受光素子アレイ１は、受光素子が行方向及び列方向に二次元的に配列されてなる。受光素子アレイ１としては、ＣＣＤやＭＯＳ、ＣＭＯＳ等を用いることができる。領域分割偏光フィルタ２は、受光素子アレイ１に受光される光の光路上であって受光素子アレイ１の手前に設けられる。領域分割偏光フィルタ２は、受光素子アレイ１の表面に密着するように設けられていてもよい。領域分割偏光フィルタ２は、後述するような斜めストライプ型領域分割フィルタである。信号処理部３は、受光素子アレイ１から出力される画像信号データを入力し、領域分割されていない各偏光フィルタ単体を通過したのと同様な画像信号データを生成する。すなわち、信号処理部３は、受光素子アレイ１から出力される画像信号データに対して信号処理を行う。また、受光素子アレイ１は例えば６４０×４８０画素の解像度を有する。

結像光学系２ａにより結像された像は、受光素子アレイ１の各受光素子の表面に設けられた領域分割偏光フィルタ２を透過して、受光素子アレイ１の各受光素子に入射する。受光素子アレイ１の出力する画像信号データは、各受光素子に入射する光量に比例し、そのままでは各偏光成分の画像（受光素子アレイ１の全面を各偏光成分を透過する光透過フィルタで覆った場合に出力する画像）とは異なる。しかし、受光素子アレイ１の出力する画像信号データを信号処理することにより、各偏光成分の画像を復元する。
（領域分割偏光フィルタ）
次に、図２を参照し、本実施の形態に係る撮像装置の領域分割偏光フィルタについて説明する。図２は、本実施の形態に係る撮像装置の領域分割偏光フィルタにおける偏光フィルタ部の配置パターンを示す図である。なお、本実施の形態に係る偏光フィルタ部は、本発明における光透過部に相当する。

領域分割偏光フィルタ２は、偏光方向が互いに異なる光を透過する複数の種類の帯状の偏光フィルタ部を有する。具体的には、図２に示すように、領域分割偏光フィルタ２は、透過する偏光方向が互いに９０°異なる光を透過する複数の種類の帯状の偏光フィルタ部２１、２２を有する。図２における２種類の斜めの帯が、縦方向及び横方向のそれぞれに対応する２種類の偏光フィルタ部２１、２２を示す。２種類の帯状の偏光フィルタ部２１、２２は、幅方向に沿って交互に配列されている。本実施の形態では、一例として、偏光フィルタ部２１を、偏光方向が縦方向である縦偏光フィルタ部２１とし、偏光フィルタ部２２を、偏光方向が横方向である横偏光フィルタ部２２とすることができる。

なお、本実施の形態に示す一例のように偏光フィルタ部が２種類である場合、その種類をＡ、Ｂで表記すると、「交互に配列する」とは、Ａ、Ｂ、Ａ、Ｂ、Ａ、Ｂ・・・の順番に繰返し配列することを意味する。

また、領域分割偏光フィルタは、それぞれ縦偏光又は横偏光を透過する２種類の偏光フィルタ部が配列する構成に限られるものではなく、偏光方向が異なる３種類以上の偏光フィルタ部が配列する構成であってもよい。３種類の偏光フィルタ部が配列する場合、その３種類をＡ、Ｂ、Ｃで表記すると、「交互に配列する」とは、Ａ、Ｂ、Ｃ、Ａ、Ｂ、Ｃ、Ａ、Ｂ、Ｃ・・・の順番に繰返し配列することを意味する。

また、領域分割偏光フィルタ２は、受光素子アレイ１に対する相対位置が位置ずれしていない場合には、図２に示すように、縦横に格子状に配列する正方形である各受光素子１０（又は各受光素子１０の受光部）に対して下記に説明するような所定の位置関係を有するように設置される。

具体的には、縦偏光フィルタ部２１、横偏光フィルタ部２２は、図２における横方向に１受光素子分（１画素分）の幅に等しい幅寸法を有する。すなわち、受光素子１０が配列する行方向に沿う縦偏光フィルタ部２１、横偏光フィルタ部２２の幅寸法は、行方向に沿う受光素子１０の幅寸法に略等しい。また、縦偏光フィルタ部２１、横偏光フィルタ部２２は、図２における縦方向に２画素分の幅寸法に等しい幅寸法を有する。すなわち、受光素子１０が配列する列方向に沿う各偏光フィルタ部の幅寸法は、列方向に沿う受光素子１０の幅寸法の略２倍である。従って、領域分割偏光フィルタの各偏光フィルタ部同士の境界線の傾きは２、すなわち、横方向に１受光素子分（１画素分）進む間に縦方向に２受光素子分（２画素分）変化する角度を有する斜めに傾いた帯状の形状を有する。

すなわち、帯状の偏光フィルタ部が配列配置される配置パターンは、斜めストライプパターンであり、帯状の偏光フィルタ部が配列する配列方向である幅方向は、受光素子が配列する横方向（行方向）及び縦方向（列方向）のいずれとも平行でない。

なお、本実施の形態において、行方向及び列方向は、それぞれ二次元に配列する２つの配列方向のうち一方及び他方を表すものであって、特に区別されるものではない。従って、本実施の形態は、行方向と列方向を取り替えて９０度回転させた配置を含む。すなわち、「横方向（行方向）」及び「縦方向（列方向）」を、それぞれ「縦方向（行方向）」及び「横方向（列方向）」とした場合を含む。

次に、図３及び図４を参照し、本実施の形態における領域分割偏光フィルタにおける偏光フィルタ部の配置パターンが、偏光フィルタ部の受光素子に対する相対位置の位置ずれが生じた場合にも、その位置ずれの影響を受け難いことを説明する。

図３は、偏光フィルタ部の受光素子に対する相対位置が、横方向（行方向）にずれた場合の配置を示す図である。図４は、横方向（行方向）のずれ量と、特定の偏光フィルタ部が特定の受光素子と重なる面積の割合であるカバー率を示すグラフである。具体的には、縦偏光フィルタ部が特定の受光素子と重なるカバー率を示す。

図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）は、偏光フィルタ部の受光素子に対する相対位置のずれ量をｄとしたときに、ｄが、横方向（行方向）にそれぞれ０画素分、１／４画素分（０．２５画素分）、１／２画素分（０．５画素分）、３／４画素分（０．７５画素分）となる配置を示す。図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）では、簡単のため、互いに隣接又は近接する２行２列に配列された４つの受光素子１１〜１４と、その４つの受光素子１１〜１４に重なる縦偏光フィルタ部２１、横偏光フィルタ部２２のみを示す。また、図３（ａ）における点線IIで囲まれた範囲は、図２における点線Ｉで囲まれた範囲に相当する。また、図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）では、視やすいように、縦偏光フィルタ部２１のみハッチングを行い、横偏光フィルタ部２２にはハッチングを行っていない。

最初に、４つの受光素子１１〜１４を代表し、受光素子１４、１２について、図３（ａ）、図３（ｂ）、図３（ｃ）、図３（ｄ）を参照し、受光素子１４、１２が縦偏光フィルタ部２１と重なる面積の割合であるカバー率について説明する。

偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが０の場合（図３（ａ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率の割合は、０．７５、０．２５である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが１／４（０．２５）の場合（図３（ｂ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率は０．８７５、０．５である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが１／２（０．５）の場合（図３（ｃ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率は０．７５、０．７５である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量ｄが３／４の場合（図３（ｄ）に示す場合）、受光素子１４、１２の縦偏光フィルタ部２１によるカバー率は０．５、０．８７５である。

以上のカバー率の変化を、ずれ量ｄの連続的な変化に対して表したものが図４である。図４において、横軸は、偏光フィルタ部の受光素子に対する相対位置の横方向（行方向）に沿うずれ量ｄ（単位は一つの受光素子の横方向（行方向）の幅）を示す。また、縦軸は、１つの受光素子の縦偏光フィルタ部２１によるカバー率を示す。また、図４において、符号を付したように、破線で示す曲線Ｃ１、実線で示す曲線Ｃ２、一点鎖線で示す曲線Ｃ３、点線で示す曲線Ｃ４のそれぞれが、図３（ａ）に示す受光素子１１、１２、１３、１４のそれぞれに対応する。

図４を参照し、受光素子１１、１２、１３、１４のうち、受光素子１４、１２について、ずれ量と縦偏光フィルタ部によるカバー率の関係について説明する。

図４に示すように、ずれ量ｄが０から０．５の範囲では、曲線Ｃ４は、縦偏光フィルタ部２１によるカバー率が０．７５以上の範囲にあり、受光素子１４の面積の７５％以上が縦偏光フィルタ部２１でカバーされる。また、ずれ量ｄが０．５以上１．０以下の範囲では、曲線Ｃ４は、右肩下がりの直線であり、ずれ量ｄの増加に伴って、受光素子１４の縦偏光フィルタ部２１によるカバー率は低下する。その代わりに、ずれ量ｄが０．５以上１．０以下の範囲では、曲線Ｃ２が、縦偏光フィルタ部２１によるカバー率が０．７５以上の範囲にあり、受光素子１２の縦偏光フィルタ部２１によるカバー率が７５％以上となる。ずれ量ｄが１．０以上２．０以下の範囲における曲線Ｃ４、Ｃ２は、ずれ量ｄが０以上１．０以下の範囲における曲線Ｃ４、Ｃ２を、縦偏光フィルタ部２１によるカバー率が０．５となる水平線を対称中心として上下反転させた形状を有している。しかし、受光素子１４、１２において縦偏光フィルタ部２１でカバーされない部分は、横偏光フィルタ部２２でカバーされる面積であるため、ずれ量ｄが１．０以上２．０以下の範囲では、横偏光フィルタ部２２のカバー率が７５％以上となる。

すなわち、上下に隣接する２つの受光素子１４、１２に注目すると、上側の受光素子１２が縦偏光フィルタ部２１及び横偏光フィルタ部２２にそれぞれ半分ずつカバーされるような配置（ずれ量ｄが０．２５）では、下側の受光素子１４が一方の偏光フィルタ部である縦偏光フィルタ部２１に略全面に亘りカバーされる。逆に下側の受光素子１４が縦偏光フィルタ部２１及び横偏光フィルタ部２２にそれぞれ半分ずつカバーされるような配置（ずれ量ｄが０．７５）では、上側の受光素子１２が一方の偏光フィルタ部である縦偏光フィルタ部２１に略全面に亘りカバーされる。さらに左右の画素に注目すると、偏光フィルタ部の幅が１素子分であるため、右隣の受光素子は左隣の受光素子と反対の種類の偏光フィルタ部に関して同じカバー率を有する。従って、縦横２画素ずつ（２行２列）計４画素の近傍領域を考えると、任意のずれ量ｄに対して、４画素中の１画素は縦偏光フィルタ部２１に略全面に亘りカバーされ（カバー率０．７５以上）、他の１画素は横偏光フィルタ部２２に略全面に亘りカバーされる（カバー率０．７５以上）。

一方、領域分割偏光フィルタの配置パターンが他の場合は、このような効果は得られない。例えば、市松模様の場合について、図５を参照し、本実施の形態と比較する。図５は、配置パターンが市松模様である偏光フィルタ部が、受光素子に対して横方向（行方向）及び縦方向（列方向）に１／２（０．５）ずつずれている場合を示す図である。

図５に示すように、横方向（行方向）及び縦方向（列方向）に例えば６μｍの幅寸法を有する受光素子アレイにおいて、偏光フィルタ部の受光素子に対する相対的な位置関係が縦横に３μｍ（すなわち１／２画素分）ずれた場合について考える。図５においては、４つの受光素子１１１、１１２、１１３、１１４と、４つの偏光フィルタ部のみを示す。４つの偏光フィルタ部とは、縦偏光フィルタ部１２１ａ、１２１ｂ、横偏光フィルタ部１２２ａ、１２２ｂである。このような状態では、例えば受光素子１１４の受光する光は、４つの偏光フィルタ部１２１ａ、１２１ｂ、１２２ａ、１２２ｂを透過した光を平均したものとなってしまい、どのような偏光方向の光を入射した場合にも、受光素子１１４の出力は略等しくなるため、偏光に関する情報を得ることができない。受光素子アレイ及び偏光フィルタにおいては、このような相対的な位置関係が横方向（行方向）及び縦方向（列方向）に繰り返されるため、受光素子１１４以外の全ての受光素子においても、受光素子が受光する光が４つの偏光フィルタ部を透過した光を平均したものとなってしまい、偏光に関する情報を得ることができない。

上記したのと対照的に、本実施の形態では、受光素子と偏光フィルタとの相対的な位置関係はいずれのずれ量によりずれていたとしても、縦横２画素ずつ計４画素の近傍領域における全ての受光素子において、縦偏光フィルタ部によるカバー率又は横偏光フィルタ部によるカバー率が同じ値になることはない。従って、入射する光の偏光方向に変化があった場合、４画素の出力の組み合わせには、必ず変化が生ずることになるため、偏光に関する情報を得ることができる。

なお、偏光フィルタ部の境界の受光素子の境界に対する傾きは２以外の値としてもよいが、傾きが２で、かつ、横方向のフィルタ幅が１画素分の場合、縦方向のフィルタ幅は２画素分となり、縦方向２画素ごと同じ配置の繰り返しになる。近傍範囲を狭くすることができ、実質的な解像度の低下を防止することができ、また後述する演算処理部において必要な演算量を低減することができる。

また、上記においては、領域分割偏光フィルタが受光素子アレイに対して横方向（行方向）にずれた場合について説明したが、領域分割偏光フィルタが受光素子アレイに対して縦方向（列方向）にずれた場合についても、全く同様な配置として表される。

また、小角度で回転してずれた場合についても、近傍領域においては平行移動として近似することができるため、上記した場合と全く同様に説明することができる。
（信号処理方法）
次に、図６及び図７を参照し、上記の配置パターンで得られる画像信号データから、各フィルタ成分による単独画像信号データを復元するための信号処理方法について説明する。図６及び図７は、本実施の形態に係る撮像装置における信号処理部の構成を示すブロック図である。

前述したように、帯状の偏光フィルタ部が配列配置される配置パターンは、斜めストライプパターンである。従って、帯状の偏光フィルタ部が配列する配列方向である幅方向は、受光素子が配列する横方向（行方向）及び縦方向（列方向）のいずれとも平行でない。

このような斜めストライプの偏光フィルタ部の配置パターンを採用することにより、偏光フィルタと受光素子アレイに対する相対位置に位置ずれがあった場合に偏光情報を得ることができなくなることを防止することができる。

しかしながら、このような斜めストライプの偏光フィルタ部の配置パターンにおいては、１つの偏光フィルタ部と１つの受光素子とが１対１に対応しておらず、複数の偏光フィルタ部が１つの受光素子に対応している。そのため、このままでは、各偏光フィルタ部を透過した透過光の成分のみからなる画像信号データを得ることができない。

そこで、以下に説明するような、信号処理方法を行い、斜めストライプの偏光フィルタ部の配置パターンを用いて被撮像物を撮像して得た画像信号データから、異なる種類の偏光フィルタ部に対応する複数の種類の画像信号データを復元する。具体的には、注目する受光素子（画素）近傍の複数の受光素子（画素）について、その受光素子（画素）から出力される画像信号に対し、偏光フィルタ部の配置パターンに応じて予め決められた加重係数を用いて加重和演算を行う。その演算結果が、その受光素子（画素）における縦偏光成分又は横偏光成分（ｐ偏光成分又はｓ偏光成分）となる。

なお、ｐ偏光は、縦偏光の意味を含む場合があり、ｓ偏光は、横偏光の意味を含む場合がある。

図６に示すように、信号処理部３は、ＣＰＵ３１、ＤＲＡＭ３２、フラッシュメモリ３３等の不揮発性メモリ、画像データ入力インタフェース３４を有する。フラッシュメモリ３３等の不揮発性メモリは、後述する本実施の形態に係る撮像方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。あるいは、記録媒体は、ハードディスク等であってもよい。信号処理部３は、不揮発性メモリに記録されたプログラムをＣＰＵ３１やＤＲＡＭ３２を用いて実行する。これにより、受光素子アレイ１から画像データ入力インタフェース３４を経由して入力される画像データに対して、以下に述べる信号処理演算を実行し、演算処理結果を出力インタフェース部３５へ送る。

ここでは、ＣＰＵ３１上のソフトウェアを用いて信号処理を実行するが、演算処理回路をハードウェアとして設計してもよい。

図７に示すように、信号処理部３は、演算処理部４及び記憶部５を有する。

演算処理部４は、画素選択部４１及び係数生成部４２を有する。画像選択部４１は、例えば互いに隣接又は近接する２×２＝４個である複数の受光素子（画素）を選択し、その複数の受光素子（画素）の各受光素子（画素）の画像信号であるＩ_０、Ｉ_１、Ｉ_２、Ｉ_３を取得する。係数生成部４２は、複数の受光素子（画素）が出力した画像信号データから出力画像を復元するために必要となる、受光素子（画素）の位置（ｉ，ｊ）に対応する画像信号を生成するための加重係数（ｍ_０、ｍ_１、ｍ_２、ｍ_３、ｍ_４、ｍ_５、ｍ_６、ｍ_７）を生成する。

また、演算処理部４は、複数の受光素子（画素）が出力した画像信号と、係数生成部４２が生成した複数の加重係数を用いて複数の受光素子（画素）が出力した画像信号の加重和を求める。また、求められた加重和に基づいて、出力画像の成分画素値であるｐ_ｉ，ｊ、ｓ_ｉ，ｊを生成する。

記憶部５は、互いに近接する複数の受光素子における画像信号データの加重和を求めるための複数の加重係数の一部の加重係数を記憶する。記憶部５は、演算処理部４の係数生成部４２が生成する複数の加重係数の一部の加重係数を記憶する。また、演算処理部４の係数生成部４２は、記憶部５が記憶した一部の加重係数を記憶部５から読み出す。

次に、図８及び図９を参照し、本実施の形態に係る撮像装置における撮像方法を説明する。図８は、本実施の形態に係る撮像装置における撮像方法を説明する工程図である。図９は、横方向（行方向）のずれ量と、擬似逆行列Ｍ^＋の各要素である各加重係数の値との関係を示すグラフである。

図８に示すように、本実施の形態に係る撮像方法は、感度計測ステップ（ステップＳ１１）、加重係数計算ステップ（ステップＳ１２）、加重係数記憶ステップ（ステップＳ１３）、画像信号データ取得ステップ（ステップＳ１４）、加重係数読み出しステップ（ステップＳ１５）、加重係数復元ステップ（ステップＳ１６）、加重和演算ステップ（ステップＳ１７）、及び画像信号データ復元ステップ（ステップＳ１８）を有する。

なお、本実施の形態に係る加重係数記憶ステップは、本発明における記憶工程に相当する。また、本実施の形態に係る加重係数読み出しステップ、加重係数復元ステップ、加重和演算ステップは、本発明における演算処理工程に相当する。

本実施の形態に係る撮像方法においては、予めステップＳ１１からステップＳ１３を実行しておき、被撮像物を撮像する際に、ステップＳ１４からステップＳ１８を実行する。

上記したように、予めステップＳ１１である感度計測ステップを行う。ステップＳ１１では、縦方向の偏光成分のみの偏光又は横方向の偏光成分のみの偏光（縦横１００％偏光）を平面照明等により照射して撮像し、受光素子アレイの各受光素子から出力された参照画像信号データを取得する。

予め、受光素子アレイの表面に領域分割偏光フィルタが取り付けられたものを用意する。具体的には、例えば、受光素子アレイの表面に、領域分割偏光フィルタを接着することによって、取り付ける。このとき、受光素子アレイの各受光素子に対する領域分割偏光フィルタの各偏光フィルタ部の境界の角度を含めた相対位置は、凡そ一致していればよく、精密な位置合わせをする必要はない。このような受光素子アレイの表面に領域分割偏光フィルタが取り付けられたものを、信号処理部、出力インタフェース部と組み合わせ、本実施の形態に係る撮像装置を準備する。

次に、受光素子アレイ全体に一様な強度の１００％縦偏光の光を照射し、その時の受光素子アレイの各受光素子の出力値を参照画像信号データＲＩ１として記録する。続けて、同様に、受光素子アレイ全体に一様な強度の１００％横偏光の光を照射し、参照画像信号データＲＩ２として記録する。

ここで、参照画像信号データＲＩ１、ＲＩ２の各受光素子（画素）における成分は、各受光素子（画素）での縦偏光に対する感度及び横偏光に対する感度のそれぞれに比例している。また、その縦偏光に対する感度及び横偏光に対する感度は、主として各受光素子（画素）における縦偏光フィルタ及び横偏光フィルタのそれぞれのカバー率によって決定されるものである。従って、縦偏光に対する感度及び横偏光に対する感度は、受光素子アレイに領域分割偏光フィルタを接着して固定した後では、変動することはない。

また、入射光が受光素子アレイ及び領域分割偏光フィルタの表面に垂直に入射しない場合等において、前述した縦偏光及び横偏光に代え、入射面内で振動する光の成分であるｐ偏光と、入射面内に垂直に振動する光の成分であるｓ偏光とを用いてもよい。すなわち、ステップＳ１１において、ｐ偏光又はｓ偏光を照射して撮像し、各受光素子（画素）でのｐ偏光に対する感度及びｓ偏光に対する感度のそれぞれに比例する成分を有する参照画像信号データＲＩ１、ＲＩ２を得るようにしてもよい。

次に、ステップＳ１２である加重係数計算ステップを行う。ステップＳ１２では、ステップＳ１７で画像信号の加重和を求めるための複数の加重係数のうち一部の加重係数を計算する。

入射光の縦偏光成分をＬ_ｖ、横偏光成分をＬ_ｈ、受光素子ｉでの縦偏光成分の感度をａ_ｖｉ、横偏光成分の感度をａ_ｈｉとする。領域分割偏光フィルタを透過して受光素子ｉに入射する入射光の強度Ｉ_ｉは、
Ｉ_ｉ＝ａ_ＶｉＬ_ｖ＋ａ_ｈｉＬ_ｈ （１）
である。

ここで、互いに隣接又は近接する２行２列の４つの受光素子の位置に同じ光が入射するものとすると、それら４つの受光素子１１〜１４について式（１）が成り立ち、以下の式（２）に示すようにまとめて表すことができる。なお、式（１）及び式（２）では、図３に示す４つの受光素子１１〜１４に対応する番号ｉを、それぞれ０〜３としている。

また、式（２）において、左辺をＩ、右辺の２つのテンソルを順にＭ、Ｌとすると、式（２）は、式（３）のように表すことができる。

Ｉ＝ＭＬ （３）
ここで、入射光の入射強度Ｉ_ｉは、受光素子アレイの出力する画像信号として取得することができる。また、各受光素子ｉの縦横偏光成分感度（ａ_ｖｉ、ａ_ｈｉ）は、ステップＳ１１で測定した値を利用すれば既知である。また、入射光の偏光成分Ｌ_ｖ、Ｌ_ｈだけが未知量となる。

式（３）は、未知量Ｌ_ｖ、Ｌ_ｈの個数より制約条件の数が多い連立一次方程式であり、このような問題は、行列Ｍの擬似逆行列Ｍ^＋を用いることにより、式（３）から以下の式（４）及び式（５）に示すように解くことができる。

Ｌ＝Ｍ^＋Ｉ （４）
ただし、
Ｍ^＋＝（Ｍ^ＴＭ）^−１Ｍ^Ｔ （５）
偏光フィルタ部の受光素子に対する相対位置のずれ量によっては、参照する２行２列の画素の領域内に、隣接又は近接する画素同士でフィルタ領域のカバー率が５０％に近くなる場合、すなわち偏光情報が比較的得にくい場合も存在する。しかしながら、本実施の形態に係る撮像方法を用いることにより、擬似逆行列Ｍ^＋により誤差を最小化するように、Ｌ_ｖ、Ｌ_ｈの解が求められる。

また、擬似逆行列であるテンソルＭ^＋は、式（６）のように表され、複数の加重係数を要素として有する。

式（６）に示すように、複数の加重係数は、互いに異なる種類の光透過部を透過した光による画像信号を求めるための第１の加重係数ｍ_０、ｍ_１、ｍ_２、ｍ_３、及び第２の加重係数ｍ_４、ｍ_５、ｍ_６、ｍ_７を含む。第１の加重係数ｍ_０、ｍ_１、ｍ_２、ｍ_３は、縦偏光フィルタ部を透過した透過光による画像信号を求めるためのものである。第２の加重係数ｍ_４、ｍ_５、ｍ_６、ｍ_７は、横偏光フィルタ部を透過した透過光による画像信号を求めるためのものである。

なお、第１の加重係数は、本発明における一部の加重係数に相当する。また、第２の加重係数は、本発明における他の加重係数に相当する。

次に、受光素子アレイと領域分割フィルタがずれたときの加重係数の値について説明する。なお、前述したように、回転方向のずれが小さいときは、受光素子アレイと領域分割フィルタのずれは、横方向のみを考えればよい。従って、以下では、受光素子アレイと領域分割フィルタが横方向にずれたときの加重係数の値について説明する。

受光素子アレイと領域分割フィルタが、図３に示すように横方向にずれたときは、前述したように、ずれ量と面積カバー率との関係は図４に示すような関係を有する。また、図３及び図４に示すように、隣接する４つの受光素子における面積カバー率は、常にいずれか２つの受光素子における面積カバー率が０．７５以上になっている。

図３ではずれ量ｄが０、０．２５、０．５、０．７５のときを示しているが、実際にはより高精度にそれぞれのフィルタパターンの面積カバー率を知ることが好ましい。具体的には、例えばずれ量ｄは、０から２画素の間を２５６分割する程度の精度（サブピクセル精度）を有することが好ましい。

このようなサブピクセル精度を有するずれ量ｄを得る方法として、例えば、以下のような方法を行うことができる。複数の受光素子（画素）における画像信号データのパターンと、予めサブピクセル精度を有する種々のずれ量に対応して得られる理想の画像信号データのパターンとの相関係数を計算し、最も相関係数の高い理想の画像信号データに基づいて、ずれ量ｄを推定する。

ここで、サブピクセル精度を有する種々のずれ量ｄを仮定し、そのずれ量ｄに対応して式（６）に示すＭ^＋の各要素である各加重係数の値を計算した結果を図９に示す。

図９では、実線で示す曲線が加重係数ｍ_０、ｍ_５に対応する。また、破線で示す曲線が加重係数ｍ_１、ｍ_４に対応する。また、点線で示す曲線が加重係数ｍ_２、ｍ_７に対応する。また、一点鎖線で示す曲線が加重係数ｍ_３、ｍ_６に対応する。すなわち、受光素子アレイと領域分割フィルタとのずれ量ｄが横方向のみである場合には、ｍ_４＝ｍ_１、ｍ_５＝ｍ_０、ｍ_６＝ｍ_３、ｍ_７＝ｍ_２となる。これは、図３（ａ）において、受光素子１１、１２との間では、光透過フィルタ部２１、２２のパターンが丁度反転した関係にあることから理解できる。また、式（５）及び式（６）から、
Ｌ_ｖ＝ｍ_０×Ｉ_０＋ｍ_１×Ｉ_１＋ｍ_２×Ｉ_２＋ｍ_３×Ｉ_３ （７）
及び
Ｌ_ｈ＝ｍ_４×Ｉ_０＋ｍ_５×Ｉ_１＋ｍ_６×Ｉ_２＋ｍ_７×Ｉ_３ （８）
となることからも、理解できる。

従って、ステップＳ１２では、複数の加重係数のうち、第１の加重係数ｍ_０、ｍ_１、ｍ_２、ｍ_３のみを計算しておけばよく、第２の加重係数ｍ_４、ｍ_５、ｍ_６、ｍ_７を計算する必要はない。これにより、複数の加重係数を計算処理するための処理時間を低減させることができる。

また、式（５）の演算処理であるステップＳ１２を、実際の撮像であるステップＳ１４より前に、具体的にはカメラの製造時にカメラ外部の計算機などで予め一回だけ計算しておけばよい。そのため、被撮像物を撮像する際の撮像装置の処理速度を増大させることができる。

次に、ステップＳ１３である加重係数記憶ステップを行う。ステップＳ１３では、計算した、複数の加重係数のうち一部の加重係数を記憶部に記憶する。記憶部として、前述したフラッシュメモリ３３等の不揮発性メモリに記憶することができる。また、前述したように、ステップＳ１３は、本発明における記憶工程に相当する。

ステップＳ１３では、複数の加重係数のうち、第１の加重係数ｍ_０、ｍ_１、ｍ_２、ｍ_３のみを記憶部に記憶しておけばよく、第２の加重係数ｍ_４、ｍ_５、ｍ_６、ｍ_７を記憶しておく必要はない。これにより、複数の加重係数を記憶するための記憶部のメモリ容量を半分に低減させることができる。

本実施の形態では、ステップＳ１２において、複数の加重係数のうち一部の加重係数を計算し、ステップＳ１３において、計算した、複数の加重係数のうち一部の加重係数を記憶する。これは、ずれ量ｄが横方向のみである領域分割偏光フィルタを用いるときに、ｍ_４＝ｍ_１、ｍ_５＝ｍ_０、ｍ_６＝ｍ_３、ｍ_７＝ｍ_２の関係が成り立つためである。

一方、ずれ量ｄが横方向のみでなく、縦方向又は回転方向の成分を含むときも、その縦方向又は回転方向の成分が微小である場合には、図４に示した横方向のずれ量と面積カバー率の関係はほとんど影響を受けない。従って、上記したｍ_４＝ｍ_１、ｍ_５＝ｍ_０、ｍ_６＝ｍ_３、ｍ_７＝ｍ_２の関係が成り立ち、本実施の形態を適用することができる。

次に、ステップＳ１４である画像信号データ取得ステップを行う。ステップＳ１４では、被撮像物を撮像し、画像信号データを取得する。

次に、ステップＳ１５からステップＳ１７の各ステップを行い、画像信号の加重和を求める演算処理を行う。前述したように、ステップＳ１５からステップＳ１７は、本発明における演算処理工程に相当する。

始めに、ステップＳ１５である加重係数読み出しステップを行う。ステップＳ１５では、記憶部が記憶した一部の加重係数を記憶部から読み出す。具体的には、記憶部が記憶した第１の加重係数ｍ_０、ｍ_１、ｍ_２、ｍ_３を記憶部から読み出す。

次に、ステップＳ１６である加重係数復元ステップを行う。ステップＳ１６では、読み出した一部の加重係数に基づいて他の加重係数を求める。本実施の形態では、他の加重係数が、記憶部から読み出した一部の加重係数に等しくなるように、他の加重係数を求める。

具体的には、読み出した第１の加重係数ｍ_０、ｍ_１、ｍ_２、ｍ_３に基づいて第２の加重係数ｍ_４、ｍ_５、ｍ_６、ｍ_７を求める。前述したように、第１の加重係数ｍ_０、ｍ_１、ｍ_２、ｍ_３、第２の加重係数ｍ_４、ｍ_５、ｍ_６、ｍ_７は、ｍ_４＝ｍ_１、ｍ_５＝ｍ_０、ｍ_６＝ｍ_３、ｍ_７＝ｍ_２の関係を満たしている。従って、ｍ_４がｍ_１に等しくなるように、ｍ_４を求める。また、ｍ_５がｍ_０に等しくなるように、ｍ_５を求める。また、ｍ_６がｍ_３に等しくなるように、ｍ_６を求める。また、ｍ_７がｍ_２に等しくなるように、ｍ_７を求める。

なお、本実施の形態では、ステップＳ１４を行った後に、ステップＳ１５及びステップＳ１６を行う例を説明した。しかしながら、ステップＳ１５及びステップＳ１６は、ステップＳ１７の前に行っておけばよい。従って、ステップＳ１５及びステップＳ１６をステップＳ１４の前に行ってもよい。

次に、ステップＳ１７である加重和演算ステップを行う。ステップＳ１７では、取得した画像信号データに対して、求めた他の加重係数と読み出した一部の加重係数を用いて加重和を求める演算処理を行う。

ステップＳ１５を行って記憶部から読み出した第１の加重係数ｍ_０、ｍ_１、ｍ_２、ｍ_３、及びステップＳ１６を行って求めた第２の加重係数ｍ_４、ｍ_５、ｍ_６、ｍ_７を用いて、式（６）に示す擬似逆行列テンソルＭ^＋を復元する。そして、ステップＳ１７では、式（７）及び式（８）に示すように、互いに隣接又は近接する２行２列の受光素子における画像信号データＩ＝（Ｉ_０、Ｉ_１、Ｉ_２、Ｉ_３）の単純な加重和を求める演算を行う。これにより、各受光素子（画素）の縦横偏光成分Ｌ＝（Ｌ_ｖ、Ｌ_ｈ）を求めることができる。

最後に、ステップＳ１８である画像信号データ復元ステップを行う。ステップＳ１８では、求めた加重和に基づいて画像信号データを復元し、復元した画像信号データを、出力インタフェース部へ送る。

次に、本実施の形態に係る撮像装置において、加重係数を記憶するために必要な記憶容量を説明する。

撮像装置の受光素子アレイとして６４０×４８０画素のＶＧＡ（Video Graphics Array）センサであるイメージセンサを用いるものとする。そして、縦偏光成分及び横偏光成分のそれぞれの成分を復元処理するために、互いに隣接又は隣接する複数の受光素子として２×２＝４画素の加重和を計算するものとする。すると、加重係数の数（要素数）は８個になるため、６４０（横）×４８０（縦）×８（要素数）×４（バイト数）＝約９．４ＭＢの記憶容量を有するメモリ（記憶部）が必要となる。なお、各要素のデータビット数は、単精度浮動小数点数とし、そのデータ量は４バイトとして見積もっている。

一方、本実施の形態では、第１の加重係数ｍ_０、ｍ_１、ｍ_２、ｍ_３のみを記憶すればよく、第２の加重係数ｍ_４、ｍ_５、ｍ_６、ｍ_７を記憶する必要がない。すなわち、８個の加重係数のうち４個のみを記憶すればよい。従って、本実施の形態では、６４０（横）×４８０（縦）×４（要素数）×４（バイト数）＝約４．７ＭＢの記憶容量を有するメモリ（記憶部）があればよい。よって、全ての加重係数を記憶する場合に比べ、記憶部の記憶容量を半分に削減することができる。また、加重係数を全て記憶することなく、加重係数を全て記憶する場合と同様の結果を得ることができる。

なお、本実施の形態では、受光素子が配列する行方向に沿う光透過部の幅寸法（行方向の配列周期）は、行方向に沿う受光素子の幅寸法（行方向の配列周期）に略等しく、第２の加重係数のいずれかが、第１の加重係数のいずれかに等しい場合について説明した。しかしながら、受光素子が配列する行方向に沿う光透過部の幅寸法（行方向の配列周期）は、行方向に沿う受光素子の幅寸法（行方向の配列周期）と等しくなくてもよい。

例えば、互いに隣接又は近接する複数の受光素子の群を、２行２列に配列された４つの受光素子とする。このとき、隣接する受光素子において異なる種類の光透過部に対応する面積カバー率が等しくなるか、又は隣接する受光素子において同じ種類の光透過部に対応する面積カバー率が等しくなる場合には、本実施の形態で説明したような関係が成り立つことがある。このような場合として、例えば受光素子が配列する行方向に沿う光透過部の幅寸法（行方向の配列周期）が、行方向に沿う受光素子の幅寸法（行方向の配列周期）の１／２、１／４になるときが挙げられる。

また、本実施の形態では、縦横２種類の偏光フィルタ部が交互に配列された領域分割偏光フィルタを用いた。しかし、偏光フィルタ部は縦横２種類に限定されるものではなく、互いに異なる３種類以上の偏光方向を有する偏光フィルタ部が順番に繰返し配列されてもよい。
（第２の実施の形態）
次に、図９を参照し、本発明の第２の実施の形態に係る撮像装置について説明する。

本実施の形態に係る撮像装置は、演算処理部が、記憶部から読み出した一つの加重係数に基づいて他の加重係数を復元する点で、第１の実施の形態に係る撮像装置と相違する。

図９に示すように、擬似逆行列のテンソルＭ^＋の加重係数（要素）ｍ_０〜ｍ_７のそれぞれの値は、ずれ量ｄが変化するのに伴って周期的に変化する。また、互いに隣接又は近接する複数の受光素子よりなるどの群においても、図９に示す関係を満たす。そのため、上記した周期的に変化する関係を、テーブルとして記憶しておけば、テンソル（擬似逆行列）Ｍ^＋の各加重係数（各要素）のうち一つの加重係数を記憶することにより、他の加重係数を復元することができる。

例えば、記憶部にずれ量ｄが０．７５であってｍ_０の値のみを記憶したときを考える。このとき、図９に示すように、ｍ_５の値は、ずれ量ｄが０．７５のときのｍ_０の値に等しい。また、ｍ_１及びｍ_４の値は、ずれ量ｄが１．７５のときのｍ_０の値に等しい。また、ｍ_２及びｍ_７の値は、ずれ量ｄが１．２５のときのｍ_０の値に等しい。また、ｍ_３及びｍ_６の値は、ずれ量ｄが０．２５のときのｍ_０の値に等しい。従って、記憶部にｍ_０を記憶することにより、ｍ_１〜ｍ_７の値を復元することができる。

本実施の形態では、ステップＳ１３において、記憶部にｍ_０を記憶するとともに、図９に示すようなずれ量ｄとｍ_０の関係を表すデータをテーブルとして準備しておく。そして、ステップＳ１５においてｍ_０の値を記憶部から読み出し、ステップＳ１６においてテーブルを参照してｍ_１〜ｍ_７の値を求める。これにより、更に加重係数を記憶するメモリ容量を大幅に削減することができる。

本実施の形態では、第１の加重係数のうちｍ_０のみを記憶すればよく、第１の加重係数ｍ_１、ｍ_２、ｍ_３及び第２の加重係数ｍ_４、ｍ_５、ｍ_６、ｍ_７を記憶する必要がない。すなわち、擬似逆行列テンソルＭ^＋の８個の加重係数（要素）ｍ_０〜ｍ_７のうち１個の加重係数（要素）ｍ_０のみを記憶すればよい。従って、本実施の形態では、６４０（横）×４８０（縦）×１（要素数）×４（バイト数）＝約１．２ＭＢの記憶容量を有するメモリ（記憶部）があればよい。よって、全ての加重係数を記憶する場合に比べ、記憶部の記憶容量を１／８に削減することができる。また、加重係数を全て記憶することなく、加重係数を全て記憶する場合と同様の結果を得ることができる。
（第３の実施の形態）
次に、図１０を参照し、本発明の第３の実施の形態に係る撮像装置について説明する。

図１０は、図９のグラフのデータを２^１２倍したグラフである。

本実施の形態に係る撮像装置は、記憶部が、加重係数を固定小数点数として記憶する点で、第１の実施の形態に係る撮像装置と相違する。

図９に示したように、加重係数の取り得る値の範囲は、凡そ−５×１０^−４〜１×１０^−３の範囲である。この−５×１０^−４〜１×１０^−３の範囲のデータを、従来のように単精度浮動小数点数として記憶部に記憶する場合、各加重係数のデータ量は４バイトになる。

一方、図１０に示すように、加重係数のデータを２^１２倍することによって、加重係数の取り得る値の範囲は、凡そ−２〜＋４の範囲になる。この−２〜＋４の範囲のデータを、１バイト又は２バイトの固定小数点数で記憶部に記憶する。これにより、記憶部が記憶するパラメータのデータ量（すなわち記憶部の記憶容量）を、従来に比べ、それぞれ１／４、１／２にすることができる。

本実施の形態では、第２の実施の形態に係る撮像装置と同様に、擬似逆行列テンソルＭ^＋の８個の加重係数（要素）ｍ_０〜ｍ_７のうち１個の加重係数（要素）ｍ_０のみを記憶部に記憶するようにし、更にその１個の加重係数を固定小数点数として記憶してもよい。８個の加重係数のうち１個の加重係数を例えば１バイト又は２バイトの固定小数点数で記憶部に記憶することにより、記憶部が記憶するパラメータのデータ量（すなわち記憶部の記憶容量）を、従来に比べ、それぞれ１／３２、１／１６にすることができる。

以上、本発明の好ましい実施の形態について記述したが、本発明はかかる特定の実施の形態に限定されるものではなく、特許請求の範囲内に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

また、本発明の実施の形態では、光透過フィルタとして領域分割偏光フィルタを用いた場合について説明した。しかしながら、本発明は、領域分割偏光フィルタに代え、領域分割分光フィルタ、すなわち、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の色分解フィルタのように、透過する光の帯域波長が異なる分光フィルタを、所定の配置パターンに従って配列したカラーフィルタを設置した撮像装置にも適用することができる。この場合、受光素子アレイを用いてカラー画像信号データを取得することができる。

１ 受光素子アレイ
２ 領域分割偏光フィルタ
２ａ 結像光学系
３ 信号処理部
４ 演算処理部
５ 記憶部
１０、１１〜１４ 受光素子
２１ 縦偏光フィルタ部
２２ 横偏光フィルタ部
３１ ＣＰＵ
３２ ＤＲＡＭ
３３ フラッシュメモリ（記憶部）
３４ 画像データ入力インタフェース
３５ 出力インタフェース部
４１ 画素選択部
４２ 係数生成部
５０ 撮像装置

特許４２９５１４９号公報

Claims (11)

1. 被撮像物を撮像して画像信号を得る撮像装置において、
   受光素子が行方向及び列方向に二次元的に配列された受光素子アレイと、
   前記受光素子アレイの手前に設けられ、互いに光透過特性が異なる複数の種類の帯状の光透過部が、前記受光素子が配列する前記行方向及び前記列方向のいずれとも平行でない方向に沿って交互に配列されてなる光透過フィルタと、
   互いに近接する複数の受光素子のそれぞれが出力した画像信号の加重和を求めるための複数の加重係数のうち一部の加重係数を記憶する記憶部と、
   前記記憶部が記憶した前記一部の加重係数を前記記憶部から読み出し、読み出した前記一部の加重係数に基づいて前記複数の加重係数の他の加重係数を求め、求めた前記他の加重係数と前記一部の加重係数とを用いて前記画像信号の加重和を求める演算処理を行う演算処理部と
   を有することを特徴とする撮像装置。
2. 前記受光素子が配列する前記行方向に沿う前記光透過部の幅寸法が、前記行方向に沿う前記受光素子の幅寸法に略等しいことを特徴とする請求項１に記載の撮像装置。
3. 前記演算処理部は、前記他の加重係数が前記一部の加重係数に等しくなるように、前記他の加重係数を求めることを特徴とする請求項２に記載の撮像装置。
4. 前記一部の加重係数は、前記複数の加重係数のうち一の加重係数であることを特徴とする請求項１から請求項３のいずれかに記載の撮像装置。
5. 前記記憶部は、前記一部の加重係数を固定小数点数として記憶することを特徴とする請求項１から請求項４のいずれかに記載の撮像装置。
6. 受光素子が行方向及び列方向に二次元的に配列された受光素子アレイと、前記受光素子アレイの手前に設けられ、互いに光透過特性が異なる複数の種類の帯状の光透過部が、前記受光素子が配列する前記行方向及び前記列方向のいずれとも平行でない方向に沿って交互に配列されてなる光透過フィルタとを有する撮像装置における、被撮像物を撮像して画像信号を得る撮像方法であって、
   互いに近接する複数の受光素子のそれぞれが出力した画像信号の加重和を求めるための複数の加重係数のうち一部の加重係数を記憶部に記憶する記憶工程と、
   前記記憶部が記憶した前記一部の加重係数を前記記憶部から読み出し、読み出した前記一部の加重係数に基づいて前記複数の加重係数の他の加重係数を求め、求めた前記他の加重係数と前記一部の加重係数とを用いて前記画像信号の加重和を求める演算処理を行う演算処理工程と
   を含むことを特徴とする撮像方法。
7. 前記撮像装置は、前記受光素子が配列する前記行方向に沿う前記光透過部の幅寸法が、前記行方向に沿う前記受光素子の幅寸法に略等しいことを特徴とする請求項６に記載の撮像方法。
8. 前記演算処理工程において、前記他の加重係数が前記一部の加重係数に等しくなるように、前記他の加重係数を求めることを特徴とする請求項７に記載の撮像方法。
9. 前記一部の加重係数は、前記複数の加重係数のうち一の加重係数であることを特徴とする請求項６から請求項８のいずれかに記載の撮像方法。
10. 前記記憶工程において、前記一部の加重係数を固定小数点数として記憶することを特徴とする請求項６から請求項９のいずれかに記載の撮像方法。
11. コンピュータに請求項６から請求項１０のいずれかに記載の撮像方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images