次に、本発明を実施するための形態について図面と共に説明する。
(第1の実施の形態)
(撮像装置)
図1から図6を参照し、本発明の第1の実施の形態に係る撮像装置を説明する。
本実施の形態に係る撮像装置は、1組の受光素子アレイと領域分割偏光フィルタを用いて被撮像物を1回撮像し、得られた画像信号データから縦偏光成分と横偏光成分の2つの画像信号データを復元するものである。
始めに、図1を参照し、本実施の形態の全体構成を説明する。図1は、本実施の形態に係る撮像装置の全体構成を模式的に示すブロック図である。
図1に示すように、本実施の形態に係る撮像装置50は、イメージセンサである受光素子アレイ1、領域分割偏光フィルタ2、結像光学系2a、信号処理部3、及び出力インタフェース部35を有する。結像光学系2aは、被写体の像をイメージセンサである受光素子アレイ1上に結像させる。信号処理部3は、演算処理部4及び記憶部5を有する。なお、領域分割偏光フィルタ2は、本発明における光透過フィルタに相当する。
イメージセンサである受光素子アレイ1は、受光素子が行方向及び列方向に二次元的に配列されてなる。受光素子アレイ1としては、CCDやMOS、CMOS等を用いることができる。領域分割偏光フィルタ2は、受光素子アレイ1に受光される光の光路上であって受光素子アレイ1の手前に設けられる。領域分割偏光フィルタ2は、受光素子アレイ1の表面に密着するように設けられていてもよい。領域分割偏光フィルタ2は、後述するような斜めストライプ型領域分割フィルタである。信号処理部3は、受光素子アレイ1から出力される画像信号データを入力し、領域分割されていない各偏光フィルタ単体を通過したのと同様な画像信号データを生成する。すなわち、信号処理部3は、受光素子アレイ1から出力される画像信号データに対して信号処理を行う。また、受光素子アレイ1は例えば640×480画素の解像度を有する。
結像光学系2aにより結像された像は、受光素子アレイ1の各受光素子の表面に設けられた領域分割偏光フィルタ2を透過して、受光素子アレイ1の各受光素子に入射する。受光素子アレイ1の出力する画像信号データは、各受光素子に入射する光量に比例し、そのままでは各偏光成分の画像(受光素子アレイ1の全面を各偏光成分を透過する光透過フィルタで覆った場合に出力する画像)とは異なる。しかし、受光素子アレイ1の出力する画像信号データを信号処理することにより、各偏光成分の画像を復元する。
(領域分割偏光フィルタ)
次に、図2を参照し、本実施の形態に係る撮像装置の領域分割偏光フィルタについて説明する。図2は、本実施の形態に係る撮像装置の領域分割偏光フィルタにおける偏光フィルタ部の配置パターンを示す図である。なお、本実施の形態に係る偏光フィルタ部は、本発明における光透過部に相当する。
領域分割偏光フィルタ2は、偏光方向が互いに異なる光を透過する複数の種類の帯状の偏光フィルタ部を有する。具体的には、図2に示すように、領域分割偏光フィルタ2は、透過する偏光方向が互いに90°異なる光を透過する複数の種類の帯状の偏光フィルタ部21、22を有する。図2における2種類の斜めの帯が、縦方向及び横方向のそれぞれに対応する2種類の偏光フィルタ部21、22を示す。2種類の帯状の偏光フィルタ部21、22は、幅方向に沿って交互に配列されている。本実施の形態では、一例として、偏光フィルタ部21を、偏光方向が縦方向である縦偏光フィルタ部21とし、偏光フィルタ部22を、偏光方向が横方向である横偏光フィルタ部22とすることができる。
なお、本実施の形態に示す一例のように偏光フィルタ部が2種類である場合、その種類をA、Bで表記すると、「交互に配列する」とは、A、B、A、B、A、B・・・の順番に繰返し配列することを意味する。
また、領域分割偏光フィルタは、それぞれ縦偏光又は横偏光を透過する2種類の偏光フィルタ部が配列する構成に限られるものではなく、偏光方向が異なる3種類以上の偏光フィルタ部が配列する構成であってもよい。3種類の偏光フィルタ部が配列する場合、その3種類をA、B、Cで表記すると、「交互に配列する」とは、A、B、C、A、B、C、A、B、C・・・の順番に繰返し配列することを意味する。
また、領域分割偏光フィルタ2は、受光素子アレイ1に対する相対位置が位置ずれしていない場合には、図2に示すように、縦横に格子状に配列する正方形である各受光素子10(又は各受光素子10の受光部)に対して下記に説明するような所定の位置関係を有するように設置される。
具体的には、縦偏光フィルタ部21、横偏光フィルタ部22は、図2における横方向に1受光素子分(1画素分)の幅に等しい幅寸法を有する。すなわち、受光素子10が配列する行方向に沿う縦偏光フィルタ部21、横偏光フィルタ部22の幅寸法は、行方向に沿う受光素子10の幅寸法に略等しい。また、縦偏光フィルタ部21、横偏光フィルタ部22は、図2における縦方向に2画素分の幅寸法に等しい幅寸法を有する。すなわち、受光素子10が配列する列方向に沿う各偏光フィルタ部の幅寸法は、列方向に沿う受光素子10の幅寸法の略2倍である。従って、領域分割偏光フィルタの各偏光フィルタ部同士の境界線の傾きは2、すなわち、横方向に1受光素子分(1画素分)進む間に縦方向に2受光素子分(2画素分)変化する角度を有する斜めに傾いた帯状の形状を有する。
すなわち、帯状の偏光フィルタ部が配列配置される配置パターンは、斜めストライプパターンであり、帯状の偏光フィルタ部が配列する配列方向である幅方向は、受光素子が配列する横方向(行方向)及び縦方向(列方向)のいずれとも平行でない。
なお、本実施の形態において、行方向及び列方向は、それぞれ二次元に配列する2つの配列方向のうち一方及び他方を表すものであって、特に区別されるものではない。従って、本実施の形態は、行方向と列方向を取り替えて90度回転させた配置を含む。すなわち、「横方向(行方向)」及び「縦方向(列方向)」を、それぞれ「縦方向(行方向)」及び「横方向(列方向)」とした場合を含む。
次に、図3及び図4を参照し、本実施の形態における領域分割偏光フィルタにおける偏光フィルタ部の配置パターンが、偏光フィルタ部の受光素子に対する相対位置の位置ずれが生じた場合にも、その位置ずれの影響を受け難いことを説明する。
図3は、偏光フィルタ部の受光素子に対する相対位置が、横方向(行方向)にずれた場合の配置を示す図である。図4は、横方向(行方向)のずれ量と、特定の偏光フィルタ部が特定の受光素子と重なる面積の割合であるカバー率を示すグラフである。具体的には、縦偏光フィルタ部が特定の受光素子と重なるカバー率を示す。
図3(a)、図3(b)、図3(c)、図3(d)は、偏光フィルタ部の受光素子に対する相対位置のずれ量をdとしたときに、dが、横方向(行方向)にそれぞれ0画素分、1/4画素分(0.25画素分)、1/2画素分(0.5画素分)、3/4画素分(0.75画素分)となる配置を示す。図3(a)、図3(b)、図3(c)、図3(d)では、簡単のため、互いに隣接又は近接する2行2列に配列された4つの受光素子11〜14と、その4つの受光素子11〜14に重なる縦偏光フィルタ部21、横偏光フィルタ部22のみを示す。また、図3(a)における点線IIで囲まれた範囲は、図2における点線Iで囲まれた範囲に相当する。また、図3(a)、図3(b)、図3(c)、図3(d)では、視やすいように、縦偏光フィルタ部21のみハッチングを行い、横偏光フィルタ部22にはハッチングを行っていない。
最初に、4つの受光素子11〜14を代表し、受光素子14、12について、図3(a)、図3(b)、図3(c)、図3(d)を参照し、受光素子14、12が縦偏光フィルタ部21と重なる面積の割合であるカバー率について説明する。
偏光フィルタ部の受光素子に対する相対位置のずれ量dが0の場合(図3(a)に示す場合)、受光素子14、12の縦偏光フィルタ部21によるカバー率の割合は、0.75、0.25である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量dが1/4(0.25)の場合(図3(b)に示す場合)、受光素子14、12の縦偏光フィルタ部21によるカバー率は0.875、0.5である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量dが1/2(0.5)の場合(図3(c)に示す場合)、受光素子14、12の縦偏光フィルタ部21によるカバー率は0.75、0.75である。また、偏光フィルタ部の受光素子に対する相対位置のずれ量dが3/4の場合(図3(d)に示す場合)、受光素子14、12の縦偏光フィルタ部21によるカバー率は0.5、0.875である。
以上のカバー率の変化を、ずれ量dの連続的な変化に対して表したものが図4である。図4において、横軸は、偏光フィルタ部の受光素子に対する相対位置の横方向(行方向)に沿うずれ量d(単位は一つの受光素子の横方向(行方向)の幅)を示す。また、縦軸は、1つの受光素子の縦偏光フィルタ部21によるカバー率を示す。また、図4において、符号を付したように、破線で示す曲線C1、実線で示す曲線C2、一点鎖線で示す曲線C3、点線で示す曲線C4のそれぞれが、図3(a)に示す受光素子11、12、13、14のそれぞれに対応する。
図4を参照し、受光素子11、12、13、14のうち、受光素子14、12について、ずれ量と縦偏光フィルタ部によるカバー率の関係について説明する。
図4に示すように、ずれ量dが0から0.5の範囲では、曲線C4は、縦偏光フィルタ部21によるカバー率が0.75以上の範囲にあり、受光素子14の面積の75%以上が縦偏光フィルタ部21でカバーされる。また、ずれ量dが0.5以上1.0以下の範囲では、曲線C4は、右肩下がりの直線であり、ずれ量dの増加に伴って、受光素子14の縦偏光フィルタ部21によるカバー率は低下する。その代わりに、ずれ量dが0.5以上1.0以下の範囲では、曲線C2が、縦偏光フィルタ部21によるカバー率が0.75以上の範囲にあり、受光素子12の縦偏光フィルタ部21によるカバー率が75%以上となる。ずれ量dが1.0以上2.0以下の範囲における曲線C4、C2は、ずれ量dが0以上1.0以下の範囲における曲線C4、C2を、縦偏光フィルタ部21によるカバー率が0.5となる水平線を対称中心として上下反転させた形状を有している。しかし、受光素子14、12において縦偏光フィルタ部21でカバーされない部分は、横偏光フィルタ部22でカバーされる面積であるため、ずれ量dが1.0以上2.0以下の範囲では、横偏光フィルタ部22のカバー率が75%以上となる。
すなわち、上下に隣接する2つの受光素子14、12に注目すると、上側の受光素子12が縦偏光フィルタ部21及び横偏光フィルタ部22にそれぞれ半分ずつカバーされるような配置(ずれ量dが0.25)では、下側の受光素子14が一方の偏光フィルタ部である縦偏光フィルタ部21に略全面に亘りカバーされる。逆に下側の受光素子14が縦偏光フィルタ部21及び横偏光フィルタ部22にそれぞれ半分ずつカバーされるような配置(ずれ量dが0.75)では、上側の受光素子12が一方の偏光フィルタ部である縦偏光フィルタ部21に略全面に亘りカバーされる。さらに左右の画素に注目すると、偏光フィルタ部の幅が1素子分であるため、右隣の受光素子は左隣の受光素子と反対の種類の偏光フィルタ部に関して同じカバー率を有する。従って、縦横2画素ずつ(2行2列)計4画素の近傍領域を考えると、任意のずれ量dに対して、4画素中の1画素は縦偏光フィルタ部21に略全面に亘りカバーされ(カバー率0.75以上)、他の1画素は横偏光フィルタ部22に略全面に亘りカバーされる(カバー率0.75以上)。
一方、領域分割偏光フィルタの配置パターンが他の場合は、このような効果は得られない。例えば、市松模様の場合について、図5を参照し、本実施の形態と比較する。図5は、配置パターンが市松模様である偏光フィルタ部が、受光素子に対して横方向(行方向)及び縦方向(列方向)に1/2(0.5)ずつずれている場合を示す図である。
図5に示すように、横方向(行方向)及び縦方向(列方向)に例えば6μmの幅寸法を有する受光素子アレイにおいて、偏光フィルタ部の受光素子に対する相対的な位置関係が縦横に3μm(すなわち1/2画素分)ずれた場合について考える。図5においては、4つの受光素子111、112、113、114と、4つの偏光フィルタ部のみを示す。4つの偏光フィルタ部とは、縦偏光フィルタ部121a、121b、横偏光フィルタ部122a、122bである。このような状態では、例えば受光素子114の受光する光は、4つの偏光フィルタ部121a、121b、122a、122bを透過した光を平均したものとなってしまい、どのような偏光方向の光を入射した場合にも、受光素子114の出力は略等しくなるため、偏光に関する情報を得ることができない。受光素子アレイ及び偏光フィルタにおいては、このような相対的な位置関係が横方向(行方向)及び縦方向(列方向)に繰り返されるため、受光素子114以外の全ての受光素子においても、受光素子が受光する光が4つの偏光フィルタ部を透過した光を平均したものとなってしまい、偏光に関する情報を得ることができない。
上記したのと対照的に、本実施の形態では、受光素子と偏光フィルタとの相対的な位置関係はいずれのずれ量によりずれていたとしても、縦横2画素ずつ計4画素の近傍領域における全ての受光素子において、縦偏光フィルタ部によるカバー率又は横偏光フィルタ部によるカバー率が同じ値になることはない。従って、入射する光の偏光方向に変化があった場合、4画素の出力の組み合わせには、必ず変化が生ずることになるため、偏光に関する情報を得ることができる。
なお、偏光フィルタ部の境界の受光素子の境界に対する傾きは2以外の値としてもよいが、傾きが2で、かつ、横方向のフィルタ幅が1画素分の場合、縦方向のフィルタ幅は2画素分となり、縦方向2画素ごと同じ配置の繰り返しになる。近傍範囲を狭くすることができ、実質的な解像度の低下を防止することができ、また後述する演算処理部において必要な演算量を低減することができる。
また、上記においては、領域分割偏光フィルタが受光素子アレイに対して横方向(行方向)にずれた場合について説明したが、領域分割偏光フィルタが受光素子アレイに対して縦方向(列方向)にずれた場合についても、全く同様な配置として表される。
また、小角度で回転してずれた場合についても、近傍領域においては平行移動として近似することができるため、上記した場合と全く同様に説明することができる。
(信号処理方法)
次に、図6及び図7を参照し、上記の配置パターンで得られる画像信号データから、各フィルタ成分による単独画像信号データを復元するための信号処理方法について説明する。図6及び図7は、本実施の形態に係る撮像装置における信号処理部の構成を示すブロック図である。
前述したように、帯状の偏光フィルタ部が配列配置される配置パターンは、斜めストライプパターンである。従って、帯状の偏光フィルタ部が配列する配列方向である幅方向は、受光素子が配列する横方向(行方向)及び縦方向(列方向)のいずれとも平行でない。
このような斜めストライプの偏光フィルタ部の配置パターンを採用することにより、偏光フィルタと受光素子アレイに対する相対位置に位置ずれがあった場合に偏光情報を得ることができなくなることを防止することができる。
しかしながら、このような斜めストライプの偏光フィルタ部の配置パターンにおいては、1つの偏光フィルタ部と1つの受光素子とが1対1に対応しておらず、複数の偏光フィルタ部が1つの受光素子に対応している。そのため、このままでは、各偏光フィルタ部を透過した透過光の成分のみからなる画像信号データを得ることができない。
そこで、以下に説明するような、信号処理方法を行い、斜めストライプの偏光フィルタ部の配置パターンを用いて被撮像物を撮像して得た画像信号データから、異なる種類の偏光フィルタ部に対応する複数の種類の画像信号データを復元する。具体的には、注目する受光素子(画素)近傍の複数の受光素子(画素)について、その受光素子(画素)から出力される画像信号に対し、偏光フィルタ部の配置パターンに応じて予め決められた加重係数を用いて加重和演算を行う。その演算結果が、その受光素子(画素)における縦偏光成分又は横偏光成分(p偏光成分又はs偏光成分)となる。
なお、p偏光は、縦偏光の意味を含む場合があり、s偏光は、横偏光の意味を含む場合がある。
図6に示すように、信号処理部3は、CPU31、DRAM32、フラッシュメモリ33等の不揮発性メモリ、画像データ入力インタフェース34を有する。フラッシュメモリ33等の不揮発性メモリは、後述する本実施の形態に係る撮像方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。あるいは、記録媒体は、ハードディスク等であってもよい。信号処理部3は、不揮発性メモリに記録されたプログラムをCPU31やDRAM32を用いて実行する。これにより、受光素子アレイ1から画像データ入力インタフェース34を経由して入力される画像データに対して、以下に述べる信号処理演算を実行し、演算処理結果を出力インタフェース部35へ送る。
ここでは、CPU31上のソフトウェアを用いて信号処理を実行するが、演算処理回路をハードウェアとして設計してもよい。
図7に示すように、信号処理部3は、演算処理部4及び記憶部5を有する。
演算処理部4は、画素選択部41及び係数生成部42を有する。画像選択部41は、例えば互いに隣接又は近接する2×2=4個である複数の受光素子(画素)を選択し、その複数の受光素子(画素)の各受光素子(画素)の画像信号であるI0、I1、I2、I3を取得する。係数生成部42は、複数の受光素子(画素)が出力した画像信号データから出力画像を復元するために必要となる、受光素子(画素)の位置(i,j)に対応する画像信号を生成するための加重係数(m0、m1、m2、m3、m4、m5、m6、m7)を生成する。
また、演算処理部4は、複数の受光素子(画素)が出力した画像信号と、係数生成部42が生成した複数の加重係数を用いて複数の受光素子(画素)が出力した画像信号の加重和を求める。また、求められた加重和に基づいて、出力画像の成分画素値であるpi,j、si,jを生成する。
記憶部5は、互いに近接する複数の受光素子における画像信号データの加重和を求めるための複数の加重係数の一部の加重係数を記憶する。記憶部5は、演算処理部4の係数生成部42が生成する複数の加重係数の一部の加重係数を記憶する。また、演算処理部4の係数生成部42は、記憶部5が記憶した一部の加重係数を記憶部5から読み出す。
次に、図8及び図9を参照し、本実施の形態に係る撮像装置における撮像方法を説明する。図8は、本実施の形態に係る撮像装置における撮像方法を説明する工程図である。図9は、横方向(行方向)のずれ量と、擬似逆行列M+の各要素である各加重係数の値との関係を示すグラフである。
図8に示すように、本実施の形態に係る撮像方法は、感度計測ステップ(ステップS11)、加重係数計算ステップ(ステップS12)、加重係数記憶ステップ(ステップS13)、画像信号データ取得ステップ(ステップS14)、加重係数読み出しステップ(ステップS15)、加重係数復元ステップ(ステップS16)、加重和演算ステップ(ステップS17)、及び画像信号データ復元ステップ(ステップS18)を有する。
なお、本実施の形態に係る加重係数記憶ステップは、本発明における記憶工程に相当する。また、本実施の形態に係る加重係数読み出しステップ、加重係数復元ステップ、加重和演算ステップは、本発明における演算処理工程に相当する。
本実施の形態に係る撮像方法においては、予めステップS11からステップS13を実行しておき、被撮像物を撮像する際に、ステップS14からステップS18を実行する。
上記したように、予めステップS11である感度計測ステップを行う。ステップS11では、縦方向の偏光成分のみの偏光又は横方向の偏光成分のみの偏光(縦横100%偏光)を平面照明等により照射して撮像し、受光素子アレイの各受光素子から出力された参照画像信号データを取得する。
予め、受光素子アレイの表面に領域分割偏光フィルタが取り付けられたものを用意する。具体的には、例えば、受光素子アレイの表面に、領域分割偏光フィルタを接着することによって、取り付ける。このとき、受光素子アレイの各受光素子に対する領域分割偏光フィルタの各偏光フィルタ部の境界の角度を含めた相対位置は、凡そ一致していればよく、精密な位置合わせをする必要はない。このような受光素子アレイの表面に領域分割偏光フィルタが取り付けられたものを、信号処理部、出力インタフェース部と組み合わせ、本実施の形態に係る撮像装置を準備する。
次に、受光素子アレイ全体に一様な強度の100%縦偏光の光を照射し、その時の受光素子アレイの各受光素子の出力値を参照画像信号データRI1として記録する。続けて、同様に、受光素子アレイ全体に一様な強度の100%横偏光の光を照射し、参照画像信号データRI2として記録する。
ここで、参照画像信号データRI1、RI2の各受光素子(画素)における成分は、各受光素子(画素)での縦偏光に対する感度及び横偏光に対する感度のそれぞれに比例している。また、その縦偏光に対する感度及び横偏光に対する感度は、主として各受光素子(画素)における縦偏光フィルタ及び横偏光フィルタのそれぞれのカバー率によって決定されるものである。従って、縦偏光に対する感度及び横偏光に対する感度は、受光素子アレイに領域分割偏光フィルタを接着して固定した後では、変動することはない。
また、入射光が受光素子アレイ及び領域分割偏光フィルタの表面に垂直に入射しない場合等において、前述した縦偏光及び横偏光に代え、入射面内で振動する光の成分であるp偏光と、入射面内に垂直に振動する光の成分であるs偏光とを用いてもよい。すなわち、ステップS11において、p偏光又はs偏光を照射して撮像し、各受光素子(画素)でのp偏光に対する感度及びs偏光に対する感度のそれぞれに比例する成分を有する参照画像信号データRI1、RI2を得るようにしてもよい。
次に、ステップS12である加重係数計算ステップを行う。ステップS12では、ステップS17で画像信号の加重和を求めるための複数の加重係数のうち一部の加重係数を計算する。
入射光の縦偏光成分をLv、横偏光成分をLh、受光素子iでの縦偏光成分の感度をavi、横偏光成分の感度をahiとする。領域分割偏光フィルタを透過して受光素子iに入射する入射光の強度Iiは、
Ii=aViLv+ahiLh (1)
である。
ここで、互いに隣接又は近接する2行2列の4つの受光素子の位置に同じ光が入射するものとすると、それら4つの受光素子11〜14について式(1)が成り立ち、以下の式(2)に示すようにまとめて表すことができる。なお、式(1)及び式(2)では、図3に示す4つの受光素子11〜14に対応する番号iを、それぞれ0〜3としている。
また、式(2)において、左辺をI、右辺の2つのテンソルを順にM、Lとすると、式(2)は、式(3)のように表すことができる。
I=ML (3)
ここで、入射光の入射強度Iiは、受光素子アレイの出力する画像信号として取得することができる。また、各受光素子iの縦横偏光成分感度(avi、ahi)は、ステップS11で測定した値を利用すれば既知である。また、入射光の偏光成分Lv、Lhだけが未知量となる。
式(3)は、未知量Lv、Lhの個数より制約条件の数が多い連立一次方程式であり、このような問題は、行列Mの擬似逆行列M+を用いることにより、式(3)から以下の式(4)及び式(5)に示すように解くことができる。
L=M+I (4)
ただし、
M+=(MTM)−1MT (5)
偏光フィルタ部の受光素子に対する相対位置のずれ量によっては、参照する2行2列の画素の領域内に、隣接又は近接する画素同士でフィルタ領域のカバー率が50%に近くなる場合、すなわち偏光情報が比較的得にくい場合も存在する。しかしながら、本実施の形態に係る撮像方法を用いることにより、擬似逆行列M+により誤差を最小化するように、Lv、Lhの解が求められる。
また、擬似逆行列であるテンソルM+は、式(6)のように表され、複数の加重係数を要素として有する。
式(6)に示すように、複数の加重係数は、互いに異なる種類の光透過部を透過した光による画像信号を求めるための第1の加重係数m
0、m
1、m
2、m
3、及び第2の加重係数m
4、m
5、m
6、m
7を含む。第1の加重係数m
0、m
1、m
2、m
3は、縦偏光フィルタ部を透過した透過光による画像信号を求めるためのものである。第2の加重係数m
4、m
5、m
6、m
7は、横偏光フィルタ部を透過した透過光による画像信号を求めるためのものである。
なお、第1の加重係数は、本発明における一部の加重係数に相当する。また、第2の加重係数は、本発明における他の加重係数に相当する。
次に、受光素子アレイと領域分割フィルタがずれたときの加重係数の値について説明する。なお、前述したように、回転方向のずれが小さいときは、受光素子アレイと領域分割フィルタのずれは、横方向のみを考えればよい。従って、以下では、受光素子アレイと領域分割フィルタが横方向にずれたときの加重係数の値について説明する。
受光素子アレイと領域分割フィルタが、図3に示すように横方向にずれたときは、前述したように、ずれ量と面積カバー率との関係は図4に示すような関係を有する。また、図3及び図4に示すように、隣接する4つの受光素子における面積カバー率は、常にいずれか2つの受光素子における面積カバー率が0.75以上になっている。
図3ではずれ量dが0、0.25、0.5、0.75のときを示しているが、実際にはより高精度にそれぞれのフィルタパターンの面積カバー率を知ることが好ましい。具体的には、例えばずれ量dは、0から2画素の間を256分割する程度の精度(サブピクセル精度)を有することが好ましい。
このようなサブピクセル精度を有するずれ量dを得る方法として、例えば、以下のような方法を行うことができる。複数の受光素子(画素)における画像信号データのパターンと、予めサブピクセル精度を有する種々のずれ量に対応して得られる理想の画像信号データのパターンとの相関係数を計算し、最も相関係数の高い理想の画像信号データに基づいて、ずれ量dを推定する。
ここで、サブピクセル精度を有する種々のずれ量dを仮定し、そのずれ量dに対応して式(6)に示すM+の各要素である各加重係数の値を計算した結果を図9に示す。
図9では、実線で示す曲線が加重係数m0、m5に対応する。また、破線で示す曲線が加重係数m1、m4に対応する。また、点線で示す曲線が加重係数m2、m7に対応する。また、一点鎖線で示す曲線が加重係数m3、m6に対応する。すなわち、受光素子アレイと領域分割フィルタとのずれ量dが横方向のみである場合には、m4=m1、m5=m0、m6=m3、m7=m2となる。これは、図3(a)において、受光素子11、12との間では、光透過フィルタ部21、22のパターンが丁度反転した関係にあることから理解できる。また、式(5)及び式(6)から、
Lv=m0×I0+m1×I1+m2×I2+m3×I3 (7)
及び
Lh=m4×I0+m5×I1+m6×I2+m7×I3 (8)
となることからも、理解できる。
従って、ステップS12では、複数の加重係数のうち、第1の加重係数m0、m1、m2、m3のみを計算しておけばよく、第2の加重係数m4、m5、m6、m7を計算する必要はない。これにより、複数の加重係数を計算処理するための処理時間を低減させることができる。
また、式(5)の演算処理であるステップS12を、実際の撮像であるステップS14より前に、具体的にはカメラの製造時にカメラ外部の計算機などで予め一回だけ計算しておけばよい。そのため、被撮像物を撮像する際の撮像装置の処理速度を増大させることができる。
次に、ステップS13である加重係数記憶ステップを行う。ステップS13では、計算した、複数の加重係数のうち一部の加重係数を記憶部に記憶する。記憶部として、前述したフラッシュメモリ33等の不揮発性メモリに記憶することができる。また、前述したように、ステップS13は、本発明における記憶工程に相当する。
ステップS13では、複数の加重係数のうち、第1の加重係数m0、m1、m2、m3のみを記憶部に記憶しておけばよく、第2の加重係数m4、m5、m6、m7を記憶しておく必要はない。これにより、複数の加重係数を記憶するための記憶部のメモリ容量を半分に低減させることができる。
本実施の形態では、ステップS12において、複数の加重係数のうち一部の加重係数を計算し、ステップS13において、計算した、複数の加重係数のうち一部の加重係数を記憶する。これは、ずれ量dが横方向のみである領域分割偏光フィルタを用いるときに、m4=m1、m5=m0、m6=m3、m7=m2の関係が成り立つためである。
一方、ずれ量dが横方向のみでなく、縦方向又は回転方向の成分を含むときも、その縦方向又は回転方向の成分が微小である場合には、図4に示した横方向のずれ量と面積カバー率の関係はほとんど影響を受けない。従って、上記したm4=m1、m5=m0、m6=m3、m7=m2の関係が成り立ち、本実施の形態を適用することができる。
次に、ステップS14である画像信号データ取得ステップを行う。ステップS14では、被撮像物を撮像し、画像信号データを取得する。
次に、ステップS15からステップS17の各ステップを行い、画像信号の加重和を求める演算処理を行う。前述したように、ステップS15からステップS17は、本発明における演算処理工程に相当する。
始めに、ステップS15である加重係数読み出しステップを行う。ステップS15では、記憶部が記憶した一部の加重係数を記憶部から読み出す。具体的には、記憶部が記憶した第1の加重係数m0、m1、m2、m3を記憶部から読み出す。
次に、ステップS16である加重係数復元ステップを行う。ステップS16では、読み出した一部の加重係数に基づいて他の加重係数を求める。本実施の形態では、他の加重係数が、記憶部から読み出した一部の加重係数に等しくなるように、他の加重係数を求める。
具体的には、読み出した第1の加重係数m0、m1、m2、m3に基づいて第2の加重係数m4、m5、m6、m7を求める。前述したように、第1の加重係数m0、m1、m2、m3、第2の加重係数m4、m5、m6、m7は、m4=m1、m5=m0、m6=m3、m7=m2の関係を満たしている。従って、m4がm1に等しくなるように、m4を求める。また、m5がm0に等しくなるように、m5を求める。また、m6がm3に等しくなるように、m6を求める。また、m7がm2に等しくなるように、m7を求める。
なお、本実施の形態では、ステップS14を行った後に、ステップS15及びステップS16を行う例を説明した。しかしながら、ステップS15及びステップS16は、ステップS17の前に行っておけばよい。従って、ステップS15及びステップS16をステップS14の前に行ってもよい。
次に、ステップS17である加重和演算ステップを行う。ステップS17では、取得した画像信号データに対して、求めた他の加重係数と読み出した一部の加重係数を用いて加重和を求める演算処理を行う。
ステップS15を行って記憶部から読み出した第1の加重係数m0、m1、m2、m3、及びステップS16を行って求めた第2の加重係数m4、m5、m6、m7を用いて、式(6)に示す擬似逆行列テンソルM+を復元する。そして、ステップS17では、式(7)及び式(8)に示すように、互いに隣接又は近接する2行2列の受光素子における画像信号データI=(I0、I1、I2、I3)の単純な加重和を求める演算を行う。これにより、各受光素子(画素)の縦横偏光成分L=(Lv、Lh)を求めることができる。
最後に、ステップS18である画像信号データ復元ステップを行う。ステップS18では、求めた加重和に基づいて画像信号データを復元し、復元した画像信号データを、出力インタフェース部へ送る。
次に、本実施の形態に係る撮像装置において、加重係数を記憶するために必要な記憶容量を説明する。
撮像装置の受光素子アレイとして640×480画素のVGA(Video Graphics Array)センサであるイメージセンサを用いるものとする。そして、縦偏光成分及び横偏光成分のそれぞれの成分を復元処理するために、互いに隣接又は隣接する複数の受光素子として2×2=4画素の加重和を計算するものとする。すると、加重係数の数(要素数)は8個になるため、640(横)×480(縦)×8(要素数)×4(バイト数)=約9.4MBの記憶容量を有するメモリ(記憶部)が必要となる。なお、各要素のデータビット数は、単精度浮動小数点数とし、そのデータ量は4バイトとして見積もっている。
一方、本実施の形態では、第1の加重係数m0、m1、m2、m3のみを記憶すればよく、第2の加重係数m4、m5、m6、m7を記憶する必要がない。すなわち、8個の加重係数のうち4個のみを記憶すればよい。従って、本実施の形態では、640(横)×480(縦)×4(要素数)×4(バイト数)=約4.7MBの記憶容量を有するメモリ(記憶部)があればよい。よって、全ての加重係数を記憶する場合に比べ、記憶部の記憶容量を半分に削減することができる。また、加重係数を全て記憶することなく、加重係数を全て記憶する場合と同様の結果を得ることができる。
なお、本実施の形態では、受光素子が配列する行方向に沿う光透過部の幅寸法(行方向の配列周期)は、行方向に沿う受光素子の幅寸法(行方向の配列周期)に略等しく、第2の加重係数のいずれかが、第1の加重係数のいずれかに等しい場合について説明した。しかしながら、受光素子が配列する行方向に沿う光透過部の幅寸法(行方向の配列周期)は、行方向に沿う受光素子の幅寸法(行方向の配列周期)と等しくなくてもよい。
例えば、互いに隣接又は近接する複数の受光素子の群を、2行2列に配列された4つの受光素子とする。このとき、隣接する受光素子において異なる種類の光透過部に対応する面積カバー率が等しくなるか、又は隣接する受光素子において同じ種類の光透過部に対応する面積カバー率が等しくなる場合には、本実施の形態で説明したような関係が成り立つことがある。このような場合として、例えば受光素子が配列する行方向に沿う光透過部の幅寸法(行方向の配列周期)が、行方向に沿う受光素子の幅寸法(行方向の配列周期)の1/2、1/4になるときが挙げられる。
また、本実施の形態では、縦横2種類の偏光フィルタ部が交互に配列された領域分割偏光フィルタを用いた。しかし、偏光フィルタ部は縦横2種類に限定されるものではなく、互いに異なる3種類以上の偏光方向を有する偏光フィルタ部が順番に繰返し配列されてもよい。
(第2の実施の形態)
次に、図9を参照し、本発明の第2の実施の形態に係る撮像装置について説明する。
本実施の形態に係る撮像装置は、演算処理部が、記憶部から読み出した一つの加重係数に基づいて他の加重係数を復元する点で、第1の実施の形態に係る撮像装置と相違する。
図9に示すように、擬似逆行列のテンソルM+の加重係数(要素)m0〜m7のそれぞれの値は、ずれ量dが変化するのに伴って周期的に変化する。また、互いに隣接又は近接する複数の受光素子よりなるどの群においても、図9に示す関係を満たす。そのため、上記した周期的に変化する関係を、テーブルとして記憶しておけば、テンソル(擬似逆行列)M+の各加重係数(各要素)のうち一つの加重係数を記憶することにより、他の加重係数を復元することができる。
例えば、記憶部にずれ量dが0.75であってm0の値のみを記憶したときを考える。このとき、図9に示すように、m5の値は、ずれ量dが0.75のときのm0の値に等しい。また、m1及びm4の値は、ずれ量dが1.75のときのm0の値に等しい。また、m2及びm7の値は、ずれ量dが1.25のときのm0の値に等しい。また、m3及びm6の値は、ずれ量dが0.25のときのm0の値に等しい。従って、記憶部にm0を記憶することにより、m1〜m7の値を復元することができる。
本実施の形態では、ステップS13において、記憶部にm0を記憶するとともに、図9に示すようなずれ量dとm0の関係を表すデータをテーブルとして準備しておく。そして、ステップS15においてm0の値を記憶部から読み出し、ステップS16においてテーブルを参照してm1〜m7の値を求める。これにより、更に加重係数を記憶するメモリ容量を大幅に削減することができる。
本実施の形態では、第1の加重係数のうちm0のみを記憶すればよく、第1の加重係数m1、m2、m3及び第2の加重係数m4、m5、m6、m7を記憶する必要がない。すなわち、擬似逆行列テンソルM+の8個の加重係数(要素)m0〜m7のうち1個の加重係数(要素)m0のみを記憶すればよい。従って、本実施の形態では、640(横)×480(縦)×1(要素数)×4(バイト数)=約1.2MBの記憶容量を有するメモリ(記憶部)があればよい。よって、全ての加重係数を記憶する場合に比べ、記憶部の記憶容量を1/8に削減することができる。また、加重係数を全て記憶することなく、加重係数を全て記憶する場合と同様の結果を得ることができる。
(第3の実施の形態)
次に、図10を参照し、本発明の第3の実施の形態に係る撮像装置について説明する。
図10は、図9のグラフのデータを212倍したグラフである。
本実施の形態に係る撮像装置は、記憶部が、加重係数を固定小数点数として記憶する点で、第1の実施の形態に係る撮像装置と相違する。
図9に示したように、加重係数の取り得る値の範囲は、凡そ−5×10−4〜1×10−3の範囲である。この−5×10−4〜1×10−3の範囲のデータを、従来のように単精度浮動小数点数として記憶部に記憶する場合、各加重係数のデータ量は4バイトになる。
一方、図10に示すように、加重係数のデータを212倍することによって、加重係数の取り得る値の範囲は、凡そ−2〜+4の範囲になる。この−2〜+4の範囲のデータを、1バイト又は2バイトの固定小数点数で記憶部に記憶する。これにより、記憶部が記憶するパラメータのデータ量(すなわち記憶部の記憶容量)を、従来に比べ、それぞれ1/4、1/2にすることができる。
本実施の形態では、第2の実施の形態に係る撮像装置と同様に、擬似逆行列テンソルM+の8個の加重係数(要素)m0〜m7のうち1個の加重係数(要素)m0のみを記憶部に記憶するようにし、更にその1個の加重係数を固定小数点数として記憶してもよい。8個の加重係数のうち1個の加重係数を例えば1バイト又は2バイトの固定小数点数で記憶部に記憶することにより、記憶部が記憶するパラメータのデータ量(すなわち記憶部の記憶容量)を、従来に比べ、それぞれ1/32、1/16にすることができる。
以上、本発明の好ましい実施の形態について記述したが、本発明はかかる特定の実施の形態に限定されるものではなく、特許請求の範囲内に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
また、本発明の実施の形態では、光透過フィルタとして領域分割偏光フィルタを用いた場合について説明した。しかしながら、本発明は、領域分割偏光フィルタに代え、領域分割分光フィルタ、すなわち、R(Red)、G(Green)、B(Blue)の色分解フィルタのように、透過する光の帯域波長が異なる分光フィルタを、所定の配置パターンに従って配列したカラーフィルタを設置した撮像装置にも適用することができる。この場合、受光素子アレイを用いてカラー画像信号データを取得することができる。