以下、図面を参照しながら本発明による画像処理装置および画像処理方法の実施形態を説明する。以下に説明する本発明の好ましい実施形態は、概略、次の構成を有している。
実施形態1:カラーモザイクのうち、G画素だけに偏光子を配置する。
実施形態2:カラーモザイクにおけるR、G、Bの全ての画素に偏光子を配置する。
実施形態3:カラーモザイクにおけるGとRまたはGとBのみに偏光子を配置する。
実施形態4:実施形態1と同様に4種類の偏光子がG画素のみに設けられているが、隣接する3種類の偏光子を選択して偏光情報取得とカラー補間を行う。
(実施形態1)
図1は、本明細書で説明する本発明の実施形態のすべてに共通する基本的な構成を示すブロック図である。本実施形態の装置は、被写体からリアルタイムにカラー画像情報を取得すると同時に偏光画像情報を取得し、2種類の偏光画像(偏光度画像ρおよび偏光位相画像φ)として出力することができる。偏光度画像ρと偏光位相画像φは静止、動画のどちらの場合もありえる。
図1に示すレンズ100を通った入射光は、カラー偏光取得部101に入射する。この入射光から、カラー偏光取得部101はカラー動画像と偏光情報画像のデータを同時に取得する。カラー偏光取得部101から出力されるカラーモザイク画像のデータは、モザイク画像フレームメモリ107に蓄積される。
モザイク画像フレームメモリ107からモザイク画像のデータが順に読み出され、カラーモザイク補間部102に送られて補間処理される。補間処理の結果は、一画素につき、RGBの3プレーン構成からなるカラー画像フレームメモリ104に蓄積され、適宜読み出しも行われる。
モザイク画像フレームメモリ107からは、画素信号が順に読み出され、偏光情報処理部103に送られる。これらの画素信号は、偏光情報処理部103で処理され、偏光度画像フレームメモリ105および偏光位相画像フレームメモリ106に格納される。偏光度画像フレームメモリ105からは偏光度画像(ρ)のデータが出力され、偏光位相画像フレームメモリ106から偏光位相画像(φ)のデータが出力される。
図2は、カラー偏光取得部101の基本的な構成を示す模式図である。図示されている例では、カラーモザイクフィルタ201およびパターン化偏光子202が、撮像素子画素203の前面に重ねて設置されている。カラーモザイクフィルタ201とパターン化偏光子202の重ね順番は逆であってもよい。入射光204は、カラーモザイクフィルタ201およびパターン化偏光子202を透過して撮像素子に到達し、撮像素子画素203によって輝度が画素単位で観測される。本実施形態によれば、単板カラー撮像素子を用いてカラー情報および偏光情報の両方を同時に取得することができる。なお、パターン化偏光子202は、後に詳しく説明するように、透過偏波面の角度が相互に異なる偏光子単位(セグメント)を含む多数の偏光子単位によって構成される。個々の偏光子単位は、典型的には1画素に相当する大きさを有しているが、偏光子単位はカラーモザイクフィルタ201の全ての画素に配置する必要はない。
このようなパターン化偏光子202は、例えば非特許文献2に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル(振動面)を持つ光がTE波(Transverse Electric Wave, 電場成分が入射面に対し横向き)、垂直な電場ベクトル(振動面)を持つ光がTM波(Transverse Magnetic Wave, 磁場成分が入射面に対し横向き)となる。そして、偏光子単位は、各波長帯域においてTM波が透過、TE波が反射(透過せず)という偏光特性を示す。
図3は、パターン化偏光子202の各偏光子単位に模式的に描かれた斜め線の意味を示している。図3に示される各画素内の斜め線は、各画素上に設置された微小偏光板(偏光子単位)の偏光主軸方向を示している。ここで、「偏光主軸」とは、偏光子を透過する光の偏波面(透過偏波面)に平行な軸である。
偏光子単位は主軸方向に振動面を有する光を透過し、それに垂直な振動面を有する光を遮断する。本明細書では、偏光子番号1〜4の偏光子単位に、それぞれ、角度Ψ=0°、45°、90°、135°の偏光主軸を割り当てている。偏光子単位の偏光透過率は、利用する光の波長に依存するため、カラーモザイクフィルタの透過波長帯にあわせて設計する。例えば符合「G1」で特定される偏光子単位は、「G」の波長帯域において、主軸方向が「1」(すなわち、角度Ψ=0°)の方向の偏光を透過させるように設計されている。
図4(a)は、本実施形態のカラー偏光取得部101における縦8個×横8個の合計16個の画素の配置を示している。図4(a)の例では、ベイヤ型カラーモザイクフィルタにおけるG画素の位置に「G1」〜「G4」の4種類の偏光子単位が配置されているが、R画素およびB画素の位置には偏光子単位が配置されていない。図4(a)には、8×8=64個の画素のみが示されているが、実際のカラー偏光取得部101では、図4(a)に示す64個の画素ブロックと同一の多数の画素ブロックが撮像面に平行な面内で周期的に配列されている。
図4(b)では、図4(a)に示される画素ブロックからR画素およびB画素の記載を省略し、かつ、G画素における偏光子単位の主軸方向を規定する数字を示している。すなわち、図4(b)における番号「1」〜「4」は、それぞれ「G1」〜「G4」の偏光子単位が配置された画素を示す。番号「1」〜「4」が示されていない空白の画素は、R画素およびB画素のいずれか一方であり、前述したように、これらの画素には偏光子単位が設けられていないため、「非偏光画素」と称することができる。
図4(b)に示される配置では、各々が4×4=16個の画素から構成される2つのブロック(A)と、同様に各々が4×4=16個の画素から構成される2つブロック(B)とが組み合わされている。この配置は、以下の特徴点を有している。
(1−1) 組401に含まれる非偏光画素は、その近傍4連結位置に番号「1」〜「4」で示される異なる4種の偏光画素が位置している。なお、「近傍4連結位置」とは、中心画像に対して辺が隣接する十文字の位置にある4画素を意味する。同様のことが、他の任意の非偏光画素にも当てはまる。すなわち、何れの非偏光画素も、異なる4種の偏光画素が近傍4連結位置に位置している。このように、非偏光画素の近傍に4つの異なる偏光画素が存在するため、非偏光画素の位置における偏光情報を高い精度で得ることが可能になる。
(1−2) 画素の組402〜405は、それぞれ、中心に位置する偏光画素、および、その近傍8連結(斜め)位置の4つの偏光画素の合計5つの偏光画素から構成されている。これらの組402〜405の各々に含まれる合計5つの画素に与えられる番号には、番号「1」〜「4」の全てが必ず含まれている。また、5つの画素に与えられる番号のうちの1つは重複する。たとえば組402に含まれる5つの画素には、それぞれ、番号「1」、「2」、「3」、「3」、「4」が割り当てられており、番号「3」が重複している。このように、偏光画素の近傍8連結位置には、全ての種類のパターン化偏光子が存在しているため、偏光画素の位置における偏光情報も高い精度で得ることができる。
(1−3) 図4(b)に示す8×8=64個の画素配置を1個の単位周期パターンとして上下左右に周期的に繰り返して敷き詰めることにより、単位周期パターンの境界付近における連続性を維持して撮像面の全体を埋め尽くすことができる。
図5(a)および(b)は、上記画素配置の特徴を別の視点から説明するための図である。図5(a)は、図4の画素配置と同一の画素配置を示しており、図5(b)は、同様の性質を有する別の画素配置例を示している。これらの配置においては、相互に平行な複数の対角直線の各々の上に2種の偏光画素が交互に別位相で整列している。たとえば、対角直線505〜508には、それぞれ、1−2−1−2−・・・、3−4−3−4−・・・、2−1−2−1・・・、4−3−4−3・・・、という並びが繰り返されている。同様に、対角直線514〜517では、1−3−1−3・・・、2−4−2−4-・・・、3−1−3−1-・・・、4−2−4−2・・・のように2種の画素が位相を変えながら並んでいる。
図6(a)および(b)は、図4の画素配置に類似する画素配置を示している。ただし、図6(a)および(b)に示される配置では、偏光画素の近傍8連結位置における偏光画素の種類が4未満であるため、本実施形態1に採用することができない。すなわち、図6(a)および(b)に示される配置は、上記の特徴点(1−1)〜(1−3)のうち、特徴点質(1−1)および(1−3)を備えているが、特徴点(1−2)を備えていない。例えば図6(a)における偏光画素620の近傍8連結位置には、番号「1」、「4」の偏光画素が存在しておらず、図6(b)における偏光画素630の近傍8連結位置には、番号「1」、「2」の偏光画素が存在していない。対角直線601〜604には、それぞれ、1−2−1−2−・・・、3−4−3−4−・・・、2−1−2−1・・・、3−4−3−4・・・、という並びが繰り返され、3−4−6−4の並びに位相の変化がない。図6(b)の配置でも同様に、対角直線610、612における1−3−1−3の並びに位相の変化がない。
図7は、図4の画素配置に類似する他の画素配置を示している。この配置も、偏光画素の近傍8連結位置に偏光画素の種類が不足しているため、本発明の実施に採用できない。これは、各々が4×4=16個の画素からなるブロックを敷き詰めた配置を示しているが、この配置も、上記特徴点のうち特徴点(1−1)および(1−3)を備えているが、特徴点(1−2)を備えていない。例えば、図7に示す組502では、番号「3」で特定される偏光画素の近傍8連結位置には、番号「2」「4」の2種類の偏光画素しか存在しない。このような配置では、非偏光画素(白マス)の偏光情報は、その周囲の偏光画素から適切に得ることができるが、偏光画素の偏光情報は、その周囲の偏光画素から適切に得ることができないという問題がある。
以上の考察からわかるように、本実施形態では、前述の3つの特徴点を兼ね備える画素配置として、図4または図5に示す例を好適に採用することができる。以下の説明では、図4に示す画素配置を採用した場合について説明する。
図8および図10を参照して、本実施形態のパターン化偏光子を用いて偏光情報およびカラー情報を取得する原理および処理を説明する。図8および図10は、いずれも、図4に示す画素配置から4×4=16個の画素からなる1ブロックを抽出し、ブロック内における画素位置を特定するための添え字(x、y)を記載したものである。添え字xおよびyは、それぞれ、1〜4の整数であり、ブロック内におけるマトリックスの行および列を識別する数字である。
<R画素位置の偏光情報>
図8のR33を例に説明する。図8において、R11、R13、R31、R33は、それぞれ、画素座標(x:横、y:縦)=(1、1)、(1、3)、(3、1)、(3、3)におけるR画素を示す。また、B22、B24、B42、B44は、それぞれ、画素座標(2、2)、(2、4)、(4、2)、(4、4)におけるB画素を示す。これらR画素およびB画素は、非偏光画素である。
一方、(G1)12、(G3)14、(G2)21、(G4)23、(G3)32、(G2)34、(G4)41、(G1)43は、それぞれ、画素座標(1、2)のG1画素、(1、4)のG3画素、(2、1)のG2画素、(2、3)のG4画素、(3、2)のG3画素、(3、4)のG2画素、(4、1)のG4画素、(4、3)のG1画素を示す。G1〜G4画素は、それぞれ、偏光主軸の向きが異なる4種類の偏光画素である。
図8に示すR11などの記号は、画素位置を特定するとともに、その画素位置における観測輝度を示すものとする。
図8に示されるように、記号を円で囲んだ非偏光画素R33の近傍4連結位置には、偏光主軸の方向が異なる4種類の偏光画素、すなわち(G1)43、(G2)34、(G3)32、(G4)23が配置されている。これら4個の偏光画素Gは、何れも、非偏光画素R33から空間的に非常に近い位置に存在しているため、これら4個の偏光画素Gから得られる偏光情報に基づいて、非偏光画素R33における偏光情報を取得することが可能である。
図9は、方向が異なる偏光主軸(Ψi=0°、45°、90°、135°)を有する4種類の偏光子を透過したG光の輝度901〜904を示している。ここで、偏光主軸の回転角ψがψiのときにおける観測輝度をIiとする。ただし、「i」は、1以上N以下の整数、「N」はサンプル数とする、図7に示す例では、N=4であるため、i=1、2、3、4となる。図9には、4個のG画素のサンプル(ψi、Ii)に対応する輝度901〜904が示されている。
偏光主軸の角度Ψiと輝度901〜904との関係は、正弦関数によって表現される。この輝度を示す4つの点は、1本の正弦関数カーブ上にちょうど乗るように描かれているが、正弦関数は、実際の観測によって得られる輝度を示す4点に対して、最小二乗法による最適値として決定される。
なお、本明細書における「偏光情報」とは、輝度の偏光主軸角度に対する依存性を示す正弦関数カーブにおける振幅変調度ρおよび位相情報φを意味するものとする。
偏光子単位の偏光主軸の角ψ(図3参照)に対する観測輝度は、以下の式で表される。
ここで図9に示すようにA、B、Cは定数であり、それぞれ、偏光輝度の変動カーブの振幅、位相、平均値を表現している。(式1)は、以下のように展開できる。
ただし、AおよびBは、それぞれ、以下の(式3)および(式4)で示される。
4画素のサンプル(ψ
i I
i)において、以下の(式5)を最小にするA、B、Cを求めれば、正弦関数(式1)を決定できる。ただし、I
iは、偏光板回転角ψ
i時の観測輝度を示し、Nはサンプル数(ここでは4)である。
ここで、番号「1」〜「4」で特定される偏光子単位における偏光主軸の角度がψi=0°、45°、90°、135°のときに限り、以下の(式6)〜(式8)に示すように、最小2乗法を用いることなく、直接、観測輝度から(式5)の結果を求めることができる。
以上の処理により、正弦関数近似のA、B、Cの3パラメータが確定する。こうして、各画素における偏光度ρを示す偏光度画像と各画素における偏光位相φを示す偏光位相画像が求められる。偏光度ρは、該当画素の光が偏光している程度を表し、偏光位相φは、図9の近似された正弦関数の最大値をとる角度位置を表す。この角度は、被写体からの反射光が内部拡散反射を起こしている場合の被写体の表面法線が存在する面の角度を、画像面内において表現する。なお、偏光主軸の角度は、0°と180°(π)は同一である。
値ρ、φ(0≦φ≦π)は、それぞれ、以下の(式9)および(式10)によって算出される。
<R画素位置のカラー輝度の補間>
R画素において補間すべきカラー輝度はBおよびGの輝度である。B輝度については、図8のR
33の近傍8連結位置にある4点のB画素における輝度の平均値をB輝度の補間値とする。
G輝度については、まず、R33の周囲4連結位置にある4点のG画素(偏光画素)の輝度の平均をとる。このように、180°に対して間隔角度θとなる(180/θ)種類の偏光画素の輝度を全て加算して平均操作を行うと、図9の輝度901と輝度903、および輝度902と輝度904のように正弦関数上で位相が正反対の2個のサンプル点が加算平均されることになるため、正弦関数の平均値Cに等しくなる。すなわち、偏光による輝度の変動の効果が打ち消されて平均輝度が算出されるので、これをG輝度の補間値とすればよい。ただし偏光板を透過した輝度は偏光板が無い場合に比較して輝度が1/2に減衰するため、2倍の補正は必要になる。
上記の説明では、簡単のため、偏光子単位の最大透過率Tを1(100%)としている。このため偏光子が無い状態のG輝度値と、偏光子を透過した後で偏光効果が打ち消された平均輝度とが等しいとした。しかし、100%透過率が実現できない現実の偏光子単位の場合、上記のG補間値は偏光子単位の最大透過率Tを用いて補正する必要があり、Gの補間値は以下のようになる。
なお、これらの補間式は線形補間に基づくものである。ベイヤ型モザイクフィルタの補間方式としては、従来、輝度勾配を用いる手法などがあるため、これらの手法を適宜利用すれば、より高い精度での補間が可能である。
<B画素位置の偏光情報>
図8のB22を例に説明する。B画素であるB22の近傍には、偏光主軸の方向が異なる4つの偏光画素(G1)12、(G2)21、(G3)32、(G4)23が配置されているため、R画素について説明した方法と同様の方法により、偏光情報が得られる。
<B画素位置のカラー輝度の補間>
B画素において、補間すべきカラー輝度は、RおよびGの輝度である。Rの輝度については、以下の(式13)に示すように、図8のB
22の近傍8連結位置に存在する4種のR画素における観測輝度の平均をとってR輝度の補間値とする。
Gの輝度については、以下の(式14)に示すように、4種の偏光画素の輝度平均をとって偏光効果を打ち消してGの補間値とすればよい。
なお、これらの補間式は線形補間に基づくものであるが、前述したように他の公知の手法を適宜利用すれば、より高精度の補間が可能である。
<G画素位置の偏光情報>
図10の(G4)23を例に説明する。図10に示す添え字の意味などは、図8に示すものと同一である。
(G4)23の近傍8連結位置には偏光主軸方向が異なる4種の偏光画素(G1)12、(G3)14、(G3)32、(G2)34が存在する。このため、これらの偏光画素において得られる観測輝度に基づいて、図9に示す輝度カーブを決定すれば、偏光情報を得ることができる。ただし、R、B画素の場合と異なり、偏光画素G3が2つ含まれるため、2つの偏光情報が重複している。このため、以下の2つの手法のいずれを用いてもよい。
第1の手法としては、(G3)14または(G3)32のいずれか1個の情報を捨て、異なる4種の異なるパターン化偏光子の情報のみを用いる。この場合、他の色の画素と同様に、(式6)〜(式8)を用いて輝度カーブを決定する。この手法は、計算が単純になる利点がある。
第2の手法は、重複する2個を含んだ5点の観測輝度から、(式5)の最小2乗法を用いて輝度カーブを決定するものである。
<G画素位置のカラー輝度>
G画素は、偏光子単位が設けられた画素であるため、当該画素位置では、RおよびBの輝度のほかに、本来のG輝度も算出することが必要である。
まず、RおよびBの輝度補間から説明する。図4からわかるように、G画素の周辺(き画素の上下または左右)には、R画素およびB画素が必ず存在している。ここでも、図10の(G4)
23画素を例に説明する。(G4)
23の画素の上下にはR画素が、左右にはB画素が2画素ずつ存在している。このため、2つのR画素および2つのB画素の各々を平均化すれば、(G4)
23の画素位置におけるRおよびBの平均輝度を求めることができる。すなわち、G画素位置におけるR輝度およびB輝度については、以下の(式15)に示すようにして線形補間を行うことができる。
次に、G輝度について説明する。
G画素の近傍4連結位置、8連結位置のいずれにも補間に使えそうなG画素は存在しない。そのため、既に補間されたR画素とB画素位置におけるG補間値を用いて以下の(式16)に示すようにして補間する。
次に、図11を参照しながら、図1におけるカラーモザイク補間部102の動作を説明する。
まず、カラー偏光取得部101で取得されたカラーモザイク画像のデータがモザイク画像フレームメモリ107に格納されているものとする。ステップS1101においてモザイク画像の次の注目画素が読み出され、同時に近傍4連結位置の画素の輝度も読み出される。
ステップS1102において、注目画素がR画素であれば、ステップS1103に進む。ステップS1103では、(式11)(式12)を用いてBおよびG輝度が補間され、カラー画像フレームメモリ104の注目画素位置のBおよびGプレーンに格納される。同時にRプレーンには、この注目画素のR輝度がそのまま格納されるため、(RGB)のフルカラー輝度が全てカラー画像フレームメモリ104に格納される。
次に、ステップS1104において、注目画素がB画素であれば、ステップS105に進む。ステップS1105では、(式13)(式14)を用いてRおよびG輝度が補間され、カラー画像フレームメモリ104の注目画素位置のRおよびGプレーンに格納される。同時にBプレーンには、この注目画素のB輝度がそのまま格納されるため、(RGB)のフルカラー輝度が全て全てカラー画像フレームメモリ104に格納される。
次に、注目画素がG画素の場合、ステップS1106に進む。ステップS1106では、(式15)を用いてRおよびB輝度が補間されて格納される。ここでは、周囲のG輝度が補間されていないため、Gの補間は不可能である。以上の処理がステップS1107で全画素が終了するまで繰り返される。
次に、ステップS1108において、補間が済んだカラー画像フレームメモリ104からG輝度が未定の画素と近傍の確定したG輝度とを取得する。ステップS1109においては、(式16)を用いてG画素輝度を補間し、再度、カラー画像フレームメモリ104に格納する。ステップS1110において、画像に含まるG画素の全てのG輝度が確定するまで上記の処理を繰り返す。
以上の処理の結果、各画素における(RGB)輝度値を有するカラー輝度画像I(x、y)のデータがカラー画像フレームメモリ104内に生成される。このI(x、y)の画像サイズは、その作成過程からわかるように、カラーモザイク画像の画像サイズに等しくなる。結果として、偏光子単位が存在しながらも、通常の単板カラーモザイクを使った補間画像と同一の色再現性を有し、かつ解像度も低下しないフルカラー画像が補間生成できる。
次に、図12を参照しながら、図1の偏光情報処理部103の動作を説明する。
まず、カラー偏光取得部101で取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ107に格納されているものとする。ステップS1201において、モザイク画像の次の注目画素が読みだされ、同時に近傍4連結位置の画素輝度も読み出される。ステップS1202にて注目画素がR画素の場合、ステップS1203に進む。ステップS1203では、R画素の近傍4連結位置におけるG1〜G4画素を用いて、(式6)〜(式8)から正弦関数パラメータを算出する。
次に、ステップS1204において、注目画素がB画素の場合にも、同様にステップS1205において近傍4連結位置におけるG1〜G4画素を用いて(式6)〜(式8)から正弦関数パラメータを算出する。
注目画素がG画素の場合には、ステップS1206において、G画素位置で(式6)〜(式8)に基づき近傍G1からG4を用いて正弦関数パラメータを決定してもよい。あるいは、前述したように、G3の情報が2個重複するため、重複する2個を含んだ5点の情報から(式5)の最小2乗法を経て輝度変化カーブを決定してもよい。
ステップS1207において、各画素について決定された正弦関数パラメータA、B、Cから(式9)(式10)を用いて偏光度ρと偏光位相φを作成し、偏光画像フレームメモリ105と偏光位相画像フレームメモリ106に当該画素と対応付けて格納する。以上の処理は、ステップS1208でモザイク画像フレームメモリの全画素が終了するまで繰り返される。
こうして、偏光度画像フレームメモリ105内に偏光度画像ρ(x,y)のデータが、また偏光位相画像フレームメモリ106内に偏光位相画像φ(x,y)のデータが生成される。これらの画像のサイズは、その作成過程からわかるように、カラーモザイク画像の画像サイズに等しくなる。結果として、G画素にのみパターン化偏光子を配置しただけにもかかわらず、フルカラー画像I(x、y)と同じ解像度で偏光情報を得ることが可能になる。
なお、図11および図12の処理は、互いに独立しているため、これらの処理を並列的に実行しても良い。また、これらの処理は、ソフトウェアで実施されてもよく、同様の処理をハードウェアで実行してもよい。
本実施形態では、フォトニック結晶から形成したパターン化偏光子を用いているが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を用いてもよい。
図13(a)は、球体であるプラスチック製ボールの被写体の入力画像である。図13(b)および(c)は、それぞれ、図13(a)の被写体に対する、偏光度画像ρ(x、y)および偏光位相画像φ(x、y)の例を示している。図13(a)、(b)では、各画像において、偏光度ρ、偏光位相φが大きいほど、高い明度を示すように表示されている。
図14(a)および(b)は、図13(b)および(c)の画像を説明するための模式図である。偏光度画像ρ(x、y)では、カメラの視線方向とボールの表面法線とが同一になる中心付近から方位1401の向きに画素位置が離れるほど、その画素の偏光度ρは増加する。また、ボールの表面法線がカメラの視線方向に対して90°に近くなるボールの遮蔽エッジ(背景との境界)付近では、偏光度ρが最大になっている。図14(a)では、この偏光度ρを等高線で模式的に表現した。
図14(b)の偏光位相画像φ(x、y)では、位相=0°を示す画像の天地方向の垂線に対して偏光位相が180°周期で球体の周囲を反時計回りに矢印1402、1403の向きに単調増加していることがわかる。これら偏光情報画像によれば、偏光度ρと偏光位相φが、被写体の表面法線の2自由度の向きに相当していることがよくわかる。すなわち偏光情報が被写体の形状を推定することが可能になる。
なお、本実施形態では、被写体の反射光のうち拡散反射成分の偏光度画像と偏光位相画像を出力としているが、これは鏡面反射成分でもよく、その場合偏光位相φが90°異なるものとなる。
また偏光情報としては、(ρ、φ)という組み合わせの他、図5の正弦関数から得られる情報であれば、他の情報の組であってもよく、その情報から生成される画像でもよい。たとえば偏光情報から被写体の拡散反射成分と鏡面反射成分を分離することが応用面で重要である。これを本発明で実行するには、鏡面反射領域の偏光に対してρ(x、y)に一定の比率を乗じて原画像から減算すればよい。このようにして生成された画像の例を図15(a)から(d)に示す。
(実施形態2)
以下、本発明による画像処理装置の第2の実施形態を説明する。
本実施形態の基本的構成も、図1のブロック図で示されるため、ここでも適宜、図1を参照する。本実施形態の画像処理装置で特徴的な点は、R、G、Bの全ての画素にパターン化偏光子を構成する偏光子単位が設けられていることにある。
図16(a)は、本実施形態におけるカラー偏光取得部101の画素配置を示す図である。実施形態1における画素配置と異なる点は、G画素のみならず、R画素およびB画素にも偏光子単位が設けられていることにある。図16(b)は、G画素に隣接するR画素またはB画素のうち、G画素の偏光主軸に平行な偏光主軸を有する画素と当該G画素とを結ぶ線分群を図16(a)に追加して記載した図面である。
この配列は、ベイヤ型カラーモザイクフィルタを基本とした配列であって、G画素の位置には、番号1〜4によって特定される偏光主軸方向を有する4種類の偏光画素G1〜G4が配置されている。G1〜G4の画素配置は、図4に示したG1〜G4の画素配置と同一である。本実施形態の画素配置が図4の画素配置と異なる点は、G画素に偏光子単位を設けることに加えて、R1(偏光主軸方向=0°)およびR3(偏光主軸方向=90°)をR画素の位置に配置するとともに、B2(偏光主軸方向=45°)およびB4(偏光主軸方向=135°)をB画素の位置に配置していることにある。
この画素配置の特徴点は、以下のとおりである。
(2−1) R画素およびB画素の各々について、偏光主軸の角度が90°異なる2種類の偏光子単位を設けることにより偏光の位相が90°異なる偏光画素が選択的に配置されている。
(2−2) G1〜G4の全てのG画素の近傍4連結位置には、当該G画素の偏光主軸の角度と同一角度の偏光主軸を有するB画素またはR画素が存在する。例えば、G2の近傍4連結位置にはR2が存在する、図16(b)に示される直線群の各々は、このような対を形成する2つの画素の結合を示す線分である。
(2−3) G1〜G4の全てのG画素の近傍4連結位置には、番号「1」、「2」、「3」、「4」で特定される偏光主軸を有する偏光画素が存在する。図16の配置では、注目画素を含む5つの画素の組が点線で囲まれている。これらの点線で囲まれた5つの画素の中心位置には、G画素が存在し、G画素の近傍4連結位置には、RおよびBの偏光画素が存在している。例えばG4画素の近傍4連結位置には、R1、B2、R3、B4の4つの偏光画素が存在しており、これら4つの偏光画素における偏光主軸の角度は、それぞれ、0°、45°、90°、135°である。
特徴点(2−1)による効果は、偏光の位相が90°異なる2つの偏光画素の観測輝度を加算平均すると、偏光の効果が打ち消されため、通常のカラー輝度が得られることにある。
特徴点(2−2)による効果は、後述するように、(式20)、(式23)、(式24)などによって表現される補間を行うことが可能になる。すなわち、周囲に同色がない場合に同じ画素位置で既に補間された他のカラー輝度値から偏光情報の統合化を実施する場合重要になる。
特徴点(2−3)による効果は、G画素で偏光情報を算出する場合に重要になる。
図17(a)および(b)は、上記特徴点を有する別の配置例を示している。図17(a)および(b)に示される符号や直線群は、図16(a)および(b)について説明した通りである。
実際の装置では、上記の8×8画素からなる単位周期が上下左右に繰り返して配置される。
図18(a)から(c)は、それぞれ、B、G、R偏光画素の波長特性を模式的に示すグラフである。各グラフの縦軸は透過光の強度、横軸は波長である。B、G、R用の偏光画素は、B、G、Rの各波長帯域においてTM波を透過し、TE波を反射(透過せず)する偏光特性を有している。TM波は、磁場成分が入射面に対して横向きの波であり、TE波は、電場成分が入射面に対して横向きの波である。
図18(a)には、B偏光画像の偏光特性1802、1803と、B用カラーフィルタの透過特性1801とが示されている。偏光特性1802、1803は、それぞれ、TM波およびTE波の透過率を示している。
図18(b)には、G偏光画像の偏光特性1805、1806と、G用のカラーフィルタの透過特性1804とが示されている。偏光特性1805、1806は、それぞれ、TM波およびTE波の透過率を示している。
図18(c)には、R偏光画像の偏光特性1808、1809と、R用カラーフィルタの透過特性1807とが示されている。偏光特性1808、1809は、それぞれ、TM波およびTE波の透過率を示している。
図18(a)から(c)に示すような特性は、例えば非特許文献2に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル振動面を持つ光がTE波、垂直な電場ベクトル振動面を持つ光がTM波となる。
本実施形態で重要な点は、図18(a)から(c)に示すように、B、G、Rの透過波長帯域の各々において偏光分離特性を示すパターン化偏光子を用いることにある。
本明細書では、偏光画素における偏光主軸の方位を表示する4つの数字「1、2、3、4」と、カラーを区別するため3つの符号「R、G、B」の組合せ(例えば「R1」や「G1」など)を用いて、偏光画素の特性を示すこととする。偏光画素R1および偏光画素G1は、数字が同じであるため、偏光主軸の方向は一致しているが、RGB符号が異なるため、透過する光の波長帯域が異なる偏光画素に相当している。本実施形態では、このような偏光画素の配列を、図2に示すカラーフィルタ201およびパターン化偏光子202の組合せによって実現している。
このような特性を有する偏光子単位の偏光主軸角度を調整して配列することにより、図16や図17に示すようカラーおよび偏光に関する複合モザイク配列が実現される。このような波長特性は、第1実施形態においても重要であったが、RGB全てのカラー画素に偏光子単位が設置される第2実施形態ではさらに重要になる。
以下、パターン化偏光子の配置図として図19および図21を用い、偏光情報およびカラー情報の取得原理および処理の説明を行う。図19および図21は、いずれも、図16の配置から左上4×4=16個の画素からなるブロックを抜き出し、2次元の画素位置(x、y)を添え字として記載したものである
<R画素位置の偏光情報>
図19の(R1)33を例にとり説明する。
図19において、(R1)11、(R3)13、・・・(B2)22などは、各々座標(x:横、y:縦)=(1、1)におけるR1の偏光画素、(1、3)におけるR3の偏光画素、(2、2)におけるB2の偏光画素を示す。これらの記号は、前述した通り、画素を示すとともに、数式中では該当画素で観測される輝度の大きさを示すものとする。
(R1)33の近傍4連結位置には、G1からG4までの同色で、かつ偏光主軸角度が異なる4種類の偏光画素(G1)43、(G2)34、(G3)32、(G4)23が配置されている。実施形態1について説明した方法と同様に、これらの偏光画素の観測輝度から(R1)33における偏光情報が得られる。このことは、(R1)33で示される位置のR画素に限られず、R1、R3の画素位置に存在する全てのR画素について成り立つ。
<R画素位置の輝度>
本実施形態のR画素には偏光子単位が設けられているため、R画素においては、GおよびBの輝度だけではなく、Rの輝度を含む全てのカラー輝度を推定する必要がある。
G輝度は、R画素の周辺に位置するG1〜G4の4画素から求めることができる。G1〜G4の4画素の各々で観測される輝度は、偏光子単位を透過したG光の輝度であるが、G1〜G4の4画素の偏光主軸角度は45°ずつ異なるため、これらの画素における観測輝度を平均する操作により、偏光の効果が打ち消されてG光の平均輝度が求められる。
上記の説明では、簡単のため、偏光子単位の最大透過率Tを1(100%)としている。このため偏光子が無い状態のG輝度値と、偏光子を透過した後で偏光効果が打ち消された平均輝度とが等しいとした。しかし、100%透過率が実現できない現実の偏光子単位の場合、上記のG補間値は偏光子単位の最大透過率Tを用いて補正する必要があり、(R1)
33の画素位置におけるG輝度の補間値は以下のようになる。
同様にB輝度は、90°位相が異なるB2およびB4の画素がR画素の近傍8連結位置に存在するため、平均操作により偏光効果が打ち消されて求められる。ここで、偏光子単位におけるB光の最大透過率Tを用いると、(R1)
33の画素位置におけるB輝度の補間値は、以下の(式18)に示すように表される。なお、ここでは、偏光子単位の最大透過率Tは、R、G、Bについて同一に設計するものと仮定するが、このことは本発明にとって必須の事項ではない。
次に、R輝度の補間を説明する。R画素の周囲には補間に使えるRの偏光画素が存在しない。そのため、本実施形態では、カラーに分散した偏光情報の統合化を行う。以下、この統合化を説明する。
図20に示すカーブ2001、2002、2003は、それぞれ、R、G、Bの輝度変化を示している。グラフの縦軸は輝度I、横軸は偏光主軸角度Ψである。図20に示される「R1」の黒点、「G1」、「G2」、「G3」、「G4」の白点は、それぞれ、図19の(R1)33、および、その周辺に位置する4つのG画素で観測された輝度値を示している。ここでは、偏光子単位の最大透過率が100%の場合を想定しており、ライン2004、2005、2006は、それぞれ、R、G、Bの平均輝度(偏光子が無い場合に観測される輝度の平均値)を示す。
自然界にある被写体は様々である。しかし、金属以外の誘電体を想定した場合、照明が被写体に照射されて得られる反射光の性質は、フレネル反射の理論で記述される。そのため、鏡面反射および拡散反射のいずれの場合においても、その偏光の性質は、R、G、Bの波長帯域で大きく変化はしない。すなわち、R、G、Bの輝度変動を示す正弦関数は、すべて、周期180°であり、等しい位相で変化する。したがって、(式9)の偏光度ρの関係式を用いて、R、G、Bの輝度変化を示すI
R(Ψ)、I
G(Ψ)、I
B(Ψ)は、それぞれ、(式19)で表現できる。
屈折率η、光の入射角および出射角は、R、G、Bの間で実質的に一定であるため、偏光度ρもR、G、Bの間で一定となる。このため、(式19)における3種類の正弦関数の変動部分は、R、G、Bに共通となる。
その結果、図20の3本の偏光輝度のカーブ2001、2002、2003の輝度比率は、平均輝度2004、2005、2006の比率と等しくなる。すなわち、R1とG1の輝度比率は、RとGの輝度比率に等しい。
上記の性質を利用すると、R1画素の輝度値とR1画素に隣接するG1画素の輝度値の比率を、既に求めたGの輝度補間値(式17で定まる値)に乗算することにより、Rの平均輝度(パターン化偏光子が無い場合の理想輝度)を推定できる。最大透過率Tの効果は既にGの輝度補間値に含まれているため、(R1)
33の画素位置におけるR輝度は、以下の(式20)で表される。
以上、R1画素の例について説明してきたが、R3画素についても同様に、周囲から角度が90°異なるG輝度およびB輝度については空間的に補間し、R輝度についてはR3およびG3画素の輝度比を用いて求めることができる。
<B画素位置の偏光情報>
ここでは、図19の(B2)22を例に説明する。偏光情報は、R画素と同様に、周辺のG1〜G4画素における観測輝度から得られるため、説明は省略する。
<B画素位置のカラー輝度>
図19の(B2)22を例に説明する。R、G、B全てのカラー輝度を求める必要がある。
まず、偏光主軸の角度が90°異なるR1およびR3画素が(B2)
22の周辺に存在するため、(B2)
22におけるR輝度は、(式21)に示すように、R1およびR3の画素で得られる観測輝度を平均することにより、偏光の効果を打ち消して求めることができる。
また、Gの輝度については、(式22)に示すように、周辺に位置するG1〜G4の4つの画素で得られる観測輝度を平均することにより、偏光の効果を打ち消して求めることができる。
なお、(B2)
22の周辺には、B輝度の空間的なモザイク補間に使えるB画素が存在しない。しかし、以下の(式23)によれば、G2の輝度値と既に求めたGの輝度補間値との関係に基づいて、B2の輝度値からBの平均輝度(パターン化偏光子が無い場合の理想輝度)を決定することができる。
以上の事項は、B2の例について説明したが、B4の画素についても同様に成立する。すなわち、B4の周囲から角度が45°および90°だけ偏光主軸角度が異なる対であるG輝度、R輝度については空間補間し、B輝度についてはB4およびG4の輝度比を用いて求められる。
<G画素位置の偏光情報>
図21の(G4)23を例に説明する。この画素の近傍4連結位置には、R1、R3、B2、B4が存在する。しかし、R光およびB光の偏光主軸角度は、それぞれ、2つしかない。正弦関数パラメータA、B、Cを決定するには、最低3つの異なる偏光主軸角度における観測輝度が必要であるため、同一カラーについて2つの偏光主軸角度における輝度しか観測されない場合、正弦関数パラメータを決定できない。この問題を解決するため、(式19)を用いる。
図22は、(G4)
23の近傍4連結位置における4つの偏光画素から得られる観測輝度と、理論的な正弦関数カーブを記載している。2つの黒点は、それぞれ、R1およびR3の輝度を示し、斜線が付された2つの点は、それぞれ、(B2)
22および(B4)
24の輝度を示している。以下の(式24)に示すように、係数Kを(B2)
22および(B4)
24の観測輝度に乗算することにより、輝度を補正する。
この補正の結果、図22の矢印2207に示すように、Rのカーブ上に4点R1、R3、B2’、B4’が乗ることになる。この4点を用いて正弦カーブを決定することができるため、この正弦カーブに基づいて偏光情報を得ることが可能になる。
上記の事項は、G4の例について説明したが、G1〜G3についても全く同様に成立する。
<G画素位置の輝度>
図21の(G4)23を例にとり、R、G、Bのカラー輝度を以下のように補間、推定する。
まず、(G4)
23の上下隣接位置に偏光主軸角度が90°異なる偏光画素であるR1およびR3が存在するため、これらの画素位置における観測輝度を平均することにより、偏光効果を打ち消し、(G4)
23におけるR輝度を得ることができる。ここで、Tは、偏光子単位の最大透過率である。
同様に、(G4)
23におけるB輝度は、(G4)
23の左右に隣接するB2およびB4の偏光画素で観測される輝度を平均すれば、偏光効果を打ち消した補間値を得ることができる。
次にG画素の輝度を説明する。この画素がG4画素であるため、隣接するB4画素の輝度と、推定されたB輝度とを用いて、以下の(式27)に示すように推定することができる。
なお、ここでは、G4の例について説明したが、G1〜G3の画素についても基本的には同様である。すなわち、RおよびBを空間的に補間し、RまたはBの補間後の輝度に対して一定の比率を乗算すれば、G画素の輝度を補間することができる。この比率は、G1の場合にはG1およびR1の輝度比であり、G2の場合にはG2およびB2の輝度比、G3の場合にはG3およびR3の輝度比である。
次に、図23を参照して、本実施形態におけるカラーモザイク補間部103の動作を説明する。
最初にカラー偏光取得部101で取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ107に格納されているものとする。
ステップS2301において、モザイク画像フレームメモリ107の最初の注目画素が読みだされ、同時に近傍4連結位置の画素輝度も読み出される。ステップS2302において、注目画素がR画素であれば、S2303に進む。ステップS2303では、(式17)(式18)を使ってGとB輝度が補間される。次に、直前に補間されたG輝度に基づきステップS2304で(式20)によりR輝度が補間される。
次に、ステップS2305において、注目画素がB画素であれば、ステップS2306に進む。ステップS2306では、(式21)(式22)を使ってRとG輝度が補間され、次に直前に補間されたG輝度に基づきステップS2307でB輝度が(式23)を用いて補間される。
次に注目画素がG画素の場合、ステップS2308に進む。ステップS2308では、(式25) (式26)を用いてRとB輝度が補間され、ステップS2309では、G輝度が直前に補間されたB輝度またはR輝度に基づき(式27)などを用いて補間される。補間された画素の輝度値(RGB)は、ステップS2310においてカラー画像フレームメモリ104に格納される。
以上の処理がステップS2311にてモザイク画像フレームメモリ107の全画素が終了するまで繰り返される。
次に、図24を参照して、本実施形態における偏光情報処理部103の動作を説明する。最初にカラー偏光取得部101にて取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ107に格納されているものとする。
ステップS2401において、モザイク画像の次の注目画素が読みだされ、同時に近傍4連結位置の画素輝度も読み出される。注目画素がステップS2402においてR画素の場合、ステップS2403に進む。ステップS2403では、R画素位置の4連結近傍のG1〜G4画素の輝度に基づき(式6)〜(式8)から正弦関数パラメータを算出する。
次にステップS2404で注目画素がB画素の場合にも、同様にステップS2405において近傍4連結位置におけるG1〜G4画素の輝度に基づいて(式6)〜(式8)から正弦関数パラメータを算出する。注目画素がG画素の場合には、ステップS2406において、G画素位置で(式24)を用いて近傍4連結位置に存在する、R1とR3、補正をかけた輝度であるB2’とB4’の合計4サンプルの輝度を用いて同様に(式6)〜(式8)の正弦関数パラメータを決定する。
ステップS2407において、各画素について決定された正弦関数から(式9)(式10)を用いて偏光度ρと偏光位相φを作成し、偏光画像フレームメモリ105と偏光位相画像フレームメモリ106に当該画素に対応付けて格納する。
以上の処理はステップS2408においてモザイク画像フレームメモリの全画素が終了するまで繰り返される。
以上の処理により、偏光度画像フレームメモリ105内に偏光度画像ρ(x,y)のデータが、また偏光位相画像フレームメモリ106内に偏光位相画像φ(x,y)のデータが生成される。これらの画像のサイズは、その作成過程からわかるようにカラーモザイク画像の画像サイズに等しくなる。結果として、フルカラー画像I(x、y)と同じ解像度にて偏光情報を得られる効果を有する。
なお、図23および図24の処理は、相互に独立しているため、並列してソフトウェアで実施されてもよく、同様の処理をハードウェアで実行してもよい。
なお、本実施形態では、パターン化偏光子にフォトニック結晶を用いる場合を記載したが、偏光素子であればフィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を使っても構わないのはもちろんである。
(実施形態3)
以下、本発明による画像処理装置の第3の実施形態を説明する。
本実施形態の基本的構成も、図1のブロック図で示されるため、ここでも適宜、図1を参照する。本実施形態の画像処理装置で特徴的な点は、GとRの画素のみ、またはGとBの画素のみに偏光子単位を構成する偏光子単位が設けられていることにある。
図25は、本実施形態におけるカラー偏光取得部101の画素配置を示す。この配列は、ベイヤ型カラーモザイクフィルタを基本とした配列であって、G画素の位置には、番号1〜4によって特定される偏光主軸方向を有する4種類の偏光画素G1〜G4が配置されている。G1〜G4の画素配置は、図4に示したG1〜G4の画素配置と同一である。本実施形態の画素配置が図4の画素配置と異なる点は、G画素に偏光子単位を設けることに加えて、R1(偏光主軸方向=0°)およびR3(偏光主軸方向=90°)をR画素の位置に配置していることにある。なお、B画素の位置に偏光子を配置していない点で、本実施形態の配置は実施形態2の配置とも異なっている。
この画素配置の特徴点は、以下のとおりである。
(3−1) R画素として位相が90°異なる偏光主軸を有する2種類の偏光子単位のみを配置する。
(3−2) G1〜G4画素の全ての近傍2連結位置に、必ず異なる2種類のR画素が存在することである。
特徴点(3−1)および(3−2)による効果は、両者を加算平均すると偏光の効果が打ち消され通常のカラー輝度となることである。
G画素に加えて、B画素のみに偏光子単位を設置してもよい。また、偏光主軸角度が90°異なる偏光子単位として、番号「2」および「4」で特定されるものを用いてもよい。図26は、この場合の配置例を示している。
以下の説明では、図25の配置を採用した例について説明する。
G画素およびR画素に用いる偏光子単位は、第2の実施形態と同様、図18に示す波長特性を有するものとする。
以下、パターン化偏光子の配置図として、図27または図28を参照する。図27および図28は、いずれも、図25の配置から左上4×4=16個の画素からなるブロックを抜き出し、2次元の画素位置(x、y)を添え字として記載したものである
<R画素位置の偏光情報>
図27の(R1)33を例に説明する。R画素(R1)33の近傍4連結位置には、G1からG4までの同色でかつ異なる4種類の偏光画素(G1)43、(G2)34、(G3)32、(G4)23が配置されており、ここから偏光情報が第1の実施形態と同様に得られることになる。詳細は省略する。なお、これは全てのR1、R3の画素位置で成り立つ。
<R画素位置の輝度>
R画素は、偏光子単位が設けられた偏光画素であるため、R画素位置におけるR、G、Bの全てのカラー輝度を推定する必要がある。
G輝度は、G1〜G4の周辺4画素が偏光子単位を透過した輝度であるが、偏光の主軸角度が45°づつ異なる画素が、4種存在するため、この平均操作で偏光の効果が打ち消されて平均輝度が求められる。上記のG補間値は偏光子単位のG光の最大透過率Tを用いて補正する必要がありGの補間値は以下のようになる。
R輝度は周辺に使える画素が存在しないため、(式30)などの通り、補間されたG輝度値と、G1とR1の比率を用いて補間する。
<B画素位置の偏光情報>
図27のB22を例に説明すると、偏光情報については、R画素と同様に周辺のG1〜G4を利用して得られるので説明を省略する。
<B画素位置のカラー輝度>
おなじく図28のB
22を例に説明する。求めるのは、R、Gのカラー輝度である。まずRについては、90°角度が異なるR1とR3が周辺画素内に存在するため、これらの平均で偏光の効果を打ち消して求められる。
またGについてはG1からG4の周辺4画素の平均で偏光の効果を打ち消して求められる。
<G画素位置の偏光情報>
図28の(G4)23を例にとり説明する。この画素の近傍4連結位置には、偏光画素としてはR1、R3のみが存在するため、実施形態1と同様に近傍8連結位置に存在する4種のG1〜G4の画素(G1)12、(G3)14、(G3)32、(G2)34における観測輝度に基づいてG輝度カーブを決定することにより偏光情報を得る。ただし、R、B画素の場合と異なり、G3の情報が2個重複するため、以下の2つの手法のいずれを用いてもよい。
第1の手法は、(G3)14または(G3)32のいずれか1個の情報を捨て、異なる4種のパターン化偏光子の情報に基づき(式6)〜(式8)を用いて輝度カーブを決定する。
第2の手法は、重複する2個を含んだ5点の情報から、(式5)の最小2乗法を経て輝度カーブを決定する。
<G画素位置のカラー輝度>
G画素は偏光子単位が設けられた偏光画素であるため、当該位置では、RおよびBの輝度のほかにGの輝度も算出することが必要である。まず、RおよびBの輝度補間を説明する。
図28からわかるように、G画素の周辺にはR画素およびB画素が上下または左右に存在している。ここでも、図28の(G4)
23を例に説明する。(G4)
23の上下にR1おびR3が存在しているので平均化処理によって偏光の効果を打ち消して平均輝度を求めることができる。また左右にB画素が存在しているのでこれも平均化処理によって値を求めることができる。これを利用して、R輝度とB輝度を以下の(式33)に示すように線形補間する。
次にG輝度は、既に周囲で計算されたG輝度を用いて以下の(式34)に示すように補間できる。
動作フローはほとんど第1の実施形態における動作フローと同一であるから、ここでは説明を省略する。
上記の各実施形態では、ベイヤ配列のカラーモザイクフィルタを用いているが、本発明で用いることのできるカラーモザイクフィルタの配列はベイヤ型に限定されず、他のタイプの配列を有するものであってもよい。また、配列密度が最も高い画素の色はG(グリーン)に限定されず、他の色であってもよい。
(実施形態4)
以下、本発明による画像処理装置の第4の実施形態を説明する。
本実施形態の基本的構成も、図1のブロック図で示されるため、ここでも適宜、図1を参照する。本実施形態の画像処理装置における特徴的な点は、第1の実施形態と同様に4種類の偏光子単位がG画素のみに設けられているにもかかわらず、偏光情報取得とカラー補間の単位が3種類の偏光子を選択して実現され、結果的に三角形画素として補間処理が行われている点にある。
図29(a)は、本実施形態におけるカラー偏光取得部101の画素配置を示す。この配列は、ベイヤ型カラーモザイクフィルタを基本とした配列であって、G画素の位置には、番号1〜4によって特定される偏光主軸方向を有する4種類の偏光画素G1〜G4が配置されている。G1〜G4の画素配置は、図4に示したG1〜G4の画素配置と同一である。しかし、このような画素配置によれば、図29(b)に示されるとおり、異なる3種類の偏光子単位から構成される三角形画素で平面を埋め尽くすことができる。本実施形態では、この三角形画素を単位として偏光情報取得とカラー補間を実施する。
図30は、図5の画素配置と同一の画素配置を示しており、図31は、図6の画素配置と同一の画素配置を示している。第1の実施形態の説明において、図6の画素配置は偏光情報取得には適当でないとしていたが、本実施形態では三角形画素の各々が3種類の偏光子単位を含んでいればよいので、図31に示す画素配置を採用することができる。
<三角形画素位置での偏光情報>
図30および図31に示すとおり、本実施形態における各三角形画素は、隣接する4種類の偏光子単位1〜4から1個の偏光画素が欠落した構成を有している。本実施形態では、各三角画素の頂点に位置する3種の偏光子単位から得られる偏光情報に基づいて、正弦関数パラメータA、B、Cを求める。
まず、パラメータCは、偏光の位相が反転した関係にある2つの異なる角度における2つの輝度を加算平均することによって求められる。このため、パラメータCは、欠落している各偏光画素について、以下の表1の右欄に示す式によって求めることができる。
次に、欠落している偏光画素の輝度情報は、以下の表2の右欄に示す式によって求めることができる。
以上の計算により、偏光画素の輝度I1〜I4が得られるので、他のパラメータA、Bは、(式6)〜(式8)を使って求められる。
なお、三角形画素ごとに偏光度および偏光位相が求められるということは、偏光度画像フレームメモリ105および偏光位相フレームメモリ106の画像が、三角形画素を単位として構成されることを意味する。
<Gのカラー輝度の補間>
図32は、図29(a)における三角形画素の集合を描いたものであり、三角形の各頂点(a)〜(i)がGの偏光画素1、2、3、4のいずれかに対応する。図32に示すように、本実施形態ではカラー輝度補間も三角形画素を単位として実施する。
図32に示す(a)(b)(e)(d)によって構成される斜め正方形を上下に分割した三角形(a)(b)(d)のG輝度であるG
u、および三角形(b)(e)(d)のG輝度であるG
dは、各頂点画素における観測輝度をI
a〜I
eとすると、以下の(式35)および(式36)によって求めることができる。
ここで、(式35)、(式36)における定数の2は、非偏光の光が直線偏光子を透過した場合に光量が1/2になる現象の補正項である。また、これらの式中のTは、偏光子の透過率を示し、Tが100%でないことによる補正項である。
同様にして、図32の全ての三角形領域におけるG輝度Gu、Gdを求めることができる。なお、これら三角形画素の各々が1個の輝度を有する単位となる。
<Bのカラー輝度の補間>
図33は、図32に示す三角形画素のBのカラー輝度を取得するために必要な画素を示す図である。図33に示される9つの頂点(a)〜(i)は、三角形画素の頂点に位置しており、Gの偏光画素1、2、3、4のいずれかに対応している。図33には、補間に必要なデータを取得するための画素位置として、上記の頂点(a)〜(i)によって構成される三角形画素の外側の4つの頂点(α)(β)(γ)(δ)、さらに外側の頂点(μ)(ν)も図示されている。
図33において、点線で囲まれた矩形領域3301〜3304は、Bカラー輝度を有する正方形画素を示している。B画素は、矩形領域3301〜3304内に位置しており、B画素の面積は三角形画素の面積の50%を占めている。上下の三角形画素としてもこの値を採用する。この考え方に基づくと、図33においてB値が存在するのは、斜線をほどこした領域である。具体的には、斜め正方形(b)(c)(f)(e)、斜め正方形(e)(h)(g)(d)、三角形(α)(b)(a)、三角形(a)(d)(β)、三角形(f)(γ)(i)、三角形(h)(i)(δ)である。
B輝度が欠落した三角形領域は、斜め正方形(a)(b)(e)(d)および斜め正方形(e)(f)(i)(h)に含まれる各々2個の白い領域で示される三角形である。これらの三角形画素におけるBカラー輝度は、補間によって生成しなければならない。それには、矩形領域3301〜3304のBカラー輝度を平均することによって補間すればよい。例えば矩形領域3301のB輝度をB
3301のように記載すると、以下の(式37)によって補間値を算出することができる。
ただし、斜め正方形の領域を2つ三角形画素に上下分割する必要がある。Bカラー輝度とGカラー輝度とは相関を有することを使って、三角形画素毎にBカラー輝度B
u、B
dを、以下の(式38)によって計算する。
<Rのカラー輝度の補間>
図34は、図32に示す三角形画素のRのカラー輝度を取得するために必要な画素を示す図である。補間に必要なデータを取得するため、頂点(a)〜(i)からなる三角形画素の外側のG画素位置である4つの頂点(ε)(ζ)(η)(θ)も描かれている。ここで、R画素が存在するのは、先ほどのB画素と同様の考え方によれば、斜線をほどこした領域である。具体的には、斜め正方形(a)(b)(e)(d)、斜め正方形(e)(f)(i)(h)の位置、三角形(ε)(c)(b)、三角形(c)(ζ)(f)、三角形(d)(g)(η)、三角形(g)(h)(θ)である。R画素を持たない三角形画素の補間は、B画素の補間と同様にして、以下(式39)(式40)によって算出することができる。
以上の処理により、図29に示した三角形画素ごとに偏光度画像および偏光位相画像、ならびに(RGB)フルカラー輝度画像が生成される。
カラー偏光取得部101の画素配列と三角形画素からなる画像を構成する画素配列とを重ねて表示してみると、三角形画素と元になる正方形画素とは面積的に等しい。しかし、三角形画素を使わない場合、偏光情報やGカラー輝度の補間結果が位置する中心座標位置が本来の正方格子の座標系からずれてくる。この処理が複雑化することが懸念されるために、本実施形態では、偏光度画像などの出力画像を三角形画素からなる画像として出力するようにしている。
本実施形態で生成される上記の偏光度画像などに基づいて、画像を表示装置に表示する場合、適宜、表示装置における画素配列と整合するように画像データを処理する必要がある。このような処理は、表示装置の側で行っても良いが、本実施形態の画像処理装置内で行った上で外部に出力する構成を採用しても良い。
次に、図1および図35を参照しながら、本実施形態におけるカラーモザイク補間部102の動作を説明する。
まず、カラー偏光取得部101で取得されたカラーモザイク画像のデータがモザイク画像フレームメモリ107に格納されているものとする。ステップS3501においてモザイク画像のG輝度の画素の組(G1−G2−G3)が1単位として読み出される。ステップS3502において、(式35)または(式36)を用いてG輝度が補間される。ステップS3503にいて、カラー画像フレームメモリ104のGプレーンに三角形画素としてG輝度が格納される。ステップS3504では、全てのG輝度の画素の組(G1−G2−G3)が終了したか否かが判定される。終了していない場合は、ステップ3501〜3504の処理が繰り返される。ステップS3504において「終了」が判定された場合、ステップS3505に進む。
ステップS3505において、モザイク画像フレームメモリからB輝度とR輝度の画素を取得する。この取得は並列で実行されてもよい。ステップS3506において、B画素、R画素が面積的には三角形画素の50%を占める場合、三角形画素としてのB画素とR画素としてこの値を採用する。ステップS3507において、B輝度が欠落した三角形画素については(式37)、(式38)を用いて補間を行い、R輝度の欠落した三角形画素については(式39)、(式40)を用いて補間を行う。
ステップS3508において、上記補間されたB輝度の三角形画素とR輝度の三角形画素を、それぞれ、カラー画像フレームメモリ104のB、Rプレーンに格納する。ステップS3509においては、モザイク画像フレームメモリに含まる全てのB輝度画素、R輝度画素について、上記の処理が終了したか否かが判定される。終了していないと判定された場合は、ステップS3505〜S3509までの処理が繰り返される。
以上の処理の結果、各画素における(RGB)輝度値を有するカラー輝度画像I(x、y)のデータがカラー画像フレームメモリ104内に生成される。このI(x、y)の画像は、三角形画素構造ではあるが、通常のベイヤカラーモザイクを用いた単板カラー撮像素子と同程度の色再現性を有するフルカラー画像が補間生成できる。
次に、図1および図36を参照しながら、本実施形態における偏光情報処理部103の動作を説明する。
まず、カラー偏光取得部101で取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ107に格納されているものとする。ステップS3601において、モザイク画像フレームメモリからG輝度画素(G1−G2−G3)の組が読み出される。次にG1、G2,G3という偏光輝度を使って、(式6)から(式8)および表1、表2を用いて正弦関数パラメータA,B、Cが決定される。
ステップS3603では、(式9)(式10)を用いて偏光度ρと偏光位相φを作成する。
ステップS3604では、生成された値を、偏光画像フレームメモリ105と偏光位相画像フレームメモリ106に三角形画素の位置に格納する。
以上の処理は、ステップS3605でモザイク画像フレームメモリの全画素が終了すると判定されるまで繰り返される。こうして、偏光度画像フレームメモリ105内に偏光度画像ρ(x,y)のデータが、また偏光位相画像フレームメモリ106内に偏光位相画像φ(x,y)のデータが生成される。これらの画像のサイズは、その作成過程からわかるように、カラーモザイク画像の画像構造とは異なり、三角形画素の構造となる。結果として、G画素にのみパターン化偏光子を配置しただけにもかかわらずフルカラー画像I(x、y)と同じ画素構造および解像度にて偏光情報を得ることが可能になる。
なお、図35および図36の処理は、互いに独立しているため、これらの処理を並列的に実行しても良い。また、これらの処理は、ソフトウェアで実施されてもよく、同様の処理をハードウェアで実行してもよい。
本実施形態では、フォトニック結晶から形成したパターン化偏光子を用いているが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を用いてもよい。
なお、実施形態4では、4種類の偏光子単位がG画素に配列されている撮像装置を用い、三角形画素を最小単位とする偏光情報およびカラー輝度情報を取得しているが、配列される偏光子の種類は4種類に限定されず、5種類以上であってもよい。重要な点は、異なる3種類の偏光子単位が三角形画素の頂点に配置されていることにある。
また、実施形態1の処理と実施形態4の処理とを1つの画像処理装置で選択的に実行するようにしてもよい。共通のハードウェアを有する画像処理装置が、実施形態1の処理を行うソフトウェアと実施形態4の処理を行うソフトウェアとを備えておれば、何れかの処理を選択的に実行することも可能になる。
以下、図面を参照しながら本発明による画像処理装置および画像処理方法の実施形態を説明する。以下に説明する本発明の好ましい実施形態は、概略、次の構成を有している。
実施形態1:カラーモザイクのうち、G画素だけに偏光子を配置する。
実施形態2:カラーモザイクにおけるR、G、Bの全ての画素に偏光子を配置する。
実施形態3:カラーモザイクにおけるGとRまたはGとBのみに偏光子を配置する。
実施形態4:実施形態1と同様に4種類の偏光子がG画素のみに設けられているが、隣接する3種類の偏光子を選択して偏光情報取得とカラー補間を行う。
(実施形態1)
図1は、本明細書で説明する本発明の実施形態のすべてに共通する基本的な構成を示すブロック図である。本実施形態の装置は、被写体からリアルタイムにカラー画像情報を取得すると同時に偏光画像情報を取得し、2種類の偏光画像(偏光度画像ρおよび偏光位相画像φ)として出力することができる。偏光度画像ρと偏光位相画像φは静止、動画のどちらの場合もありえる。
図1に示すレンズ100を通った入射光は、カラー偏光取得部101に入射する。この入射光から、カラー偏光取得部101はカラー動画像と偏光情報画像のデータを同時に取得する。カラー偏光取得部101から出力されるカラーモザイク画像のデータは、モザイク画像フレームメモリ107に蓄積される。
モザイク画像フレームメモリ107からモザイク画像のデータが順に読み出され、カラーモザイク補間部102に送られて補間処理される。補間処理の結果は、一画素につき、RGBの3プレーン構成からなるカラー画像フレームメモリ104に蓄積され、適宜読み出しも行われる。
モザイク画像フレームメモリ107からは、画素信号が順に読み出され、偏光情報処理部103に送られる。これらの画素信号は、偏光情報処理部103で処理され、偏光度画像フレームメモリ105および偏光位相画像フレームメモリ106に格納される。偏光度画像フレームメモリ105からは偏光度画像(ρ)のデータが出力され、偏光位相画像フレームメモリ106から偏光位相画像(φ)のデータが出力される。
図2は、カラー偏光取得部101の基本的な構成を示す模式図である。図示されている例では、カラーモザイクフィルタ201およびパターン化偏光子202が、撮像素子画素203の前面に重ねて設置されている。カラーモザイクフィルタ201とパターン化偏光子202の重ね順番は逆であってもよい。入射光204は、カラーモザイクフィルタ201およびパターン化偏光子202を透過して撮像素子に到達し、撮像素子画素203によって輝度が画素単位で観測される。本実施形態によれば、単板カラー撮像素子を用いてカラー情報および偏光情報の両方を同時に取得することができる。なお、パターン化偏光子202は、後に詳しく説明するように、透過偏波面の角度が相互に異なる偏光子単位(セグメント)を含む多数の偏光子単位によって構成される。個々の偏光子単位は、典型的には1画素に相当する大きさを有しているが、偏光子単位はカラーモザイクフィルタ201の全ての画素に配置する必要はない。
このようなパターン化偏光子202は、例えば非特許文献2に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル(振動面)を持つ光がTE波(Transverse Electric Wave, 電場成分が入射面に対し横向き)、垂直な電場ベクトル(振動面)を持つ光がTM波(Transverse Magnetic Wave, 磁場成分が入射面に対し横向き)となる。そして、偏光子単位は、各波長帯域においてTM波が透過、TE波が反射(透過せず)という偏光特性を示す。
図3は、パターン化偏光子202の各偏光子単位に模式的に描かれた斜め線の意味を示している。図3に示される各画素内の斜め線は、各画素上に設置された微小偏光板(偏光子単位)の偏光主軸方向を示している。ここで、「偏光主軸」とは、偏光子を透過する光の偏波面(透過偏波面)に平行な軸である。
偏光子単位は主軸方向に振動面を有する光を透過し、それに垂直な振動面を有する光を遮断する。本明細書では、偏光子番号1〜4の偏光子単位に、それぞれ、角度Ψ=0°、45°、90°、135°の偏光主軸を割り当てている。偏光子単位の偏光透過率は、利用する光の波長に依存するため、カラーモザイクフィルタの透過波長帯にあわせて設計する。例えば符合「G1」で特定される偏光子単位は、「G」の波長帯域において、主軸方向が「1」(すなわち、角度Ψ=0°)の方向の偏光を透過させるように設計されている。
図4(a)は、本実施形態のカラー偏光取得部101における縦8個×横8個の合計16個の画素の配置を示している。図4(a)の例では、ベイヤ型カラーモザイクフィルタにおけるG画素の位置に「G1」〜「G4」の4種類の偏光子単位が配置されているが、R画素およびB画素の位置には偏光子単位が配置されていない。図4(a)には、8×8=64個の画素のみが示されているが、実際のカラー偏光取得部101では、図4(a)に示す64個の画素ブロックと同一の多数の画素ブロックが撮像面に平行な面内で周期的に配列されている。
図4(b)では、図4(a)に示される画素ブロックからR画素およびB画素の記載を省略し、かつ、G画素における偏光子単位の主軸方向を規定する数字を示している。すなわち、図4(b)における番号「1」〜「4」は、それぞれ「G1」〜「G4」の偏光子単位が配置された画素を示す。番号「1」〜「4」が示されていない空白の画素は、R画素およびB画素のいずれか一方であり、前述したように、これらの画素には偏光子単位が設けられていないため、「非偏光画素」と称することができる。
図4(b)に示される配置では、各々が4×4=16個の画素から構成される2つのブロック(A)と、同様に各々が4×4=16個の画素から構成される2つブロック(B)とが組み合わされている。この配置は、以下の特徴点を有している。
(1−1) 組401に含まれる非偏光画素は、その近傍4連結位置に番号「1」〜「4」で示される異なる4種の偏光画素が位置している。なお、「近傍4連結位置」とは、中心画像に対して辺が隣接する十文字の位置にある4画素を意味する。同様のことが、他の任意の非偏光画素にも当てはまる。すなわち、何れの非偏光画素も、異なる4種の偏光画素が近傍4連結位置に位置している。このように、非偏光画素の近傍に4つの異なる偏光画素が存在するため、非偏光画素の位置における偏光情報を高い精度で得ることが可能になる。
(1−2) 画素の組402〜405は、それぞれ、中心に位置する偏光画素、および、その近傍8連結(斜め)位置の4つの偏光画素の合計5つの偏光画素から構成されている。これらの組402〜405の各々に含まれる合計5つの画素に与えられる番号には、番号「1」〜「4」の全てが必ず含まれている。また、5つの画素に与えられる番号のうちの1つは重複する。たとえば組402に含まれる5つの画素には、それぞれ、番号「1」、「2」、「3」、「3」、「4」が割り当てられており、番号「3」が重複している。このように、偏光画素の近傍8連結位置には、全ての種類のパターン化偏光子が存在しているため、偏光画素の位置における偏光情報も高い精度で得ることができる。
(1−3) 図4(b)に示す8×8=64個の画素配置を1個の単位周期パターンとして上下左右に周期的に繰り返して敷き詰めることにより、単位周期パターンの境界付近における連続性を維持して撮像面の全体を埋め尽くすことができる。
図5(a)および(b)は、上記画素配置の特徴を別の視点から説明するための図である。図5(a)は、図4の画素配置と同一の画素配置を示しており、図5(b)は、同様の性質を有する別の画素配置例を示している。これらの配置においては、相互に平行な複数の対角直線の各々の上に2種の偏光画素が交互に別位相で整列している。たとえば、対角直線505〜508には、それぞれ、1−2−1−2−・・・、3−4−3−4−・・・、2−1−2−1・・・、4−3−4−3・・・、という並びが繰り返されている。同様に、対角直線514〜517では、1−3−1−3・・・、2−4−2−4-・・・、3−1−3−1-・・・、4−2−4−2・・・のように2種の画素が位相を変えながら並んでいる。
図6(a)および(b)は、図4の画素配置に類似する画素配置を示している。ただし、図6(a)および(b)に示される配置では、偏光画素の近傍8連結位置における偏光画素の種類が4未満であるため、本実施形態1に採用することができない。すなわち、図6(a)および(b)に示される配置は、上記の特徴点(1−1)〜(1−3)のうち、特徴点質(1−1)および(1−3)を備えているが、特徴点(1−2)を備えていない。例えば図6(a)における偏光画素620の近傍8連結位置には、番号「1」、「4」の偏光画素が存在しておらず、図6(b)における偏光画素630の近傍8連結位置には、番号「1」、「2」の偏光画素が存在していない。対角直線601〜604には、それぞれ、1−2−1−2−・・・、3−4−3−4−・・・、2−1−2−1・・・、3−4−3−4・・・、という並びが繰り返され、3−4−6−4の並びに位相の変化がない。図6(b)の配置でも同様に、対角直線610、612における1−3−1−3の並びに位相の変化がない。
図7は、図4の画素配置に類似する他の画素配置を示している。この配置も、偏光画素の近傍8連結位置に偏光画素の種類が不足しているため、本発明の実施に採用できない。これは、各々が4×4=16個の画素からなるブロックを敷き詰めた配置を示しているが、この配置も、上記特徴点のうち特徴点(1−1)および(1−3)を備えているが、特徴点(1−2)を備えていない。例えば、図7に示す組502では、番号「3」で特定される偏光画素の近傍8連結位置には、番号「2」「4」の2種類の偏光画素しか存在しない。このような配置では、非偏光画素(白マス)の偏光情報は、その周囲の偏光画素から適切に得ることができるが、偏光画素の偏光情報は、その周囲の偏光画素から適切に得ることができないという問題がある。
以上の考察からわかるように、本実施形態では、前述の3つの特徴点を兼ね備える画素配置として、図4または図5に示す例を好適に採用することができる。以下の説明では、図4に示す画素配置を採用した場合について説明する。
図8および図10を参照して、本実施形態のパターン化偏光子を用いて偏光情報およびカラー情報を取得する原理および処理を説明する。図8および図10は、いずれも、図4に示す画素配置から4×4=16個の画素からなる1ブロックを抽出し、ブロック内における画素位置を特定するための添え字(x、y)を記載したものである。添え字xおよびyは、それぞれ、1〜4の整数であり、ブロック内におけるマトリックスの行および列を識別する数字である。
<R画素位置の偏光情報>
図8のR33を例に説明する。図8において、R11、R13、R31、R33は、それぞれ、画素座標(x:横、y:縦)=(1、1)、(1、3)、(3、1)、(3、3)におけるR画素を示す。また、B22、B24、B42、B44は、それぞれ、画素座標(2、2)、(2、4)、(4、2)、(4、4)におけるB画素を示す。これらR画素およびB画素は、非偏光画素である。
一方、(G1)12、(G3)14、(G2)21、(G4)23、(G3)32、(G2)34、(G4)41、(G1)43は、それぞれ、画素座標(1、2)のG1画素、(1、4)のG3画素、(2、1)のG2画素、(2、3)のG4画素、(3、2)のG3画素、(3、4)のG2画素、(4、1)のG4画素、(4、3)のG1画素を示す。G1〜G4画素は、それぞれ、偏光主軸の向きが異なる4種類の偏光画素である。
図8に示すR11などの記号は、画素位置を特定するとともに、その画素位置における観測輝度を示すものとする。
図8に示されるように、記号を円で囲んだ非偏光画素R33の近傍4連結位置には、偏光主軸の方向が異なる4種類の偏光画素、すなわち(G1)43、(G2)34、(G3)32、(G4)23が配置されている。これら4個の偏光画素Gは、何れも、非偏光画素R33から空間的に非常に近い位置に存在しているため、これら4個の偏光画素Gから得られる偏光情報に基づいて、非偏光画素R33における偏光情報を取得することが可能である。
図9は、方向が異なる偏光主軸(Ψi=0°、45°、90°、135°)を有する4種類の偏光子を透過したG光の輝度901〜904を示している。ここで、偏光主軸の回転角ψがψiのときにおける観測輝度をIiとする。ただし、「i」は、1以上N以下の整数、「N」はサンプル数とする、図7に示す例では、N=4であるため、i=1、2、3、4となる。図9には、4個のG画素のサンプル(ψi、Ii)に対応する輝度901〜904が示されている。
偏光主軸の角度Ψiと輝度901〜904との関係は、正弦関数によって表現される。この輝度を示す4つの点は、1本の正弦関数カーブ上にちょうど乗るように描かれているが、正弦関数は、実際の観測によって得られる輝度を示す4点に対して、最小二乗法による最適値として決定される。
なお、本明細書における「偏光情報」とは、輝度の偏光主軸角度に対する依存性を示す正弦関数カーブにおける振幅変調度ρおよび位相情報φを意味するものとする。
偏光子単位の偏光主軸の角ψ(図3参照)に対する観測輝度は、以下の式で表される。
ここで図9に示すようにA、B、Cは定数であり、それぞれ、偏光輝度の変動カーブの振幅、位相、平均値を表現している。(式1)は、以下のように展開できる。
ただし、AおよびBは、それぞれ、以下の(式3)および(式4)で示される。
4画素のサンプル(ψ
i I
i)において、以下の(式5)を最小にするA、B、Cを求めれば、正弦関数(式1)を決定できる。ただし、I
iは、偏光板回転角ψ
i時の観測輝度を示し、Nはサンプル数(ここでは4)である。
ここで、番号「1」〜「4」で特定される偏光子単位における偏光主軸の角度がψi=0°、45°、90°、135°のときに限り、以下の(式6)〜(式8)に示すように、最小2乗法を用いることなく、直接、観測輝度から(式5)の結果を求めることができる。
以上の処理により、正弦関数近似のA、B、Cの3パラメータが確定する。こうして、各画素における偏光度ρを示す偏光度画像と各画素における偏光位相φを示す偏光位相画像が求められる。偏光度ρは、該当画素の光が偏光している程度を表し、偏光位相φは、図9の近似された正弦関数の最大値をとる角度位置を表す。この角度は、被写体からの反射光が内部拡散反射を起こしている場合の被写体の表面法線が存在する面の角度を、画像面内において表現する。なお、偏光主軸の角度は、0°と180°(π)は同一である。
値ρ、φ(0≦φ≦π)は、それぞれ、以下の(式9)および(式10)によって算出される。
<R画素位置のカラー輝度の補間>
R画素において補間すべきカラー輝度はBおよびGの輝度である。B輝度については、図8のR
33の近傍8連結位置にある4点のB画素における輝度の平均値をB輝度の補間値とする。
G輝度については、まず、R33の周囲4連結位置にある4点のG画素(偏光画素)の輝度の平均をとる。このように、180°に対して間隔角度θとなる(180/θ)種類の偏光画素の輝度を全て加算して平均操作を行うと、図9の輝度901と輝度903、および輝度902と輝度904のように正弦関数上で位相が正反対の2個のサンプル点が加算平均されることになるため、正弦関数の平均値Cに等しくなる。すなわち、偏光による輝度の変動の効果が打ち消されて平均輝度が算出されるので、これをG輝度の補間値とすればよい。ただし偏光板を透過した輝度は偏光板が無い場合に比較して輝度が1/2に減衰するため、2倍の補正は必要になる。
上記の説明では、簡単のため、偏光子単位の最大透過率Tを1(100%)としている。このため偏光子が無い状態のG輝度値と、偏光子を透過した後で偏光効果が打ち消された平均輝度とが等しいとした。しかし、100%透過率が実現できない現実の偏光子単位の場合、上記のG補間値は偏光子単位の最大透過率Tを用いて補正する必要があり、Gの補間値は以下のようになる。
なお、これらの補間式は線形補間に基づくものである。ベイヤ型モザイクフィルタの補間方式としては、従来、輝度勾配を用いる手法などがあるため、これらの手法を適宜利用すれば、より高い精度での補間が可能である。
<B画素位置の偏光情報>
図8のB22を例に説明する。B画素であるB22の近傍には、偏光主軸の方向が異なる4つの偏光画素(G1)12、(G2)21、(G3)32、(G4)23が配置されているため、R画素について説明した方法と同様の方法により、偏光情報が得られる。
<B画素位置のカラー輝度の補間>
B画素において、補間すべきカラー輝度は、RおよびGの輝度である。Rの輝度については、以下の(式13)に示すように、図8のB
22の近傍8連結位置に存在する4種のR画素における観測輝度の平均をとってR輝度の補間値とする。
Gの輝度については、以下の(式14)に示すように、4種の偏光画素の輝度平均をとって偏光効果を打ち消してGの補間値とすればよい。
なお、これらの補間式は線形補間に基づくものであるが、前述したように他の公知の手法を適宜利用すれば、より高精度の補間が可能である。
<G画素位置の偏光情報>
図10の(G4)23を例に説明する。図10に示す添え字の意味などは、図8に示すものと同一である。
(G4)23の近傍8連結位置には偏光主軸方向が異なる4種の偏光画素(G1)12、(G3)14、(G3)32、(G2)34が存在する。このため、これらの偏光画素において得られる観測輝度に基づいて、図9に示す輝度カーブを決定すれば、偏光情報を得ることができる。ただし、R、B画素の場合と異なり、偏光画素G3が2つ含まれるため、2つの偏光情報が重複している。このため、以下の2つの手法のいずれを用いてもよい。
第1の手法としては、(G3)14または(G3)32のいずれか1個の情報を捨て、異なる4種の異なるパターン化偏光子の情報のみを用いる。この場合、他の色の画素と同様に、(式6)〜(式8)を用いて輝度カーブを決定する。この手法は、計算が単純になる利点がある。
第2の手法は、重複する2個を含んだ5点の観測輝度から、(式5)の最小2乗法を用いて輝度カーブを決定するものである。
<G画素位置のカラー輝度>
G画素は、偏光子単位が設けられた画素であるため、当該画素位置では、RおよびBの輝度のほかに、本来のG輝度も算出することが必要である。
まず、RおよびBの輝度補間から説明する。図4からわかるように、G画素の周辺(き画素の上下または左右)には、R画素およびB画素が必ず存在している。ここでも、図10の(G4)
23画素を例に説明する。(G4)
23の画素の上下にはR画素が、左右にはB画素が2画素ずつ存在している。このため、2つのR画素および2つのB画素の各々を平均化すれば、(G4)
23の画素位置におけるRおよびBの平均輝度を求めることができる。すなわち、G画素位置におけるR輝度およびB輝度については、以下の(式15)に示すようにして線形補間を行うことができる。
次に、G輝度について説明する。
G画素の近傍4連結位置、8連結位置のいずれにも補間に使えそうなG画素は存在しない。そのため、既に補間されたR画素とB画素位置におけるG補間値を用いて以下の(式16)に示すようにして補間する。
次に、図11を参照しながら、図1におけるカラーモザイク補間部102の動作を説明する。
まず、カラー偏光取得部101で取得されたカラーモザイク画像のデータがモザイク画像フレームメモリ107に格納されているものとする。ステップS1101においてモザイク画像の次の注目画素が読み出され、同時に近傍4連結位置の画素の輝度も読み出される。
ステップS1102において、注目画素がR画素であれば、ステップS1103に進む。ステップS1103では、(式11)(式12)を用いてBおよびG輝度が補間され、カラー画像フレームメモリ104の注目画素位置のBおよびGプレーンに格納される。同時にRプレーンには、この注目画素のR輝度がそのまま格納されるため、(RGB)のフルカラー輝度が全てカラー画像フレームメモリ104に格納される。
次に、ステップS1104において、注目画素がB画素であれば、ステップS105に進む。ステップS1105では、(式13)(式14)を用いてRおよびG輝度が補間され、カラー画像フレームメモリ104の注目画素位置のRおよびGプレーンに格納される。同時にBプレーンには、この注目画素のB輝度がそのまま格納されるため、(RGB)のフルカラー輝度が全て全てカラー画像フレームメモリ104に格納される。
次に、注目画素がG画素の場合、ステップS1106に進む。ステップS1106では、(式15)を用いてRおよびB輝度が補間されて格納される。ここでは、周囲のG輝度が補間されていないため、Gの補間は不可能である。以上の処理がステップS1107で全画素が終了するまで繰り返される。
次に、ステップS1108において、補間が済んだカラー画像フレームメモリ104からG輝度が未定の画素と近傍の確定したG輝度とを取得する。ステップS1109においては、(式16)を用いてG画素輝度を補間し、再度、カラー画像フレームメモリ104に格納する。ステップS1110において、画像に含まるG画素の全てのG輝度が確定するまで上記の処理を繰り返す。
以上の処理の結果、各画素における(RGB)輝度値を有するカラー輝度画像I(x、y)のデータがカラー画像フレームメモリ104内に生成される。このI(x、y)の画像サイズは、その作成過程からわかるように、カラーモザイク画像の画像サイズに等しくなる。結果として、偏光子単位が存在しながらも、通常の単板カラーモザイクを使った補間画像と同一の色再現性を有し、かつ解像度も低下しないフルカラー画像が補間生成できる。
次に、図12を参照しながら、図1の偏光情報処理部103の動作を説明する。
まず、カラー偏光取得部101で取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ107に格納されているものとする。ステップS1201において、モザイク画像の次の注目画素が読みだされ、同時に近傍4連結位置の画素輝度も読み出される。ステップS1202にて注目画素がR画素の場合、ステップS1203に進む。ステップS1203では、R画素の近傍4連結位置におけるG1〜G4画素を用いて、(式6)〜(式8)から正弦関数パラメータを算出する。
次に、ステップS1204において、注目画素がB画素の場合にも、同様にステップS1205において近傍4連結位置におけるG1〜G4画素を用いて(式6)〜(式8)から正弦関数パラメータを算出する。
注目画素がG画素の場合には、ステップS1206において、G画素位置で(式6)〜(式8)に基づき近傍G1からG4を用いて正弦関数パラメータを決定してもよい。あるいは、前述したように、G3の情報が2個重複するため、重複する2個を含んだ5点の情報から(式5)の最小2乗法を経て輝度変化カーブを決定してもよい。
ステップS1207において、各画素について決定された正弦関数パラメータA、B、Cから(式9)(式10)を用いて偏光度ρと偏光位相φを作成し、偏光画像フレームメモリ105と偏光位相画像フレームメモリ106に当該画素と対応付けて格納する。以上の処理は、ステップS1208でモザイク画像フレームメモリの全画素が終了するまで繰り返される。
こうして、偏光度画像フレームメモリ105内に偏光度画像ρ(x,y)のデータが、また偏光位相画像フレームメモリ106内に偏光位相画像φ(x,y)のデータが生成される。これらの画像のサイズは、その作成過程からわかるように、カラーモザイク画像の画像サイズに等しくなる。結果として、G画素にのみパターン化偏光子を配置しただけにもかかわらず、フルカラー画像I(x、y)と同じ解像度で偏光情報を得ることが可能になる。
なお、図11および図12の処理は、互いに独立しているため、これらの処理を並列的に実行しても良い。また、これらの処理は、ソフトウェアで実施されてもよく、同様の処理をハードウェアで実行してもよい。
本実施形態では、フォトニック結晶から形成したパターン化偏光子を用いているが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を用いてもよい。
図13(a)は、球体であるプラスチック製ボールの被写体の入力画像である。図13(b)および(c)は、それぞれ、図13(a)の被写体に対する、偏光度画像ρ(x、y)および偏光位相画像φ(x、y)の例を示している。図13(a)、(b)では、各画像において、偏光度ρ、偏光位相φが大きいほど、高い明度を示すように表示されている。
図14(a)および(b)は、図13(b)および(c)の画像を説明するための模式図である。偏光度画像ρ(x、y)では、カメラの視線方向とボールの表面法線とが同一になる中心付近から方位1401の向きに画素位置が離れるほど、その画素の偏光度ρは増加する。また、ボールの表面法線がカメラの視線方向に対して90°に近くなるボールの遮蔽エッジ(背景との境界)付近では、偏光度ρが最大になっている。図14(a)では、この偏光度ρを等高線で模式的に表現した。
図14(b)の偏光位相画像φ(x、y)では、位相=0°を示す画像の天地方向の垂線に対して偏光位相が180°周期で球体の周囲を反時計回りに矢印1402、1403の向きに単調増加していることがわかる。これら偏光情報画像によれば、偏光度ρと偏光位相φが、被写体の表面法線の2自由度の向きに相当していることがよくわかる。すなわち偏光情報が被写体の形状を推定することが可能になる。
なお、本実施形態では、被写体の反射光のうち拡散反射成分の偏光度画像と偏光位相画像を出力としているが、これは鏡面反射成分でもよく、その場合偏光位相φが90°異なるものとなる。
また偏光情報としては、(ρ、φ)という組み合わせの他、図5の正弦関数から得られる情報であれば、他の情報の組であってもよく、その情報から生成される画像でもよい。たとえば偏光情報から被写体の拡散反射成分と鏡面反射成分を分離することが応用面で重要である。これを本発明で実行するには、鏡面反射領域の偏光に対してρ(x、y)に一定の比率を乗じて原画像から減算すればよい。このようにして生成された画像の例を図15(a)から(d)に示す。
(実施形態2)
以下、本発明による画像処理装置の第2の実施形態を説明する。
本実施形態の基本的構成も、図1のブロック図で示されるため、ここでも適宜、図1を参照する。本実施形態の画像処理装置で特徴的な点は、R、G、Bの全ての画素にパターン化偏光子を構成する偏光子単位が設けられていることにある。
図16(a)は、本実施形態におけるカラー偏光取得部101の画素配置を示す図である。実施形態1における画素配置と異なる点は、G画素のみならず、R画素およびB画素にも偏光子単位が設けられていることにある。図16(b)は、G画素に隣接するR画素またはB画素のうち、G画素の偏光主軸に平行な偏光主軸を有する画素と当該G画素とを結ぶ線分群を図16(a)に追加して記載した図面である。
この配列は、ベイヤ型カラーモザイクフィルタを基本とした配列であって、G画素の位置には、番号1〜4によって特定される偏光主軸方向を有する4種類の偏光画素G1〜G4が配置されている。G1〜G4の画素配置は、図4に示したG1〜G4の画素配置と同一である。本実施形態の画素配置が図4の画素配置と異なる点は、G画素に偏光子単位を設けることに加えて、R1(偏光主軸方向=0°)およびR3(偏光主軸方向=90°)をR画素の位置に配置するとともに、B2(偏光主軸方向=45°)およびB4(偏光主軸方向=135°)をB画素の位置に配置していることにある。
この画素配置の特徴点は、以下のとおりである。
(2−1) R画素およびB画素の各々について、偏光主軸の角度が90°異なる2種類の偏光子単位を設けることにより偏光の位相が90°異なる偏光画素が選択的に配置されている。
(2−2) G1〜G4の全てのG画素の近傍4連結位置には、当該G画素の偏光主軸の角度と同一角度の偏光主軸を有するB画素またはR画素が存在する。例えば、G2の近傍4連結位置にはR2が存在する、図16(b)に示される直線群の各々は、このような対を形成する2つの画素の結合を示す線分である。
(2−3) G1〜G4の全てのG画素の近傍4連結位置には、番号「1」、「2」、「3」、「4」で特定される偏光主軸を有する偏光画素が存在する。図16の配置では、注目画素を含む5つの画素の組が点線で囲まれている。これらの点線で囲まれた5つの画素の中心位置には、G画素が存在し、G画素の近傍4連結位置には、RおよびBの偏光画素が存在している。例えばG4画素の近傍4連結位置には、R1、B2、R3、B4の4つの偏光画素が存在しており、これら4つの偏光画素における偏光主軸の角度は、それぞれ、0°、45°、90°、135°である。
特徴点(2−1)による効果は、偏光の位相が90°異なる2つの偏光画素の観測輝度を加算平均すると、偏光の効果が打ち消されため、通常のカラー輝度が得られることにある。
特徴点(2−2)による効果は、後述するように、(式20)、(式23)、(式24)などによって表現される補間を行うことが可能になる。すなわち、周囲に同色がない場合に同じ画素位置で既に補間された他のカラー輝度値から偏光情報の統合化を実施する場合重要になる。
特徴点(2−3)による効果は、G画素で偏光情報を算出する場合に重要になる。
図17(a)および(b)は、上記特徴点を有する別の配置例を示している。図17(a)および(b)に示される符号や直線群は、図16(a)および(b)について説明した通りである。
実際の装置では、上記の8×8画素からなる単位周期が上下左右に繰り返して配置される。
図18(a)から(c)は、それぞれ、B、G、R偏光画素の波長特性を模式的に示すグラフである。各グラフの縦軸は透過光の強度、横軸は波長である。B、G、R用の偏光画素は、B、G、Rの各波長帯域においてTM波を透過し、TE波を反射(透過せず)する偏光特性を有している。TM波は、磁場成分が入射面に対して横向きの波であり、TE波は、電場成分が入射面に対して横向きの波である。
図18(a)には、B偏光画像の偏光特性1802、1803と、B用カラーフィルタの透過特性1801とが示されている。偏光特性1802、1803は、それぞれ、TM波およびTE波の透過率を示している。
図18(b)には、G偏光画像の偏光特性1805、1806と、G用のカラーフィルタの透過特性1804とが示されている。偏光特性1805、1806は、それぞれ、TM波およびTE波の透過率を示している。
図18(c)には、R偏光画像の偏光特性1808、1809と、R用カラーフィルタの透過特性1807とが示されている。偏光特性1808、1809は、それぞれ、TM波およびTE波の透過率を示している。
図18(a)から(c)に示すような特性は、例えば非特許文献2に記載されたフォトニック結晶を用いて実現することができる。フォトニック結晶の場合、その表面に形成された溝に平行な電場ベクトル振動面を持つ光がTE波、垂直な電場ベクトル振動面を持つ光がTM波となる。
本実施形態で重要な点は、図18(a)から(c)に示すように、B、G、Rの透過波長帯域の各々において偏光分離特性を示すパターン化偏光子を用いることにある。
本明細書では、偏光画素における偏光主軸の方位を表示する4つの数字「1、2、3、4」と、カラーを区別するため3つの符号「R、G、B」の組合せ(例えば「R1」や「G1」など)を用いて、偏光画素の特性を示すこととする。偏光画素R1および偏光画素G1は、数字が同じであるため、偏光主軸の方向は一致しているが、RGB符号が異なるため、透過する光の波長帯域が異なる偏光画素に相当している。本実施形態では、このような偏光画素の配列を、図2に示すカラーフィルタ201およびパターン化偏光子202の組合せによって実現している。
このような特性を有する偏光子単位の偏光主軸角度を調整して配列することにより、図16や図17に示すようカラーおよび偏光に関する複合モザイク配列が実現される。このような波長特性は、第1実施形態においても重要であったが、RGB全てのカラー画素に偏光子単位が設置される第2実施形態ではさらに重要になる。
以下、パターン化偏光子の配置図として図19および図21を用い、偏光情報およびカラー情報の取得原理および処理の説明を行う。図19および図21は、いずれも、図16の配置から左上4×4=16個の画素からなるブロックを抜き出し、2次元の画素位置(x、y)を添え字として記載したものである
<R画素位置の偏光情報>
図19の(R1)33を例にとり説明する。
図19において、(R1)11、(R3)13、・・・(B2)22などは、各々座標(x:横、y:縦)=(1、1)におけるR1の偏光画素、(1、3)におけるR3の偏光画素、(2、2)におけるB2の偏光画素を示す。これらの記号は、前述した通り、画素を示すとともに、数式中では該当画素で観測される輝度の大きさを示すものとする。
(R1)33の近傍4連結位置には、G1からG4までの同色で、かつ偏光主軸角度が異なる4種類の偏光画素(G1)43、(G2)34、(G3)32、(G4)23が配置されている。実施形態1について説明した方法と同様に、これらの偏光画素の観測輝度から(R1)33における偏光情報が得られる。このことは、(R1)33で示される位置のR画素に限られず、R1、R3の画素位置に存在する全てのR画素について成り立つ。
<R画素位置の輝度>
本実施形態のR画素には偏光子単位が設けられているため、R画素においては、GおよびBの輝度だけではなく、Rの輝度を含む全てのカラー輝度を推定する必要がある。
G輝度は、R画素の周辺に位置するG1〜G4の4画素から求めることができる。G1〜G4の4画素の各々で観測される輝度は、偏光子単位を透過したG光の輝度であるが、G1〜G4の4画素の偏光主軸角度は45°ずつ異なるため、これらの画素における観測輝度を平均する操作により、偏光の効果が打ち消されてG光の平均輝度が求められる。
上記の説明では、簡単のため、偏光子単位の最大透過率Tを1(100%)としている。このため偏光子が無い状態のG輝度値と、偏光子を透過した後で偏光効果が打ち消された平均輝度とが等しいとした。しかし、100%透過率が実現できない現実の偏光子単位の場合、上記のG補間値は偏光子単位の最大透過率Tを用いて補正する必要があり、(R1)
33の画素位置におけるG輝度の補間値は以下のようになる。
同様にB輝度は、90°位相が異なるB2およびB4の画素がR画素の近傍8連結位置に存在するため、平均操作により偏光効果が打ち消されて求められる。ここで、偏光子単位におけるB光の最大透過率Tを用いると、(R1)
33の画素位置におけるB輝度の補間値は、以下の(式18)に示すように表される。なお、ここでは、偏光子単位の最大透過率Tは、R、G、Bについて同一に設計するものと仮定するが、このことは本発明にとって必須の事項ではない。
次に、R輝度の補間を説明する。R画素の周囲には補間に使えるRの偏光画素が存在しない。そのため、本実施形態では、カラーに分散した偏光情報の統合化を行う。以下、この統合化を説明する。
図20に示すカーブ2001、2002、2003は、それぞれ、R、G、Bの輝度変化を示している。グラフの縦軸は輝度I、横軸は偏光主軸角度Ψである。図20に示される「R1」の黒点、「G1」、「G2」、「G3」、「G4」の白点は、それぞれ、図19の(R1)33、および、その周辺に位置する4つのG画素で観測された輝度値を示している。ここでは、偏光子単位の最大透過率が100%の場合を想定しており、ライン2004、2005、2006は、それぞれ、R、G、Bの平均輝度(偏光子が無い場合に観測される輝度の平均値)を示す。
自然界にある被写体は様々である。しかし、金属以外の誘電体を想定した場合、照明が被写体に照射されて得られる反射光の性質は、フレネル反射の理論で記述される。そのため、鏡面反射および拡散反射のいずれの場合においても、その偏光の性質は、R、G、Bの波長帯域で大きく変化はしない。すなわち、R、G、Bの輝度変動を示す正弦関数は、すべて、周期180°であり、等しい位相で変化する。したがって、(式9)の偏光度ρの関係式を用いて、R、G、Bの輝度変化を示すI
R(Ψ)、I
G(Ψ)、I
B(Ψ)は、それぞれ、(式19)で表現できる。
屈折率η、光の入射角および出射角は、R、G、Bの間で実質的に一定であるため、偏光度ρもR、G、Bの間で一定となる。このため、(式19)における3種類の正弦関数の変動部分は、R、G、Bに共通となる。
その結果、図20の3本の偏光輝度のカーブ2001、2002、2003の輝度比率は、平均輝度2004、2005、2006の比率と等しくなる。すなわち、R1とG1の輝度比率は、RとGの輝度比率に等しい。
上記の性質を利用すると、R1画素の輝度値とR1画素に隣接するG1画素の輝度値の比率を、既に求めたGの輝度補間値(式17で定まる値)に乗算することにより、Rの平均輝度(パターン化偏光子が無い場合の理想輝度)を推定できる。最大透過率Tの効果は既にGの輝度補間値に含まれているため、(R1)
33の画素位置におけるR輝度は、以下の(式20)で表される。
以上、R1画素の例について説明してきたが、R3画素についても同様に、周囲から角度が90°異なるG輝度およびB輝度については空間的に補間し、R輝度についてはR3およびG3画素の輝度比を用いて求めることができる。
<B画素位置の偏光情報>
ここでは、図19の(B2)22を例に説明する。偏光情報は、R画素と同様に、周辺のG1〜G4画素における観測輝度から得られるため、説明は省略する。
<B画素位置のカラー輝度>
図19の(B2)22を例に説明する。R、G、B全てのカラー輝度を求める必要がある。
まず、偏光主軸の角度が90°異なるR1およびR3画素が(B2)
22の周辺に存在するため、(B2)
22におけるR輝度は、(式21)に示すように、R1およびR3の画素で得られる観測輝度を平均することにより、偏光の効果を打ち消して求めることができる。
また、Gの輝度については、(式22)に示すように、周辺に位置するG1〜G4の4つの画素で得られる観測輝度を平均することにより、偏光の効果を打ち消して求めることができる。
なお、(B2)
22の周辺には、B輝度の空間的なモザイク補間に使えるB画素が存在しない。しかし、以下の(式23)によれば、G2の輝度値と既に求めたGの輝度補間値との関係に基づいて、B2の輝度値からBの平均輝度(パターン化偏光子が無い場合の理想輝度)を決定することができる。
以上の事項は、B2の例について説明したが、B4の画素についても同様に成立する。すなわち、B4の周囲から角度が45°および90°だけ偏光主軸角度が異なる対であるG輝度、R輝度については空間補間し、B輝度についてはB4およびG4の輝度比を用いて求められる。
<G画素位置の偏光情報>
図21の(G4)23を例に説明する。この画素の近傍4連結位置には、R1、R3、B2、B4が存在する。しかし、R光およびB光の偏光主軸角度は、それぞれ、2つしかない。正弦関数パラメータA、B、Cを決定するには、最低3つの異なる偏光主軸角度における観測輝度が必要であるため、同一カラーについて2つの偏光主軸角度における輝度しか観測されない場合、正弦関数パラメータを決定できない。この問題を解決するため、(式19)を用いる。
図22は、(G4)
23の近傍4連結位置における4つの偏光画素から得られる観測輝度と、理論的な正弦関数カーブを記載している。2つの黒点は、それぞれ、R1およびR3の輝度を示し、斜線が付された2つの点は、それぞれ、(B2)
22および(B4)
24の輝度を示している。以下の(式24)に示すように、係数Kを(B2)
22および(B4)
24の観測輝度に乗算することにより、輝度を補正する。
この補正の結果、図22の矢印2207に示すように、Rのカーブ上に4点R1、R3、B2’、B4’が乗ることになる。この4点を用いて正弦カーブを決定することができるため、この正弦カーブに基づいて偏光情報を得ることが可能になる。
上記の事項は、G4の例について説明したが、G1〜G3についても全く同様に成立する。
<G画素位置の輝度>
図21の(G4)23を例にとり、R、G、Bのカラー輝度を以下のように補間、推定する。
まず、(G4)
23の上下隣接位置に偏光主軸角度が90°異なる偏光画素であるR1およびR3が存在するため、これらの画素位置における観測輝度を平均することにより、偏光効果を打ち消し、(G4)
23におけるR輝度を得ることができる。ここで、Tは、偏光子単位の最大透過率である。
同様に、(G4)
23におけるB輝度は、(G4)
23の左右に隣接するB2およびB4の偏光画素で観測される輝度を平均すれば、偏光効果を打ち消した補間値を得ることができる。
次にG画素の輝度を説明する。この画素がG4画素であるため、隣接するB4画素の輝度と、推定されたB輝度とを用いて、以下の(式27)に示すように推定することができる。
なお、ここでは、G4の例について説明したが、G1〜G3の画素についても基本的には同様である。すなわち、RおよびBを空間的に補間し、RまたはBの補間後の輝度に対して一定の比率を乗算すれば、G画素の輝度を補間することができる。この比率は、G1の場合にはG1およびR1の輝度比であり、G2の場合にはG2およびB2の輝度比、G3の場合にはG3およびR3の輝度比である。
次に、図23を参照して、本実施形態におけるカラーモザイク補間部103の動作を説明する。
最初にカラー偏光取得部101で取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ107に格納されているものとする。
ステップS2301において、モザイク画像フレームメモリ107の最初の注目画素が読みだされ、同時に近傍4連結位置の画素輝度も読み出される。ステップS2302において、注目画素がR画素であれば、S2303に進む。ステップS2303では、(式17)(式18)を使ってGとB輝度が補間される。次に、直前に補間されたG輝度に基づきステップS2304で(式20)によりR輝度が補間される。
次に、ステップS2305において、注目画素がB画素であれば、ステップS2306に進む。ステップS2306では、(式21)(式22)を使ってRとG輝度が補間され、次に直前に補間されたG輝度に基づきステップS2307でB輝度が(式23)を用いて補間される。
次に注目画素がG画素の場合、ステップS2308に進む。ステップS2308では、(式25) (式26)を用いてRとB輝度が補間され、ステップS2309では、G輝度が直前に補間されたB輝度またはR輝度に基づき(式27)などを用いて補間される。補間された画素の輝度値(RGB)は、ステップS2310においてカラー画像フレームメモリ104に格納される。
以上の処理がステップS2311にてモザイク画像フレームメモリ107の全画素が終了するまで繰り返される。
次に、図24を参照して、本実施形態における偏光情報処理部103の動作を説明する。最初にカラー偏光取得部101にて取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ107に格納されているものとする。
ステップS2401において、モザイク画像の次の注目画素が読みだされ、同時に近傍4連結位置の画素輝度も読み出される。注目画素がステップS2402においてR画素の場合、ステップS2403に進む。ステップS2403では、R画素位置の4連結近傍のG1〜G4画素の輝度に基づき(式6)〜(式8)から正弦関数パラメータを算出する。
次にステップS2404で注目画素がB画素の場合にも、同様にステップS2405において近傍4連結位置におけるG1〜G4画素の輝度に基づいて(式6)〜(式8)から正弦関数パラメータを算出する。注目画素がG画素の場合には、ステップS2406において、G画素位置で(式24)を用いて近傍4連結位置に存在する、R1とR3、補正をかけた輝度であるB2’とB4’の合計4サンプルの輝度を用いて同様に(式6)〜(式8)の正弦関数パラメータを決定する。
ステップS2407において、各画素について決定された正弦関数から(式9)(式10)を用いて偏光度ρと偏光位相φを作成し、偏光画像フレームメモリ105と偏光位相画像フレームメモリ106に当該画素に対応付けて格納する。
以上の処理はステップS2408においてモザイク画像フレームメモリの全画素が終了するまで繰り返される。
以上の処理により、偏光度画像フレームメモリ105内に偏光度画像ρ(x,y)のデータが、また偏光位相画像フレームメモリ106内に偏光位相画像φ(x,y)のデータが生成される。これらの画像のサイズは、その作成過程からわかるようにカラーモザイク画像の画像サイズに等しくなる。結果として、フルカラー画像I(x、y)と同じ解像度にて偏光情報を得られる効果を有する。
なお、図23および図24の処理は、相互に独立しているため、並列してソフトウェアで実施されてもよく、同様の処理をハードウェアで実行してもよい。
なお、本実施形態では、パターン化偏光子にフォトニック結晶を用いる場合を記載したが、偏光素子であればフィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を使っても構わないのはもちろんである。
(実施形態3)
以下、本発明による画像処理装置の第3の実施形態を説明する。
本実施形態の基本的構成も、図1のブロック図で示されるため、ここでも適宜、図1を参照する。本実施形態の画像処理装置で特徴的な点は、GとRの画素のみ、またはGとBの画素のみに偏光子単位を構成する偏光子単位が設けられていることにある。
図25は、本実施形態におけるカラー偏光取得部101の画素配置を示す。この配列は、ベイヤ型カラーモザイクフィルタを基本とした配列であって、G画素の位置には、番号1〜4によって特定される偏光主軸方向を有する4種類の偏光画素G1〜G4が配置されている。G1〜G4の画素配置は、図4に示したG1〜G4の画素配置と同一である。本実施形態の画素配置が図4の画素配置と異なる点は、G画素に偏光子単位を設けることに加えて、R1(偏光主軸方向=0°)およびR3(偏光主軸方向=90°)をR画素の位置に配置していることにある。なお、B画素の位置に偏光子を配置していない点で、本実施形態の配置は実施形態2の配置とも異なっている。
この画素配置の特徴点は、以下のとおりである。
(3−1) R画素として位相が90°異なる偏光主軸を有する2種類の偏光子単位のみを配置する。
(3−2) G1〜G4画素の全ての近傍2連結位置に、必ず異なる2種類のR画素が存在することである。
特徴点(3−1)および(3−2)による効果は、両者を加算平均すると偏光の効果が打ち消され通常のカラー輝度となることである。
G画素に加えて、B画素のみに偏光子単位を設置してもよい。また、偏光主軸角度が90°異なる偏光子単位として、番号「2」および「4」で特定されるものを用いてもよい。図26は、この場合の配置例を示している。
以下の説明では、図25の配置を採用した例について説明する。
G画素およびR画素に用いる偏光子単位は、第2の実施形態と同様、図18に示す波長特性を有するものとする。
以下、パターン化偏光子の配置図として、図27または図28を参照する。図27および図28は、いずれも、図25の配置から左上4×4=16個の画素からなるブロックを抜き出し、2次元の画素位置(x、y)を添え字として記載したものである
<R画素位置の偏光情報>
図27の(R1)33を例に説明する。R画素(R1)33の近傍4連結位置には、G1からG4までの同色でかつ異なる4種類の偏光画素(G1)43、(G2)34、(G3)32、(G4)23が配置されており、ここから偏光情報が第1の実施形態と同様に得られることになる。詳細は省略する。なお、これは全てのR1、R3の画素位置で成り立つ。
<R画素位置の輝度>
R画素は、偏光子単位が設けられた偏光画素であるため、R画素位置におけるR、G、Bの全てのカラー輝度を推定する必要がある。
G輝度は、G1〜G4の周辺4画素が偏光子単位を透過した輝度であるが、偏光の主軸角度が45°づつ異なる画素が、4種存在するため、この平均操作で偏光の効果が打ち消されて平均輝度が求められる。上記のG補間値は偏光子単位のG光の最大透過率Tを用いて補正する必要がありGの補間値は以下のようになる。
R輝度は周辺に使える画素が存在しないため、(式30)などの通り、補間されたG輝度値と、G1とR1の比率を用いて補間する。
<B画素位置の偏光情報>
図27のB22を例に説明すると、偏光情報については、R画素と同様に周辺のG1〜G4を利用して得られるので説明を省略する。
<B画素位置のカラー輝度>
おなじく図28のB
22を例に説明する。求めるのは、R、Gのカラー輝度である。まずRについては、90°角度が異なるR1とR3が周辺画素内に存在するため、これらの平均で偏光の効果を打ち消して求められる。
またGについてはG1からG4の周辺4画素の平均で偏光の効果を打ち消して求められる。
<G画素位置の偏光情報>
図28の(G4)23を例にとり説明する。この画素の近傍4連結位置には、偏光画素としてはR1、R3のみが存在するため、実施形態1と同様に近傍8連結位置に存在する4種のG1〜G4の画素(G1)12、(G3)14、(G3)32、(G2)34における観測輝度に基づいてG輝度カーブを決定することにより偏光情報を得る。ただし、R、B画素の場合と異なり、G3の情報が2個重複するため、以下の2つの手法のいずれを用いてもよい。
第1の手法は、(G3)14または(G3)32のいずれか1個の情報を捨て、異なる4種のパターン化偏光子の情報に基づき(式6)〜(式8)を用いて輝度カーブを決定する。
第2の手法は、重複する2個を含んだ5点の情報から、(式5)の最小2乗法を経て輝度カーブを決定する。
<G画素位置のカラー輝度>
G画素は偏光子単位が設けられた偏光画素であるため、当該位置では、RおよびBの輝度のほかにGの輝度も算出することが必要である。まず、RおよびBの輝度補間を説明する。
図28からわかるように、G画素の周辺にはR画素およびB画素が上下または左右に存在している。ここでも、図28の(G4)
23を例に説明する。(G4)
23の上下にR1おびR3が存在しているので平均化処理によって偏光の効果を打ち消して平均輝度を求めることができる。また左右にB画素が存在しているのでこれも平均化処理によって値を求めることができる。これを利用して、R輝度とB輝度を以下の(式33)に示すように線形補間する。
次にG輝度は、既に周囲で計算されたG輝度を用いて以下の(式34)に示すように補間できる。
動作フローはほとんど第1の実施形態における動作フローと同一であるから、ここでは説明を省略する。
上記の各実施形態では、ベイヤ配列のカラーモザイクフィルタを用いているが、本発明で用いることのできるカラーモザイクフィルタの配列はベイヤ型に限定されず、他のタイプの配列を有するものであってもよい。また、配列密度が最も高い画素の色はG(グリーン)に限定されず、他の色であってもよい。
(実施形態4)
以下、本発明による画像処理装置の第4の実施形態を説明する。
本実施形態の基本的構成も、図1のブロック図で示されるため、ここでも適宜、図1を参照する。本実施形態の画像処理装置における特徴的な点は、第1の実施形態と同様に4種類の偏光子単位がG画素のみに設けられているにもかかわらず、偏光情報取得とカラー補間の単位が3種類の偏光子を選択して実現され、結果的に三角形画素として補間処理が行われている点にある。
図29(a)は、本実施形態におけるカラー偏光取得部101の画素配置を示す。この配列は、ベイヤ型カラーモザイクフィルタを基本とした配列であって、G画素の位置には、番号1〜4によって特定される偏光主軸方向を有する4種類の偏光画素G1〜G4が配置されている。G1〜G4の画素配置は、図4に示したG1〜G4の画素配置と同一である。しかし、このような画素配置によれば、図29(b)に示されるとおり、異なる3種類の偏光子単位から構成される三角形画素で平面を埋め尽くすことができる。本実施形態では、この三角形画素を単位として偏光情報取得とカラー補間を実施する。
図30は、図5の画素配置と同一の画素配置を示しており、図31は、図6の画素配置と同一の画素配置を示している。第1の実施形態の説明において、図6の画素配置は偏光情報取得には適当でないとしていたが、本実施形態では三角形画素の各々が3種類の偏光子単位を含んでいればよいので、図31に示す画素配置を採用することができる。
<三角形画素位置での偏光情報>
図30および図31に示すとおり、本実施形態における各三角形画素は、隣接する4種類の偏光子単位1〜4から1個の偏光画素が欠落した構成を有している。本実施形態では、各三角画素の頂点に位置する3種の偏光子単位から得られる偏光情報に基づいて、正弦関数パラメータA、B、Cを求める。
まず、パラメータCは、偏光の位相が反転した関係にある2つの異なる角度における2つの輝度を加算平均することによって求められる。このため、パラメータCは、欠落している各偏光画素について、以下の表1の右欄に示す式によって求めることができる。
次に、欠落している偏光画素の輝度情報は、以下の表2の右欄に示す式によって求めることができる。
以上の計算により、偏光画素の輝度I1〜I4が得られるので、他のパラメータA、Bは、(式6)〜(式8)を使って求められる。
なお、三角形画素ごとに偏光度および偏光位相が求められるということは、偏光度画像フレームメモリ105および偏光位相フレームメモリ106の画像が、三角形画素を単位として構成されることを意味する。
<Gのカラー輝度の補間>
図32は、図29(a)における三角形画素の集合を描いたものであり、三角形の各頂点(a)〜(i)がGの偏光画素1、2、3、4のいずれかに対応する。図32に示すように、本実施形態ではカラー輝度補間も三角形画素を単位として実施する。
図32に示す(a)(b)(e)(d)によって構成される斜め正方形を上下に分割した三角形(a)(b)(d)のG輝度であるG
u、および三角形(b)(e)(d)のG輝度であるG
dは、各頂点画素における観測輝度をI
a〜I
eとすると、以下の(式35)および(式36)によって求めることができる。
ここで、(式35)、(式36)における定数の2は、非偏光の光が直線偏光子を透過した場合に光量が1/2になる現象の補正項である。また、これらの式中のTは、偏光子の透過率を示し、Tが100%でないことによる補正項である。
同様にして、図32の全ての三角形領域におけるG輝度Gu、Gdを求めることができる。なお、これら三角形画素の各々が1個の輝度を有する単位となる。
<Bのカラー輝度の補間>
図33は、図32に示す三角形画素のBのカラー輝度を取得するために必要な画素を示す図である。図33に示される9つの頂点(a)〜(i)は、三角形画素の頂点に位置しており、Gの偏光画素1、2、3、4のいずれかに対応している。図33には、補間に必要なデータを取得するための画素位置として、上記の頂点(a)〜(i)によって構成される三角形画素の外側の4つの頂点(α)(β)(γ)(δ)、さらに外側の頂点(μ)(ν)も図示されている。
図33において、点線で囲まれた矩形領域3301〜3304は、Bカラー輝度を有する正方形画素を示している。B画素は、矩形領域3301〜3304内に位置しており、B画素の面積は三角形画素の面積の50%を占めている。上下の三角形画素としてもこの値を採用する。この考え方に基づくと、図33においてB値が存在するのは、斜線をほどこした領域である。具体的には、斜め正方形(b)(c)(f)(e)、斜め正方形(e)(h)(g)(d)、三角形(α)(b)(a)、三角形(a)(d)(β)、三角形(f)(γ)(i)、三角形(h)(i)(δ)である。
B輝度が欠落した三角形領域は、斜め正方形(a)(b)(e)(d)および斜め正方形(e)(f)(i)(h)に含まれる各々2個の白い領域で示される三角形である。これらの三角形画素におけるBカラー輝度は、補間によって生成しなければならない。それには、矩形領域3301〜3304のBカラー輝度を平均することによって補間すればよい。例えば矩形領域3301のB輝度をB
3301のように記載すると、以下の(式37)によって補間値を算出することができる。
ただし、斜め正方形の領域を2つ三角形画素に上下分割する必要がある。Bカラー輝度とGカラー輝度とは相関を有することを使って、三角形画素毎にBカラー輝度B
u、B
dを、以下の(式38)によって計算する。
<Rのカラー輝度の補間>
図34は、図32に示す三角形画素のRのカラー輝度を取得するために必要な画素を示す図である。補間に必要なデータを取得するため、頂点(a)〜(i)からなる三角形画素の外側のG画素位置である4つの頂点(ε)(ζ)(η)(θ)も描かれている。ここで、R画素が存在するのは、先ほどのB画素と同様の考え方によれば、斜線をほどこした領域である。具体的には、斜め正方形(a)(b)(e)(d)、斜め正方形(e)(f)(i)(h)の位置、三角形(ε)(c)(b)、三角形(c)(ζ)(f)、三角形(d)(g)(η)、三角形(g)(h)(θ)である。R画素を持たない三角形画素の補間は、B画素の補間と同様にして、以下(式39)(式40)によって算出することができる。
以上の処理により、図29に示した三角形画素ごとに偏光度画像および偏光位相画像、ならびに(RGB)フルカラー輝度画像が生成される。
カラー偏光取得部101の画素配列と三角形画素からなる画像を構成する画素配列とを重ねて表示してみると、三角形画素と元になる正方形画素とは面積的に等しい。しかし、三角形画素を使わない場合、偏光情報やGカラー輝度の補間結果が位置する中心座標位置が本来の正方格子の座標系からずれてくる。この処理が複雑化することが懸念されるために、本実施形態では、偏光度画像などの出力画像を三角形画素からなる画像として出力するようにしている。
本実施形態で生成される上記の偏光度画像などに基づいて、画像を表示装置に表示する場合、適宜、表示装置における画素配列と整合するように画像データを処理する必要がある。このような処理は、表示装置の側で行っても良いが、本実施形態の画像処理装置内で行った上で外部に出力する構成を採用しても良い。
次に、図1および図35を参照しながら、本実施形態におけるカラーモザイク補間部102の動作を説明する。
まず、カラー偏光取得部101で取得されたカラーモザイク画像のデータがモザイク画像フレームメモリ107に格納されているものとする。ステップS3501においてモザイク画像のG輝度の画素の組(G1−G2−G3)が1単位として読み出される。ステップS3502において、(式35)または(式36)を用いてG輝度が補間される。ステップS3503にいて、カラー画像フレームメモリ104のGプレーンに三角形画素としてG輝度が格納される。ステップS3504では、全てのG輝度の画素の組(G1−G2−G3)が終了したか否かが判定される。終了していない場合は、ステップ3501〜3504の処理が繰り返される。ステップS3504において「終了」が判定された場合、ステップS3505に進む。
ステップS3505において、モザイク画像フレームメモリからB輝度とR輝度の画素を取得する。この取得は並列で実行されてもよい。ステップS3506において、B画素、R画素が面積的には三角形画素の50%を占める場合、三角形画素としてのB画素とR画素としてこの値を採用する。ステップS3507において、B輝度が欠落した三角形画素については(式37)、(式38)を用いて補間を行い、R輝度の欠落した三角形画素については(式39)、(式40)を用いて補間を行う。
ステップS3508において、上記補間されたB輝度の三角形画素とR輝度の三角形画素を、それぞれ、カラー画像フレームメモリ104のB、Rプレーンに格納する。ステップS3509においては、モザイク画像フレームメモリに含まる全てのB輝度画素、R輝度画素について、上記の処理が終了したか否かが判定される。終了していないと判定された場合は、ステップS3505〜S3509までの処理が繰り返される。
以上の処理の結果、各画素における(RGB)輝度値を有するカラー輝度画像I(x、y)のデータがカラー画像フレームメモリ104内に生成される。このI(x、y)の画像は、三角形画素構造ではあるが、通常のベイヤカラーモザイクを用いた単板カラー撮像素子と同程度の色再現性を有するフルカラー画像が補間生成できる。
次に、図1および図36を参照しながら、本実施形態における偏光情報処理部103の動作を説明する。
まず、カラー偏光取得部101で取得されたカラーモザイク画像のデータはモザイク画像フレームメモリ107に格納されているものとする。ステップS3601において、モザイク画像フレームメモリからG輝度画素(G1−G2−G3)の組が読み出される。次にG1、G2,G3という偏光輝度を使って、(式6)から(式8)および表1、表2を用いて正弦関数パラメータA,B、Cが決定される。
ステップS3603では、(式9)(式10)を用いて偏光度ρと偏光位相φを作成する。
ステップS3604では、生成された値を、偏光画像フレームメモリ105と偏光位相画像フレームメモリ106に三角形画素の位置に格納する。
以上の処理は、ステップS3605でモザイク画像フレームメモリの全画素が終了すると判定されるまで繰り返される。こうして、偏光度画像フレームメモリ105内に偏光度画像ρ(x,y)のデータが、また偏光位相画像フレームメモリ106内に偏光位相画像φ(x,y)のデータが生成される。これらの画像のサイズは、その作成過程からわかるように、カラーモザイク画像の画像構造とは異なり、三角形画素の構造となる。結果として、G画素にのみパターン化偏光子を配置しただけにもかかわらずフルカラー画像I(x、y)と同じ画素構造および解像度にて偏光情報を得ることが可能になる。
なお、図35および図36の処理は、互いに独立しているため、これらの処理を並列的に実行しても良い。また、これらの処理は、ソフトウェアで実施されてもよく、同様の処理をハードウェアで実行してもよい。
本実施形態では、フォトニック結晶から形成したパターン化偏光子を用いているが、フィルム型の偏光素子、あるいはワイヤーグリッド型やその他の原理による偏光素子を用いてもよい。
なお、実施形態4では、4種類の偏光子単位がG画素に配列されている撮像装置を用い、三角形画素を最小単位とする偏光情報およびカラー輝度情報を取得しているが、配列される偏光子の種類は4種類に限定されず、5種類以上であってもよい。重要な点は、異なる3種類の偏光子単位が三角形画素の頂点に配置されていることにある。
また、実施形態1の処理と実施形態4の処理とを1つの画像処理装置で選択的に実行するようにしてもよい。共通のハードウェアを有する画像処理装置が、実施形態1の処理を行うソフトウェアと実施形態4の処理を行うソフトウェアとを備えておれば、何れかの処理を選択的に実行することも可能になる。