WO2013031100A1

WO2013031100A1 - 偏光撮像素子および内視鏡

Info

Publication number: WO2013031100A1
Application number: PCT/JP2012/005018
Authority: WO
Inventors: 克洋金森; シング　ビラハム　パル; 登　一生; 菰淵　寛仁; 中田　幹也
Original assignee: パナソニック株式会社
Priority date: 2011-09-02
Filing date: 2012-08-07
Publication date: 2013-03-07
Also published as: US9293491B2; JP5764747B2; JPWO2013031100A1; US20130270421A1

Abstract

　本開示における偏光撮像素子は、撮像面上に配列されて各々が光を電気信号に変換する複数の受光素子と、複数の受光素子に対応して異なる色のカラーフィルタが配列されたカラーモザイクフィルタと、カラーモザイクフィルタを覆う光学ローパスフィルタと、光学ローパスフィルタよりも光入射側に位置する複数の偏光光学素子とを備える。複数の偏光光学素子の各々は、各受光素子を覆っており、かつ、撮像面に平行な面内における所定方向に偏光した光を光学ローパスフィルタに入射する。カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有している。複数のカラーフィルタは、複数の偏光光学素子から出た光が同一の色の対応する１つのカラーフィルタを透過するように配置されており、各カラーフィルタが複数の受光素子を覆っている。

Description

偏光撮像素子および内視鏡

　本開示は、被写体からの光の偏光情報を取得できる偏光撮像素子に関する。

　従来、内視鏡向け画像センシング方式として偏光を利用する技術があった。

　特許文献１から特許文献３の内視鏡では、偏光技術を用いて内臓の壁の表面の凹凸形状を取得するため、直線偏光または円偏光照明を用いて被写体を照射し、戻り光の偏光撮像を行っている。偏光撮像素子には、偏光モザイク構造を有する撮像素子をＲＧＢの各色フィルタのうち、同一色たとえばＢ画素にのみ適用する構造が用いられている。偏光モザイク構造は、微細パターン化偏光子の偏光透過軸が３方向以上の方向を向くように微細パターン化偏光子を配列することによって実現される。

特開２００９－２４０６７６号公報特開２００９－２４６７７０号公報特開２００９－２４６８４０号公報

今栄真紀子他「構造複屈折を用いた広帯域１／４波長板の最適設計」、ＫＯＮＩＣＡ　ＭＩＮＯＬＴＡＴＥＣＨＮＯＬＯＧＹＲＥＰＯＲＴＶＯＬ.３（２００６）,ＰＰ６２-６７

　通常の単板カラー撮像素子では、１光線を複数のカラーモザイクに入射させるため、光学ローパスフィルタを用いて光線を分岐させている。光学ローパスフィルタは、典型的には複屈折性を有する材料、例えば水晶から形成されている。このため、この光学ローパスフィルタは「水晶ローパスフィルタ」と称されることが多い。ただし、光学ローパスフィルタは、水晶以外の複屈折材料から形成されていてもよい。本開示では複屈折ローパスフィルタの代表例として水晶ＬＰＦ(ローパスフィルタ)を位置づけ、説明に使用しているが、これは、水晶以外の天然材料や人工的な構造複屈折材料に代替しても構わない。光学ローパスフィルタは、空間的な解像度を低下させる機能を有し、１本の光線が２本の光線に分岐して異なるフォトダイオードに入射するように設計される。

　このような水晶ローパスフィルタでは、光線の分岐に複屈折現象を用いる。このため、光の偏光状態は、水晶ローパスフィルタを透過すると崩れてしまう。カラー画像と偏光画像を同時取得するため、カラーモザイクフィルタと偏光フィルタとを組み合わせる従来技術は存在していたが、水晶ローパスフィルタをそれらに更に組み合わせる偏光撮像素子の技術は存在していない。

　本開示における他の偏光撮像素子は、撮像面上に配列され、各々が光を電気信号に変換する複数の受光素子と、複数の受光素子に対応して異なる色のカラーフィルタが配列されたカラーモザイクフィルタと、カラーモザイクフィルタよりも光入射側に位置する光学ローパスフィルタと、光学ローパスフィルタよりも光入射側に位置する複数の偏光光学素子とを備えている。複数の偏光光学素子の各々は、複数の受光素子を覆っており、かつ、前記撮像面に平行な面内における所定方向に偏光した光を前記光学ローパスフィルタに入射する。カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有している。複数のカラーフィルタは、各偏光光学素子から出た光が異なる色の対応する複数のカラーフィルタを透過するように配置されている。

　画質が向上したカラー画像と偏光画像を取得できる偏光撮像素子が提供される。

本開示による偏光撮像素子の構成を示す断面図である。水晶ローパスフィルタによる像の横方向シフトを説明する図である。本開示の第１の実施形態の断面図である。水晶ＬＰＦの動作原理を示す図である。本開示の第１の実施形態の平面図である。本開示の第１の実施形態に使う水晶ＬＰＦの断面構成図である。本開示の第１の実施形態に使う水晶ＬＰＦのストライプλ／４板の平面構成図である。本開示の第２の実施形態の断面図である。本開示の第２の実施形態の平面図である。本開示の第２の実施形態に用いる多層光学ＬＰＦの断面構成の図である。水晶ＬＰＦの光線シフト量とカラーモザイク、偏光モザイクとの関係を示す図である。多層光学ＬＰＦ板を透過した光がカラーモザイク画素上で画素値となる過程を順次説明する図（その１）である。多層光学ＬＰＦ板を透過した光がカラーモザイク画素上で画素値となる過程を順次説明する図（その２）である。多層光学ＬＰＦ板を透過した光がカラーモザイク画素上で画素値となる過程を順次説明する図（その３）である。本開示の第２の実施形態に用いる多層光学ＬＰＦの周波数特性の図である。本開示の偏光撮像素子の基本的な構成例を模式的に示す断面図である。本開示に使用され得る光学素子の一例を示す断面図である。本開示の偏光撮像素子に使用され得る光学素子の他の例を示す断面図である。本開示の偏光撮像素子に使用され得る光学素子の他の例を示す断面図である。本開示の偏光撮像素子に使用され得る光学素子の他の例を示す断面図である。図２Ａの光学素子２２の断面図である。図２Ａの光学素子２２の上面図である。図２Ａの光学素子２２の側面図である。本開示の第１の実施形態による偏光撮像素子を示す断面図である。本開示の第１の実施形態による偏光撮像素子を対物レンズ側の上から見た平面図である。１個のプリズム光学素子の形状と光の進路の詳細を説明する図である。入射角と光の透過率の関係を示す図（入射時）である。入射角と光の透過率の関係を示す図（出射時）である。入射角と光の透過率と偏光選択比の関係を入射から出射まで総合して示す図である。隣接する画素ごとに４５°ずつ４種類異なる方位角に配置されたプリズム光学素子を含む２×２セルを模式的に示す平面図である。図２７Ａの各セルでの輝度と、入射する直線偏光の偏光方向（撮像面における偏光主軸の方位角）との関係の一例を示すグラフである。材料を石英ガラスなどとした場合の屈折率の波長依存性を示す図である。屈折率の波長依存変動を仮定した場合の入射から出射までの統合偏光選択比および光透過率を示す図である。本開示の第１の実施形態において「面順次方式」内視鏡におけるカラー情報取得の方法を示す図である。本開示の第１の実施形態において「同時方式」内視鏡にてカラー情報取得の方法を示す図である。本開示の第１の実施形態において「同時方式」内視鏡にて別のカラー情報取得の方法を示す図である。プリズム光学素子を接続する平板部の厚さ条件の説明図である。実施形態１の変形例１におけるプリズム光学素子の図２２とは異なる平面内配置を示す図である。実施形態１の変形例２における表裏プリズムを同一形状としない例の図である。本開示の第１の実施形態の変形例３を示す図である。図３６の構造を上から見た平面図である。図３６に示される装置による画素位置の補正を示す図である。本開示の第１の実施形態の変形例の「同時方式」内視鏡におけるカラー情報取得において非偏光仮定フルカラー画像と偏光画像との解像度を説明する図である。本開示の第１の実施形態の変形例４を説明する図である。本開示の第１の実施形態の変形例４の断面形状の図である。本開示の第２の実施形態による偏光撮像素子を示す断面図である。本開示の第２の実施形態による偏光撮像素子を対物レンズ側の上から見た平面図である。本開示の第２の実施形態における１個のプリズム光学素子の形状を２方向から見た図である。隣接する画素ごとに６０°ずつ３種類の異なる向きに斜面が配置されたプリズム光学素子を示す図である。６角形セル内の画素から得られる信号に基づく偏光情報取得の処理を示す図である。本開示の第２の実施形態において「面順次方式」内視鏡におけるカラー情報取得の方法を示す図である。本開示の第２の実施形態において「同時方式」内視鏡におけるカラー情報取得の方法を示す図である。本開示の第３の実施形態の断面図である。本開示の第４の実施形態の断面図である。本開示の第５の実施形態の断面図である。本開示の第６の実施形態の断面図である。本開示の第７の実施形態の断面図である。臓器粘膜の表面散乱の光と深部からの散乱光とを成分分離する機能について説明する図であって、（Ａ）は照明側、（Ｂ）は受光側を示す図である。臓器粘膜からの反射光による輝度変動のグラフである。本開示による内視鏡を含むシステムの実施形態の全体構成を模式的に示す図である。

　以下の実施形態では、水晶ローパスフィルタと偏光フィルタとを適切に組み合わせることにより、上記の課題を解決することができる。

　ある実施形態において、前記光学ローパスフィルタは、前記複数の偏光光学素子の各々を透過した光線少なくとも一部を前記カラーモザイクフィルタにおける前記カラーフィルタの配列ピッチ以上の距離だけ前記撮像面に平行な方向にシフトさせるように構成されている。

　ある実施形態において、前記複数の偏光光学素子および前記複数の受光素子の２次元的な配列の周期は、前記光学ローパスフィルタの遮断周波数の整数倍の空間周波数を有している。

　ある実施形態において、前記光学ローパスフィルタは、前記撮像面に平行な面内において一様な光学特性を有している。

　ある実施形態において、前記光学ローパスフィルタは、第１のλ／４板、第１の複屈折ローパスフィルタ層、第２のλ／４板、および第２の複屈折ローパスフィルタ層を光入射側からこの順序で備える。

　ある実施形態において、前記光学ローパスフィルタは、前記第２の複屈折ローパスフィルタ層と前記カラーモザイクフィルタとの間に、第３のλ／４板、および第３の複屈折ローパスフィルタ層をこの順序で備える。

　ある実施形態において、前記複数の偏光光学素子は、各々が４個の偏光光学素子からなる複数の基本ユニットが行および列状に配列された偏光素子アレイを構成しており、各基本ユニットに含まれる４個の偏光光学素子の偏光透過軸の方向は相互に異なっており、前記複数の基本ユニットは、前記カラーモザイクフィルタにおける同一の色のカラーフィルタを１つの基本ユニットが覆うように配置されている。

　ある実施形態において、２行２列に配置された４個の前記基本ユニットは、前記カラーモザイクフィルタにおける２行２列に配置された４個のカラーフィルタを覆っている。

　ある実施形態において、前記カラーモザイクフィルタにおける２行２列に配置された４個のカラーフィルタはベイヤー配列を形成している。

　ある実施形態において、前記光学ローパスフィルタは、前記第３の複屈折ローパスフィルタ層と前記カラーモザイクフィルタとの間に、第４のλ／４板、および第４の複屈折ローパスフィルタ層をこの順序で備える。

　ある実施形態において、前記光学ローパスフィルタは、第１のλ／４板、第１の複屈折ローパスフィルタ、第２のλ／４板、および第２の複屈折ローパスフィルタを光入射側からこの順序で備え、前記第１のλ／４板は、前記複数の偏光光学素子の各々を透過した光の偏光状態を円偏光に変化させるように遅相軸および進相軸の方向が調整されたパターンを有している。

　ある実施形態において、前記カラーモザイクフィルタは、ベイヤー配列の基本単位が二次元的に配列された構造を有し、１個の受光素子に１個のカラーフィルタが対応しており、前記複数の偏光光学素子は、偏光透過軸が９０°異なる２つの偏光光学素子が交互に一方向に沿って配列された第１のストライプ状アレイと、偏光透過軸が９０°異なる２つの偏光光学素子が交互に一方向に沿って配列された第２のストライプ状アレイであって、前記第２のストライプ状アレイの偏光光学素子の偏光透過軸が第１のストライプ状アレイの偏光光学素子の偏光透過軸に対して４５°の角度で交差する第２のストライプ状アレイとを含む。

　ある実施形態において、前記第１のλ／４板は、前記複数の偏光光学素子の第１のストライプ状アレイに対向する第１ストライプ部分と、前記複数の偏光光学素子の第２のストライプ状アレイに対向する第２ストライプ部分ととを備え、前記第１ストライプ部分の遅相軸および進相軸は、前記第１ストライプ部分の遅相軸および進相軸に対して４５°の角度を形成して交差している。

（実施形態１）
　図１は、本開示の第１の実施形態による偏光撮像素子の断面構成例を示している。

　本実施形態の偏光撮像素子は、撮像面１０上に配列され、各々が光を電気信号に変換する複数の受光素子１２と、これら複数の受光素子１２を覆う光学素子アレイ２０とを備える。図１では、複数の受光素子１２のうちの４個の受光素子が記載されているが、現実には、より多くの受光素子１２が撮像面１０上に２次元的に配列されている。

　光学素子アレイ２０は、撮像面１０に対向する面内で２次元的に配列された複数の光学素子２２を含む。図１では、光学素子アレイ２０に含まれる２個の光学素子２２のみが記載されているが、現実には、より多くの光学素子２２が光学素子アレイ２０に含まれている。各光学素子２２には光線２８が入射し、各光学素子２２から光線３０が出射する。光学素子２２の働きにより、光線３０の偏光度は光線２８の偏光度よりも高められる。光学素子２２を透過した光線３０は、水晶ローパスフィルタ２１０８を通過して、２つの光線に分岐される。分岐した光線は、それぞれ、モザイクカラーフィルタ１０９０における異なる色のカラーフィルタを透過してフォトダイオードに１２に入射する。フォトダイオード１２はセンサ基板１０３に形成されている。

　水晶ローパスフィルタ２１０８によって光線が分岐する結果、例えば、水晶ローパスフィルタ２１０８を介して文字Ａの像を観察すると、図２に模式的に示すように、２つの文字Ａが重なりあった像に見える。図２には、参考のため、撮像面に平行な面内における水平方向（Ｈ方向）および垂直方向（Ｖ方向）を示す２つの矢印が示されている。以下の説明では、簡単のため、撮像面に平行な面内における水平方向（走査線の方向）を「Ｈ」、撮像面に平行な面内における垂直方向（走査線に垂直な方向）を「Ｖ」と表記する場合がある。このような「Ｈ」および「Ｖ」の方向は、撮像装置の姿勢によらず、撮像面に対して決定される。

　図２の左側の例では、水平方向に像がシフトしており、右側の例では、垂直方向に像がシフトしている。像のシフト量は、水晶ローパスフィルタの厚さや屈折率異方性に依存する。なお、本開示の実施形態では、水晶ローパスフィルタを用いて光線を分岐しているが、水晶以外の複屈折材料から形成されたローパスフィルタを用いても良い。

　図１の構成例では、フォトダイオードの中心間距離に等しいシフトが生じるように水晶ローパスフィルタが設定されている。フォトダイオードの中心間距離は、「画素ピッチ」と称される場合がある。本明細書では、各フォトダイオードを「画素」ではなく、「サブ画素」と呼ぶ場合がある。水晶ローパスフィルタを面内で９０°だけ回転させると、像のシフト方向も９０°だけ回転する。シフト方向が直交するように２枚の水晶ローパスフィルタを積層すると、像は４個に分かれることになる。画像を、カラーフィルタの配列ピッチの整数倍だけシフトさせると、カラーモザイクフィルタによるモアレの発生を防止することができる。

　図１における光学素子２２は、偏光光学素子である。近年では、可視光の範囲で波長依存性の無い微細な偏光素子が開発されつつある。このような偏光光学素子は、例えば、ポリマー製の偏光素子、フォトニック結晶の偏光素子、誘電体からなる構造複屈折素子、アルミニウム等を用いる金属ワイヤグリッド偏光子を含む。このような偏光光学素子を利用すれば、カラー偏光画像を撮像することが可能である。

　以下、白色光を用いる方式でカラー情報を取得する偏光撮像素子の実施形態を説明する。これらの実施形態を改変して面順次方式のカラー偏光撮像素子を得ることは容易であるため、その詳細な説明は省略する。

　図３を参照する。図３は、本実施形態の偏光撮像素子のより詳細な断面構成を示している。図３の構成例において、不図示の被写体からの光は、対物レンズ１１０を透過した後、偏光光学素子２７０１、２７０２、水晶ＬＰＦ（ローパスフィルタ）３７００、マイクロレンズ２１１０、カラーモザイクフィルタ１０９を通過して、フォトダイオード２１０５～２１０７に入射する。偏光光学素子２７０１、２７０２は、それぞれ、図１における光学素子２２に相当する。

　このような構成を採用することにより、水晶ＬＰＦ３７００が有する複屈折による偏光への影響を排除して、偏光撮像とカラーモザイクによるカラー撮像の両立が可能になる。水晶ＬＰＦ３７００は、カラーモザイクフィルタ１０９へ光を分岐して入力し、モアレや偽色を無くすために使用される。本実施形態では、カラーモザイクフィルタにおける各カラーフィルタの配列、および水晶ＬＰＦの多層構造に工夫をしている。

　図４は、水晶ＬＰＦの動作原理を示す図である。図４には、水晶ＬＰＦの断面が記載されている。図４の左側部分には、水晶ＬＰＦの下方から水晶ＬＰＦに円偏光が入射している様子が示され、図４の中央部には、水晶ＬＰＦの下方から水晶ＬＰＦに直線偏光（Ｓ偏光）が入射している様子が示され、図４の右側部分には、水晶ＬＰＦの下方から水晶ＬＰＦに直線偏光（Ｐ偏光）が入射している様子が示されている。図の例では、Ｓ偏光の偏光方向は紙面に垂直であり、Ｐ偏光の偏光方向は紙面に平行である。図４に示される水晶ＬＰＦにおける結晶の光学軸（ｏｐｔｉｃ　ａｘｉｓ）は、紙面内に存在する。

　円偏光あるいは非（ランダム）偏光の光が水晶ＬＰＦに入射すると、光は、常光線（ここではＳ偏光）、と異常光線（ここではＰ偏光）に分離して異なる光路を伝搬する。その結果、水晶ＬＰＦの出力面で２光線の出射位置の一方がシフトする。水晶ＬＰＦを介して画像を見ると、シフトした画像が重なり合うために画像の空間周波数の低域が生じる。その結果、カラーモザイクフィルタによるモアレや偽色のアーティファクトが低減される。

　水晶ＬＰＦによる光線シフトの向きは、水晶ＬＰＦにおける単軸結晶の光軸向きで定まる。シフト量は、水晶ＬＰＦの厚さｔと常光線、異常光線の屈折率によって定まる。

　本実施形態のように、水晶ＬＰＦの前段に偏光光学素子が置かれる場合には、水晶ＬＰＦに入射する光は偏光した光である。このため、そのままでは、水晶ＬＰＦによって入射光を分岐できない偏光が水晶ＬＰＦに入射する場合があり、そのような場合には、水晶ＬＰＦによる画像の空間周波数を低減する効果が得られない。具体的には、水晶ＬＰＦに直線偏光が入射すると、Ｓ偏光の場合には、スルー状態で透過し、Ｐ偏光の場合には、光線は斜めに伝搬してシフトするだけとなる。これらの場合、画像の空間周波数は低減しない。

　図５は、図３の装置における画素配置の一例を示す平面図である。本実施形態では、偏光透過軸が方位角で４５°ずつ異なる４種類の偏光光学素子が隣接設置されている。また、画像のＨ軸方向に隣接する２種類の偏光光学素子どうしは偏光透過軸として９０度の差を有している。図５の例では、偏光光学素子アレイの２×２画素の領域において、左上と右上の領域は０°と９０°の偏光透過軸を有し、左下と右下の領域は１３５°と４５°の偏光透過軸を有している。

　このように、本実施形態における偏光撮像素子では、複数の偏光光学素子の各々が、複数の受光素子を覆っており、かつ、撮像面に平行な面内における所定方向に偏光した光を光学ローパスフィルタに入射させる。カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有し、複数のカラーフィルタは、各偏光光学素子から出た光が異なる色の対応する複数のカラーフィルタを透過するように配置されている。

　本実施形態では、１個の偏光光学素子は、ベイヤーカラーモザイクフィルタの３×３画素をカバーしている。そのため、４種の偏光光学素子を含む単位偏光画素は、ベイヤーカラーモザイクフィルタの６×６画素領域に対応する。この対応する画素領域の画素数は他の数でもよい。水晶ＬＰＦの作用により、画素の最高空間周波数は１／２まで低下する。このため、隣接する偏光光学素子の境界線付近の１画素は、光線が入り混じる可能性が高い。たとえば上記の３×３画素を２×２画素にすると、偏光検出性能が劣化する可能性がある。

　なお、ベイヤー配列とは、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３色のカラーフィルタが２行２列の４領域に分かれて配置された配列であり、４領域のうち、対角線上に位置する２領域にはＧ（グリーン）のカラーフィルタが配置されている。カラーモザイクフィルタの配列は、このようなベイヤー配列に限定されず、少なくとも３色のカラーフィルタから構成される単位が周期的に配列されていればよい。この点は、他の実施形態についても同様である。

　出力画像の解像度につき説明する。

　まず、非偏光仮定フルカラー画像は、ベイヤーモザイクの補間処理によりＭ×Ｎ画素にて生成される。一方、偏光画像は、４種類の偏光光学素子を１単位として、中心画素を点２８０１として得られる。この１単位に含まれる画素数が６×６画素なので、カラー偏光画像の解像度は、（（Ｍ／６）＋１）×（（Ｎ／６）＋１）画素となる。

　以上のように、非偏光仮定フルカラー画像を生成する場合にはもとの撮像素子の最高解像度そのままのカラー画像を得ることが可能となる。偏光画像の場合には解像度は低下するものの、カラー毎の偏光画像が得られるという利点がある。

　図６は、図３の実施形態に使われる光学ＬＰＦ３７００を示す図である。この光学ＬＰＦ３７００は、λ／４板と水晶ＬＰＦとを多層に組み合わせて作製されている。偏光光学素子を透過してきた入射光線２９０１は、直線偏光なので、まずストライプλ／４板２９０２にて円偏光に変換する。直線偏光の偏光方向は、偏光光学素子の偏光透過軸の方向によって規定される。本実施形態では、透過した偏光光学素子の偏光透過軸の方向が、基準軸に対して０°、４５°、９０°、１３５°の４種類であるため、水晶ＬＰＦ３７００に入射する直線偏光の偏光方向は４通りである。

　図７に、このストライプλ／４板の２次元構造を示す。ストライプλ／４板２９０２の役割は、４種類の直線偏光から円偏光を生成することにある。このストライプλ／４板２９０２は、図７のＨ方向に延びる２種類のストライプ２９０２Ａ、２９０２Ｂが図７のＶ方向に交互に配列された構造を有している。図７には、参考のため、偏光光学素子も記載されている。

　ストライプ２９０２Ａは、偏光光学素子の方位角が０°と９０°の行に対応付けられる。ストライプ２９０２Ａでは、ストライプが延びる方向に対してλ／４板のＸ（Ｆａｓｔ）軸とＹ（Ｓｌｏｗ）軸を４５°傾けている。Ｆａｓｔ軸（進相軸）は、その軸方向に平行な方向に偏光した光に対する屈折率が最小となる軸であり、Ｓｌｏｗ軸（遅相軸）は、その軸方向に平行な方向に偏光した光に対する屈折率が最大となる軸である。言い換えると、Ｆａｓｔ軸の方向に偏光した光は、相対的に高い位相速度で複屈折材料中に伝播し、Ｓｌｏｗ軸の方向に偏光した光は、相対的に低い位相速度で複屈折材料中に伝播する。

　ストライプ２９０２Ｂは、偏光光学素子の方位角が、４５°と１３５°の行に対応付けられる。ストライプ２９０２Ｂでは、ストライプが延びる方向に対してλ／４板のＸ（Ｆａｓｔ）軸とＹ（Ｓｌｏｗ）軸を０°または９０°に設定している。

　このように、本実施形態では、対向する偏光光学素子とストライプ２９０２Ａまたは２９０２Ｂとの間で、偏光光学素子の偏光透過軸がストライプλ／４板２９０２のＸ（Ｆａｓｔ）軸およびＹ（Ｓｌｏｗ）軸に４５°の角度で交差する構成が実現している。これによって、４種類の直線偏光に対して全てを円偏光に変換できる。偏光光学素子の偏光透過の方位角が０°と９０°の行、および、４５°と１３５°の行とを列方向に繰り返すことによって、本実施形態における上記の構成および効果を実現できる。ストライプλ／４板は、たとえば非特許文献１にあるような樹脂の微細加工の技術によって作成可能である。

　再び図６を参照する。入射光線は、このストライプλ／４板２９０２を透過した後に、水晶ＬＰＦ（Ｖ）２９０３によって垂直（Ｖ）方向へ光線を２つに分離される。次に再びλ／４板２９０４を用いて円偏光に変換し、今度は水晶ＬＰＦ（Ｈ）２９０５を用いて水平（Ｈ）方向へ各光線をそれぞれ２つに分離することによってベイヤーカラーモザイクフィルタの４画素に光線を分割する。

（実施形態２）
　図８は本開示の第２の実施形態による偏光撮像素子の断面構成例を示している。本実施形態では、カラーモザイクの１色内で偏光画素を平均化する。その結果、通常輝度が得られるため、通常のフルカラー画像の生成とカラー偏光画像の両方の取得が可能になる。その場合、カラー偏光画像がフルカラー画像に比べて解像度の低下が小さいという利点もある。

　図８の断面図において、入射光線が、対物レンズ１１０などの入射側から偏光光学素子２７０１、２７０２、光学ＬＰＦ（ローパスフィルタ）４１００、マイクロレンズ２１１０、カラーモザイクフィルタ１０９を通過した後、フォトダイオード２１０５、２１０６に入射する。

　第１の実施形態では、１個の偏光光学素子に、ベイヤーカラーモザイクフィルタの複数のカラーおよび画素が対応していた。これに対して、本実施形態では、カラーモザイクフィルタの１色単位１０９がカバーする領域内に、複数の偏光光学素子２７０１、２７０２とフォトダイオード（画素）２１０５、２１０６がそれぞれ対応する。

　上記の構成によればカラー毎の偏光画像を取得する際に解像度が実質的に低下しない利点がある。光学ＬＰＦ４１００は、カラーモザイクフィルタへ光を分岐して入力し、モアレや偽色を無くすという効果を発揮する。この効果を出すため、本実施形態では、光学ＬＰＦ４１００に含まれる水晶ＬＰＦへ非偏光、あるいは円偏光を入射する。本実施形態のように４方向の偏光が組み合わされて入力される場合には、公知の光学ＬＰＦを使用しただけではモアレや偽色を無くすという効果が現れない。本実施形態では、カラーモザイクと偏光モザイクの組み合わせにおける空間周波数の関係と光学ＬＰＦの遮断周波数を考慮しながら、水晶ＬＰＦとλ／４板の多層構造を用いることにより、モアレや偽色を無くす効果を実現している。

　図９は、本実施形態におけるカラーフィルタおよび偏光光学素子の配列例を示す平面図である。図９の例では、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３色のカラーフィルタがベイヤー配列を構成している。３色のカラーフィルタは、２行２列の４領域に分かれて配置されている。４領域のうち、２領域にはＧ（グリーン）のカラーフィルタが配置されている。なお、本実施形態でのカラーフィルタの配列は、この例に限定されない。

　本実施形態では、１つの同一色カラーフィルタに偏光透過軸の方位が異なる４種類の偏光光学素子が対応する。すなわち、ベイヤーカラーモザイクフィルタの１色の領域が、偏光透過軸が方位角で４５°ずつ異なる２行２例に配列された４個の偏光光学素子（偏光光学素子アレイの基本ユニット）に対応する。なお、フォトダイオードは、偏光光学素子に一対一で対応している。例えばＲ（レッド）の１つのカラーフィルタは、４つの偏光光学素子および４つのフォトダイオードに対応している。その結果、非偏光のカラー画像を出力する場合には、４種類の偏光画素を平均化処理することで１画素の輝度信号を生成する。このため、画素解像度は（Ｍ／２）×（Ｎ／２）に低下する。しかし、カラーの偏光画像を出力する場合にも、偏光画像の画素中心が点２９１０になるため、同じ解像度である（Ｍ／２）×（Ｎ／２）画素を維持できる。本明細書では、１つの同一色カラーフィルタに対応する２行２列のフォトダイオードの各々を「サブ画素」と称する場合がある。

　図１０は、図８に示す構成で使われる多層光学ＬＰＦ板４１００の断面構成例を示す。本実施形態で使用される光学ＬＰＦは、複数の偏光光学素子の各々を透過した光線の少なくとも一部をカラーモザイクフィルタにおけるカラーフィルタの配列ピッチ以上の距離だけ撮像面に平行な方向にシフトさせるように構成されている。より具体的には、複数の偏光光学素子および複数の受光素子の２次元的な配列の周期は、光学ローパスフィルタの遮断周波数の整数倍の空間周波数を有しており、光学ローパスフィルタは、撮像面に平行な面内において一様な光学特性を有している。

　光学ＬＰＦ板４１００は、前述のようにλ／４板と水晶ＬＰＦとを多層に組み合わせて作製されている。より具体的には、光学ＬＰＦ板４１００は、光の入射側から、水平、垂直方向にＦａｓｔ、Ｓｌｏｗ軸を有するλ／４板４１０１、垂直方向の下（Ｙ軸正）向きへ２画素分だけ光をシフトする複屈折特性を有する水晶ＬＰＦ（Ｖ１）４１０２、水平、垂直方向から４５°傾斜したＦａｓｔ、Ｓｌｏｗ軸を有するλ／４板４１０３、垂直方向の上（Ｙ軸負）向きへ２画素分だけ光をシフトする複屈折特性を有する水晶ＬＰＦ（Ｖ２）４１０４、水平、垂直方向にＦａｓｔ、Ｓｌｏｗ軸を有するλ／４板４１０１、水平（Ｈ）方向に２画素分だけ光をシフトできる複屈折特性を有する水晶ＬＰＦ（Ｈ）４１０６を備えている。

　λ／４板の役割は、直線偏光を円偏光に変換することである。そのため、積層された複数のλ／４板の各々に入射する直線偏光に対して各λ／４板の光学軸が４５°の傾斜角を有するように光学ＬＰＦ板４１００は構成されている。

　図１１は、光学ＬＰＦ板４１００における水晶ＬＰＦの光線シフト量とカラーモザイク、偏光モザイクとの関係を示す図である。図１１（１）では、水晶ＬＦＰ（Ｖ１）４１０２を透過した光線がその下層のカラーモザイクに入射する様子を示している。図面では、光線は便宜的に斜め上から入射するように表現されている。水晶ＬＰＦの役割は、カラーモザイクにおけるモアレ、偽色の防止にあるため、光線はカラーモザイクの１色分すなわち２画素分だけ垂直下向きにシフトさせる。

　たとえばＧ画素の４つのサブ画素に入る非偏光の光線群４１０３は、水晶ＬＦＰ（Ｖ１）４１０２により、Ｇ画素の本来のサブ画素と、Ｂ画素の同じ偏光透過軸のサブ画素に分岐して重畳する。

　同様に図１１（２）は、水晶ＬＦＰ（Ｖ２）４１０４を透過した非偏光の光線がその下層のカラーモザイクに入射する様子を示している。光線はカラーモザイクの１色分すなわち２サブ画素分だけ垂直上向きにシフトする。たとえばＢ画素のサブ画素に入る非偏光の光線群４１０５は、Ｂ画素の本来のサブ画素と、Ｇ画素の同じ偏光透過軸のサブ画素に分岐して重畳する。

　同様に図１１（３）は、水晶ＬＦＰ（Ｈ）４１０６を透過した非偏光の光線がその下層のカラーモザイクに入射する様子を示している。光線はカラーモザイクの１色分すなわち２画素分だけ水平右向きにシフトする。たとえばＧ画素のサブ画素に入る非偏光の光線群４１０７は、Ｇ画素の本来のサブ画素と、Ｒ画素の同じ偏光透過軸のサブ画素に分岐して重畳する。

　次に、図１２、図１３Ａおよび図１３Ｂを参照しながら、図１０の多層光学ＬＰＦ板４１００を透過する過程で光の偏光状態の変化およびシフトがどのように生じるかを説明する。図１２、図１３Ａおよび図１３Ｂでは、左側に偏光状態を模式的に記載し、右側に光の画素値を模式的に記載している。ここで「画素値」とは、サブ画素における光のシフトおよび重畳の状態を考慮して観測されるエネルギー量を示している。図１２、図１３Ａおよび図１３Ｂには、ベイヤーモザイク配列の基本単位を構成する２×２個の色画素（Ｇ、Ｒ、Ｂ、Ｇ）に含まれる４×４個のサブ画素が示されている。

　まず、図１２（１）を参照する。図１２（１）は、４×４個の偏光光学素子を透過した直後の４×４個のサブ画素領域における光の状態を示している。偏光光学素子によって、各サブ画素に対応して偏光方向が４５°づつ異なる直線偏光が形成され、図１０に示すλ／４板４１０１に入射する。偏光光学素子を透過した光は、エネルギー量をそのまま維持しており、この状態を図１２ではＴ（スルー:Through）と表記している。

　図１２（２）は、λ／４板４１０１を透過した直後の状態を示す。図中において、円形の矢印は、円偏光を意味している。λ／４板４１０１のＦａｓｔ、Ｓｌｏｗ軸の向き４０３２が基準方向（図９に示す水平方向Ｈまたは垂直方向Ｖ）に対して平行または直交しているため、図１２（２）に示すように、λ／４板４１０１を透過した光の偏光状態が円偏光になる画素と直線偏光になる画素とが市松状に発生する。しかし、図１２（２）の右側に示すように、画素値は変化しない。

　図１２（３）は、水晶ＬＦＰ（Ｖ１）４１０２を透過した直後の状態を示す。幾つかのサブ画素領域には、水平方向の実線の矢印と、その矢印と交差する線分とが示されている。水平方向の実線の矢印は、シフトしない常光の偏光方向を示し、線分は、シフトする異常光の偏光方向を示している。この記号が付されたサブ画素領域では、Ｖ方向の２画素ごとに光線（異常光）がシフトして常光と重畳される。図１１を参照しながら説明したように、この水晶ＬＦＰにおける光学軸の向き４０３５に合わせて、光線は垂直下向きに２サブ画素シフトする。この際、もともと円偏光状態の光線が通過するサブ画素では、光線が常光と異常光に分離して重畳される。そのため、図１２（２）に示す円偏光の光が入射するサブ画素領域４０３６における画素値は、Ｖ方向に平均加算した値を持つ。一方、偏光方向が０°方向の直線偏光および９０°方向の直線偏光が入射するサブ画素領域４０３８、４０４０における画素値は、それぞれ、変化なし（スルー）の状態Ｔ、およびＶ方向に２サブ画素シフトした状態Ｓとなる。

　図１３Ａ（４）は、λ／４板４１０３を透過した直後の状態を示す。Ｆａｓｔ、Ｓｌｏｗ軸の向き４０４２が基準方向に対して４５°傾斜しているため、透過光が円偏光に変化するサブ画素と、常光と異常光の重畳しているサブ画素とが市松状に発生する。λ／４板４１０３のような位相差板を透過しても、画素値は図１２（３）の状態のまま変化しない。

　図１３Ａ（５）は、水晶ＬＰＦ（Ｖ２）４１０４を透過した直後の状態を示す。水晶ＬＦＰにおける光学軸の向き４０４３に合わせて、光線は垂直上向きに２サブ画素シフトする。この際、円偏光状態の光線が水晶ＬＰＦ（Ｖ２）４１０４に入射したサブ画素領域４０４４の光は、図１３Ａ（５）の左側部分に示すように、円偏光状態の光線が常光と異常光に分離して重畳される。その画素値４０４５はＶ方向に平均加算した値を持つ。一方、水晶ＬＰＦ（Ｖ２）４１０４に入射する前に常光と異常光に分離して重畳していたサブ画素領域４０４６では、常光および異常光のそれぞれの光線が、スルーとシフトをする。このため、このようなサブ画素領域４０４６での画素値は、再度Ｖ方向に平均加算された値４０４７を持つ。これをＶＶと表記する。また、図１３Ａ（４）の段階ではＳで表記されていたサブ画素領域４０４８では、Ｖ方向に下向き画素ズレを発生していたが、今回の平均化によって上向きに画素ズレをする。このため、画素ズレを解消することができ、同時にＶ方向の平均化が達成できる。

　図１３Ｂ（６）は、λ／４板４１０１を透過した直後の状態を示す。λ／４板４１０１におけるＦａｓｔ、Ｓｌｏｗ軸の向き４０４９が基準方向に対して平行または直角であることから、全てのサブ画素領域で円偏光に変化する。画素値は図１３Ａ（５）の状態のまま変化しない。

　図１３Ｂ（７）は、水晶ＬＰＦ（Ｈ）４１０６を透過した直後の状態を示す。各サブ画素領域には、垂直方向の実線の矢印と、その矢印と交差する線分とが示されている。垂直方向の実線の矢印は、シフトしない常光の偏光方向を示し、線分は、シフトする異常光の偏光方向を示している。各サブ画素領域では、Ｈ方向の２画素ごとに光線（異常光）がシフトして常光と重畳される。水晶ＬＦＰ４１０６における光学軸の向き４０５１に合わせて、光線は水平右向きに２画素シフトする。円偏光状態の光線は全サブ画素において、常光と異常光に分離して重畳される。その画素値はＨ方向に平均加算される。この状態を図１３Ｂ（７）ではＶＨ、またはＶＶＨと表記した。

　以上、図８に示される偏光光学素子２７０１、２７０２から出て多層光学ＬＰＦ板４１００に入射した光線（サブ画素毎に偏光方向が異なる直線偏光）は、図１２および図１３Ａの（１）から図１３Ｂの（７）の過程を経て、カラーモザイクフィルタに入射される。その後、サブ画素に対応するフォトダイオードにて画素信号に変換される。カラーモザイクフィルタには各偏光光学素子を透過した光が、２サブ画素ごとにＶ（垂直）、Ｈ（水平）の方向にシフトして、平均加算された状態で入力されるためモアレや偽色の発生がない。

　上記の実施形態では、４枚のλ／４板および４枚の水晶ＬＰＦが積層された光学ＬＰＦ（ローパスフィルタ）４１００を用いているが、他の光学ＬＰＦ（ローパスフィルタ）を用いてもよい。例えば、第１のλ／４板、第１の複屈折ローパスフィルタ層、第２のλ／４板、および第２の複屈折ローパスフィルタ層を光入射側からこの順序で備える光学ローパスフィルタであっても、程度は低いものの、モアレの発生を抑制する効果は得られる。第２の複屈折ローパスフィルタ層とカラーモザイクフィルタとの間に、第３のλ／４板、および第３の複屈折ローパスフィルタ層をこの順序で更に備えていれば、モアレの発生を抑制する効果は向上する。

　図１４は、本実施形態における水晶ＬＰＦの空間周波数特性を示す図である。水晶ＬＰＦは、第１の実施形態における水晶ＬＰＦと同一のものを用いればよい。画素間距離をωとすると、水晶ＬＰＦの遮断周波数が１／２ωに相当する。これがベイヤーカラーモザイクフィルタの周波数に対応する。

　図１４からわかるように、遮断周波数の２倍の周波数である１／ωは、再び透過周波数帯になる。この周波数１／ωは、４方向の偏光素子の周波数に合致している。この性質があるために、本実施形態においては、水晶ＬＰＦを用いたとしても、１色がカバーする４方向の偏光画素が生成する高空間周波数の輝度分布を、ＬＰＦによる影響なしに、フォトダイオードが受光できる。光学ローパスフィルタの透過周波数帯は、遮断周波数の偶数倍に相当するため、偏光受光素子やフォトダイオードの配列における空間周波数は、光学ローパスフィルタの遮断周波数の偶数倍であればよい。

　なお、本明細書では、水晶ＬＰＦを有する構成例は全てベイヤーカラーモザイクを用いた単板カラー撮像素子である。しかし、本実施形態は、ベイヤー以外の他のカラーモザイク配列でも構わない。また、カラーフィルタを用いないモノクロ撮像素子においても画素サンプリングにおけるモアレ防止のため水晶ＬＰＦを用いる場合もあるため、その場合にも有効である。

　内視鏡においてカラー画像の取得と偏光画像の取得を同時に実施すると、光量のロスが大きくなって画像の感度が大幅に低下する。

　内視鏡におけるカラー情報の取得には、面順次方式と同時方式がある。いずれも白色光の総エネルギー量の１／３のみを用いてＲＧＢ画像を生成し、残りのエネルギーは色フィルタに吸収される。すなわち、カラー画像を生成するために有効に利用される光量は入射光線量全体の１／３である。偏光フィルタを作用させた場合、消光比が１０００：１程度の一般的な偏光フィルタはＰ波またはＳ波を完全に吸収してしまうため、光量はさらに１／２に減少する。つまり、カラーと偏光の情報を取得するためには、撮像素子のフォトダイオードで電気信号に変換され得る光量は、入射光線量の１／６に減少してしまうことになる。

　内視鏡分野では、高感度の画像への要望は非常に大きい。近年は狭帯域の分光カラー照明による撮像なども使われているが、画像が暗くなってしまうこと、すなわち感度低下することが大きな課題となっている。ここで、分光画像の替わりに偏光画像を用いると、カラー画像を明るく撮像できる可能性があるが、上記のように実際には暗い画像しか得られないため、内視鏡において実用的に偏光撮像を撮像するには困難があった。

　従来の偏光撮像素子では、偏光選択比の高い既存の偏光フィルタ素子（偏光選択比は、通常、１００以上）が用いられる。このため、一般の光源から得られる非偏光の光が偏光撮像素子に入射した場合には、偏光フィルタを透過できる光の量が１／２となり暗い低感度な画像となる。

　本開示では、内視鏡に適用可能な明るい画像と偏光情報とを同時に取得できる偏光撮像素子を提供できる。

　図１５は、本開示の偏光撮像素子の基本的な構成例を模式的に示す断面図である。本開示の偏光撮像素子は、撮像面１０上に配列され、各々が光を電気信号に変換する複数の受光素子１２と、これら複数の受光素子１２を覆う光学素子アレイ２０とを備える。光学素子アレイ２０は、撮像面１０に対向する面内で２次元的に配列された複数の光学素子２２を含む。図１５では、複数の受光素子１２のうちの２個の受光素子が記載されているが、現実には、より多くの受光素子１２が撮像面１０上に２次元的に配列されている。また、同様に光学素子アレイ２０に含まれる２個の光学素子２２のみが記載されているが、現実には、より多くの光学素子２２が光学素子アレイ２０に含まれている。

　各光学素子２２には光線２８が入射し、各光学素子２２から光線３０が出射する。光学素子２２の働きにより、光線３０の偏光度は光線２８の偏光度よりも高められる。偏光度の増加は光学素子２２での「屈折」による。このため、光学素子２２を屈折型の偏光素子と呼んでもよい。

　図１５では、各光学素子２２が簡略的に長方形の断面を有するように記載されているが、実際の光学素子２２は、光を屈折させる少なくとも１つの面を備えている。このような光学素子２２は、例えば図１６に示されるように、光線２８が入射する第１面２４と、光線３０を出射する第２面２６とを有する、断面が平行四辺形の角柱から構成され得る。図１６に示される例では、第１面２４に対する光線２８の入射角ω１が５５度から８０度までの範囲内にあり、第２面２６に対する光線２８の出射角ω２も５５度から８０度までの範囲内にある。ここで、入射角ω１は、第１面２４の法線（破線）と入射する光線２８との間の角度である。また、出射角ω２は、第２面２６の法線（破線）と出射する光線３０との間の角度である。後述するように、入射角ω１および出射角ω２の少なくとも一方が５５度から８０度までの範囲内にあれば、屈折による偏光度の増加が実現する。図１６に示される例では、光線２８が第１面２２に入射するとき、および、光線３０が第２面２４から出射するときに偏光成分に偏りが生じる現象を利用して偏光度を高める。この現象の詳細は、後述する。

　光学素子２２は多様な形状を有することができる。図１７、図１８および図１９は、それぞれ、本開示の偏光撮像素子に使用され得る光学素子２２の幾つかの例の断面形状を模式的に示している。図１７の光学素子２２では、光線２８が入射する第１面２４が反対方向に傾斜した２つの光入射平面部分に分かれている。同様に、光線３０を出射する第２面２６も、反対方向に傾斜した２つの光出射平面部分に分かれている。図１８および図１９に示される光学素子２２では、第１面２４に対する光線２８の入射角ω１は５５度から８０度までの範囲内にあるが、第２面２６に対する光線３０の出射角ω２が５５度から８０度までの範囲から外れている。なお、本開示の実施形態における光学素子の形状は、これらの図面に示された例に限定されない。

　図２０Ａ、図２０Ｂ、および図２０Ｃは、それぞれ、図１７の光学素子２２の断面、上面、および側面を示している。ここで、撮像面１０に平行な面としてＸＹ面を置き、撮像面１０に垂直な方向にＺ軸を置く。この光学素子２２は、Ｙ軸方向に延びる２個の三角プリズムを一体化した構造を有している。光学素子２２を撮像面１０に垂直な方向（Ｚ軸の方向）から見たとき、光学素子２２の第１面２４または第２面２６の法線（破線）の方位は、図の座標におけるＸ軸方向に等しい。後に詳しく説明するように、１つの光学素子アレイ２０に含まれる光学素子２２のＸＹ面内における方位は３以上である。光学素子２２のＸＹ面内における方位を特定するため、「方位角」を定義することが便利である。本明細書では、撮像面１０に垂直な方向から光学素子２２を見たときの光学素子２２の第１面２４または第２面２６の法線（破線）の方位とＹ軸との間の角度を「光学素子の方位角」と定義する。図２０Ｂにおける光学素子の方位角は９０°である。

　本開示では、光学素子２２の方位角が少なくとも３つの異なる角度を有するように複数の光学素子２２が配列されている。こうして、偏光方向が少なくとも３つの方向に異なる光を各受光素子１２に入射させることが可能になる。その結果、１個の画素または複数の画素単位で偏光方向が異なる画像を取得することが可能になる。このような偏光撮像素子は、内視鏡などの撮像装置に好適に用いられ得る。

　光学素子アレイは、各々がＸ個（Ｘは３以上の整数）の光学素子から構成される複数の光学単位が二次元的に配列された構成を有している。各光学単位に含まれるＸ個の光学素子は、各光学素子が有する前記第１面または第２面の法線の方位角が少なくとも３つの異なる角度を有するように各光学単位内で配置されている。

　以下、図面を参照しながら、本開示による偏光撮像素子の実施形態をより詳細に説明する。

（実施形態３）
　図２１は、本開示の第３の実施形態による偏光撮像素子の構成の一部を示す断面図である。本実施形態の偏光撮像素子１０１は、受光素子として機能するフォトダイオード１０４、１１６が撮像面１０上に二次元的に配列されたセンサ基板１０３と、センサ基板１０３に支持された光学素子アレイ２００とを備えている。

　センサ基板１０３には、遮光膜１０５、カラーフィルタ１０９、水晶ＬＰＦ（ローパスフィルタ）１１２が配置されている。カラーフィルタ１０９および水晶ＬＰＦ１１２は、後述するように、同時方式の照明で用いられるが、面順次式の照明の場合には用いられない。

　光学素子アレイ２００は、方位角の異なる光学素子１０２、１１１を含む複数の光学素子を備えている。これらの光学素子の各々は、図２０Ａ、図２０Ｂ、および図２０Ｃに示された構成を有しており、偏光素子として機能する。このような屈折によって偏光度を高める光学素子を、本願明細書では「プリズム光学素子」と呼ぶことにする。プリズム光学素子１０２、１１１は、それぞれが、フォトダイオード１０４、１１６の１個または複数個をカバーするように配置されている。対物レンズ１１０を透過した入射光線１０６は、プリズム光学素子１０２の斜面（第１面）で屈折してプリズム光学素子１０２の内部に侵入して屈折光１０７となる。屈折光１０７は、プリズム光学素子１０２の別の面（第２面）で屈折して出射光線１０８となる。出射光線１０８は、水晶ＬＰＦ１１２およびカラーフィルタ１０９を透過してフォトダイオード１０４に到達する。

　フォトダイオード１０４に隣接するフォトダイオード１１６の上には別のプリズム光学素子１１１が配置されている。プリズム光学素子１０２とプリズム光学素子１１１は、入射光線１０６の軸周りに異なる向きに配置されている。図２１では、プリズム光学素子１０２とプリズム光学素子１１１とが互いに９０°異なる向きに設置されている様子を描いている。現実の偏光撮像素子１０１におけるセンサ基板１０３には、より多くのフォトダイオードが撮像面１０上に配列されている。

　隣接するプリズム光学素子１０２、１１１などの光学素子は、平板部１１４によって相互に接続されて１個の光学素子アレイ２００を構成している。光学素子アレイ２００の全体は、支持体１１３を介してセンサ基板１０３に固定されている。図２１の例では、取り付けネジ１１５によって支持体１１３とセンサ基板１０３とが連結されている。支持体１１３は、光学素子と一体化して作成されていてもよい。例えば、ある厚さの透明基板を切削することによって、光学素子アレイ２００を作製してもよい。なお、光学素子アレイ２００とセンサ基板１０３との固定は、取り付けネジ１１５を用いることなく、他の固定具または接着剤などを用いて行ってもよい。

　図２２は、偏光撮像素子１０１を光入射側から見た平面図である。図２２の一点鎖線２０１に沿った断面図が図２１に相当する。図２２では、偏光撮像素子１０１の四隅近傍に取り付けネジ１１５が位置している。図２２の例では、支持体１１３に囲まれた矩形のエリアが撮像面である。簡単のため、この撮像面内には、４行４列に配列された１６画素分のフォトダイオードが記載されているが、現実には、より多くのフォトダイオードが配列される。フォトダイオードは、例えば１００万画素を超える画素を構成するように形成され得る。なお、本明細書では、１画素を１セルと称する場合がある。本実施形態では、１個のフォトダイオードに１個のプリズム光学素子が割り当てられ、各プリズム光学素子を透過した光が、対応する１個のフォトダイオードに入射する。

　各フォトダイオードを覆うプリズム光学素子は、隣接する画素ごとに４５°ずつ４種類が異なった方位角にて配置されている。この配置によって平面上で選択されるいずれの２×２セルには、かならず異なる４種類の向きを有するプリズム光学素子が含まれることになる。撮像面１０において、図２２の破線で示す単位２０２および単位２０３は、それぞれ、２行２列に配置された４個のフォトダイオードを含み、かつ、２行２列に配置された４個のプリズム光学素子に覆われている。以下、２行２列に配置されたフォトダイオード（画素）を「２×２セル」と称する。各単位２０２、２０３には、偏光方向が異なる４種類の光が入射する。２×２セルを単位として処理することによって偏光の振動面を推定することができる。

　図２３は、１個のプリズム光学素子の形状と光の経路を説明する図である。プリズム光学素子は一般には二等辺三角形の断面を有している。しかし、本実施形態で使用するプリズム光学素子は、断面が正三角形のプリズムが底面を合わせて２個接着された形状を有している。より詳細には、本実施形態のプリズム光学素子は、断面が正三角形の２つのプリズムが一体化された構成を有し、しかも、これらのプリズムは同一の材料から形成され、かつ、プリズム材料以外の材料を介することなく、連続している。

　断面の正三角形の頂点の角度は全て６０°である。光学素子の真上から撮像面１０に対して垂直に入射光線が入射点３０１に到達すると、プリズム光学素子の斜面（第１面）での入射角ω１は６０°となる。このプリズム光学素子がアクリル板、あるいは石英ガラス等で作られている場合、屈折率は１．５程度となる。その結果、入射光線１０６が空気中からプリズム光学素子内に進入する際の出射角θは約３５．２６°である。この屈折光１０７が出射点３０２において角度ω２＝ω１で空気中に出ていく光１０８になる。光線１０６と光線１０８は平行である。このプリズム光学素子は光の進行方向は変えないが、偏光状態が変化する。

　図２４、図２５、図２６は、この偏光状態の変化を説明するグラフである。図２４では、横軸に入射角ω１、縦軸に光の透過率をとり、空気中からプリズム光学素子への入射時に受ける偏光状態の変化を示している。図２３のプリズム光学素子では、光が入射する面（第１面）が反対方向に傾斜した２つの斜面から構成され、それらの斜面が形成する角度は６０°であるため、入射角ω１は６０°に固定されている。プリズム光学素子の断面形状を変化させると、入射角ω１も変化する。

　フレネル反射屈折の理論式に屈折率１．５を代入して、プリズムの断面に対してＰ波とＳ波の透過率を計算すると、入射角ω１の関数として、図２４のＰ波とＳ波の２種類のカーブが得られる。非偏光光がプリズム光学素子に入射した場合には、Ｐ波とＳ波の両者が混在した出射光線が得られる。このような出射光線の透過率は、図２４において、「平均」と付された一点鎖線のカーブによって示されている。図２３で示したように入射角ω１＝６０°とのとき、Ｐ波の透過率はＰ１（＝約９９％）、Ｓ波の透過率はＳ１（＝約８０％）である。非偏光光の透過率は、Ｐ波とＳ波とが均等に含まれる光の透過率に等しい。このため、非偏光光がプリズム光学素子の斜面に６０°の入射角で入射たとき、約９０％の光がプリズム光学素子の内部に進入する。この時点で、光線に含まれるＰ波成分がＳ波成分よりも優位となる。言い換えると、プリズム光学素子の第１面を透過するとき、光線のＰ波成分がＳ波成分よりも多くなり、偏光度が高められる。

　図２５は、プリズム光学素子から空気中に出射する際の偏光状態の変化を説明する。屈折率が１．５のプリズム光学素子の内部から光線が第２面を透過して、外部に出射するときの透過率をフレネル反射屈折理論から計算した。図２５は、この計算によって得られたＰ波、Ｓ波、平均のカーブを描いている。図２５において入射角θは４５°付近までしか描かれていない。４５°付近以上の角度では全反射となり、光が出射不可能になる。プリズム光学素子から空気中への入射角θについて、θ＝３５．２６°を想定すると、Ｐ波の透過率はＰ２（＝約１００％）、Ｓ波の透過率はＳ２（＝約８０％）である。もし、完全な非偏光光がプリズム光学素子の内部から第２面に入射したならば、その約９０％がプリズム光学素子から外部に出射する。この場合も、Ｐ波がＳ波よりもより多く出射する。　

　図２６は、入射角ω１に依存して偏光選択比および光透過率が変化する様子を描いたグラフである。ここでは、プリズム光学素子への入射時およびプリズム光学素子からの出射時の両方を考慮し、偏光選択比および光透過率を計算した。

　偏光選択比は入射角ω１が大きいほど大きくなり、光透過率は入射角ω１が大きいほど小さくなる。従って、設計にあたっては偏光選択比および光透過率の両立できる入射角ω１を選択し得る。これは、角度において５５度から８０度の範囲内である。たとえば入射角ω１を６０°付近に設定すると、偏光選択比が約１．５、光透過率が約０．８（＝８０%）という性能を得ることができる。これは図２３の正三角形プリズムにおいて平行光が入射した場合に相当する。なお、偏光選択比とは最大値ＭＡＸとしてのＰ波と最小値ＭＩＮとしてのＳ波の強度比率Ｑ＝（ＭＡＸ／ＭＩＮ）のことである。これを、以下の偏光度ＤＰにて表現することもできる。

　上記の式１から、偏光選択比Ｑ＝１．５のとき、偏光度ＤＰ＝２０％が得られる。直線偏光を通常の偏光板に入射させるとき、直線偏光の偏光軸と偏光板の偏光透過との間の角度を１８０°だけ変化させると、偏光板を透過する光の強度はサイン波状に変化する。この場合、偏光板を透過する光の最大値ＭＡＸと最小値ＭＩＮを測定によって求めると、式（１）からＤＰの値を得ることができる。通常の偏光板では、近似的に、最小値ＭＩＮ＝０であるため、ＤＰ＝１が得られる。このような偏光板のＤＰに比べると、プリズム光学素子の偏光度ＤＰは格段に小さい。しかし、撮像素子の性能から考えると十分検出可能な変動になっている。

　図２７Ａは、隣接する画素ごとに４５°ずつ４種類異なる方位角に配置されたプリズム光学素子を含む２×２セルを模式的に示す平面図である。図２７Ｂは、図２７Ａの各セルでの輝度と、入射する直線偏光の偏光方向（撮像面における偏光主軸の方位角）との関係の一例を示すグラフである。４個の画素に相当するフォトダイオードにて得られる輝度は、入射光線が偏光している場合には互いに異なっている。この輝度を４５°おきに入力軸上にプロットして、以下のような未知数である振幅Ａ、位相角Ｂ、平均値Ｃを有するサイン関数にてフィッティングすることができる。最適フィッティングの方法は、たとえば特許第４２３５２５２号公報に開示されている。

　このフィッティングで得られた３つの未知数から、この２×２セルにおける偏光情報を以下のようにして得る。

　偏光主軸は、輝度が最低になる方位角に相当するので、以下の式で得られる。

偏光度は、以下の式で得られる。

ここで算出された偏光主軸と偏光度の２パラメータにて形成される画像を偏光画像と称する。

　次に、偏光撮像時におけるカラー情報の取得につき説明する。従来、特定の波長帯域における偏光画像と通常のカラー画像とを同時取得する技術は存在していた。たとえば特開２０１０－１３０６５５号公報では、可視領域のカラー画像と赤外領域での偏光画像を同時取得できる撮像素子が開示されている。可視領域においてＲＧＢバンドのカラー画像とＢバンドの偏光画像を同時にリアルタイムで取得する技術は、特許文献１から３に開示される。しかし、従来技術では、カラー情報と偏光情報を同時取得するため、たとえばＢ（ブルー）フィルタで暗くなったＢ画素にさらに偏光フィルタを設置する光量ロスはやはり著しいものがあった。また、その場合、偏光画像がＢ（ブルー）画像のみであり、ＲやＧについては偏光画像が得られない。

　本開示の実施形態によれば、ＲＧＢバンドのフルカラー画像とＲＧＢバンドの偏光画像を同時にリアルタイムでしかも十分な光量をもって実現することが可能になる。本開示の実施形態によれば、光量のロスが５０％程度発生する従来の偏光撮像素子に比べて明るくでき、カラー情報取得も実用的に可能になる。

　図２８は、石英ガラスの屈折率の波長依存性を示す図である。本開示においては、光学素子の材料を特に規定しない。光学的に透明で屈折率が１．４から１．８程度の材料であればよい。図２８に示されているように、可視光範囲において短波長から長波長に波長が変化すると、屈折率は若干低下する。しかし、その変化は大きなものではなく、４００ｎｍから８００ｎｍまでの可視光範囲において、屈折率ｎ＝１．５２～１．４８程度の変化となる。プリズム光学素子を石英ガラスから形成した場合、入射光線の波長に応じて光学素子の屈折率ｎが１．５２～１．４８程度の範囲内で変化することになる。このような屈折率の差が透過率および偏光選択比へ影響する程度を以下に考察する。

　図２９は、この屈折率変動を仮定して描いた偏光選択比および光透過率を示すグラフである。偏光選択比および光透過率は、プリズム光学素子への入射からプリズム光学素子からの出射までを統合して計算した。図２９では、屈折率ｎが１．４８、１．５０、１．５２の場合についてカーブが記載されている。１．４８、１．５０、１．５２の屈折率ｎは、図２８に示されるように、それぞれ、赤、緑、青の波長に対応している。入射角６０°付近にて屈折率が１．４８から１．５２に大きくなると、すなわち入射光線が赤色から青色に変化すると、偏光選択比が増加するが、その増加幅は、１．４３～１．５２程度である。同様に入射角６０°付近にて屈折率が１．４８から１．５２に大きくなると、光透過率は低下するが、その低下幅は０．８４～０．８１程度である。

　以上の事実から、本実施形態における偏光撮像素子では、可視光範囲のカラー情報を取得する場合に波長依存性がほとんど無いことがわかる。従って、光量ロスが少ないという特徴に加えカラー情報取得が簡単であるという利点がある。このように、利用している物理現象が誘電体における光の屈折現象だけであり、屈折率の波長依存性は小さいため、可視光全域での広帯域撮像、すなわちカラー情報の取得について特別な考慮が不要になる。このため、特に面順次方式の内視鏡では、この撮像素子を用いてそのままカラー化が可能であり、さらに従来不可能であったカラー毎（ＲＧＢ成分毎）の偏光画像も取得可能になる。本開示の効果を得るためには、画素サイズよりも大きなサイズの光学プリズム素子も使用可能である。なお、フォトニック結晶を用いる偏光撮像素子では、偏光動作する波長範囲が狭いため、カラー化にあたってはＲＧＢ毎に定数を変化させて作成することが求められる。またワイヤグリッド方式の偏光撮像素子では、可視光領域で動作させるために１００ｎｍオーダーの波長以下のナノ構造を作成する。このような構造に比べると比較的容易に作成が可能である。

　入射角ω１として５５度から８０度の角度を有するようにして撮像素子に垂直な光を仮定した場合、光透過率が５０％以上となるため、従来の偏光素子に比較すると光量ロスのない明るい素子にできる。なお、この入射角ω１を維持するためには、入射光線が平行光軸に近くなる、いわゆるテレセントリック光学系を使う、あるいは撮像素子の中心付近のみに本プリズム光学素子を設置するなどの工夫をしてもよい。

　ここで、フルカラー画像とカラー偏光画像の意味を説明する。以下の説明では、本開示の実施形態における撮像素子は「フルカラー画像」と「カラー偏光画像」の両方を取得するとしている。「フルカラー画像」とは、従来の内視鏡などに使われる輝度カラー画像を意味するが、その種類は生成手段から２種類に分類できる。第一の「偏光平均フルカラー画像」の場合、４方向のプリズム光学素子から出力される輝度が異なっていても、その平均値を輝度値として用いる。このため体内組織において偏光したカラー光による画像においても正しい色再現が実現できる反面、平均化によって解像度が低下する。第二の「非偏光仮定フルカラー画像」の場合、入射光線が非偏光であることを仮定する。この場合、４方向のプリズム光学素子から出力される輝度には差違が無いと考えるため、画素数分の解像度でフルカラー画像が得られる。カラーモザイクフィルタと組み合わせた場合にも従来のモザイク補間処理を実施すればフルカラー画像が得られるため解像度低下が発生しない。反面、受光した画像が偏光した光で構成されている場合には４方向で輝度の変動が発生するため、正しい色再現ができない欠点がある。

　これら「偏光平均フルカラー画像」と「非偏光仮定フルカラー画像」は撮像素子から出力される画像信号の処理方式の違いで生成され撮像素子自身の構成には関係しない。

　次に「カラー偏光画像」とは、可視域のＲＧＢのカラーバンド毎に観測される偏光画像のことを意味し、各カラーバンド、すなわち波長域毎にどのように偏光状態が変化しているかを解析できるものである。なお、このような可視域でのカラー毎の偏光情報は特に医学的に重要なものとされている。

　図３０は、いわゆる「面順次方式」の内視鏡に本開示の偏光撮像素子を使ってカラー情報を取得する場合を示している。面順次式の内視鏡とは、照明光の色がＲ、Ｇ、Ｂと順に変化していくのに同期して高精細のモノクロ画像が順次撮像され、それらが合成されてフルカラー動画を生成するものを言う。このため、照明光の色がＲ、Ｇ、Ｂと順次変化していく毎に、Ｒ、Ｇ．Ｂのバンド毎の偏光画像が自然に得られる。その各々に上述した偏光主軸と偏光度を求める処理を実施することでカラー毎の偏光情報を得ることができる。フォトダイオードの数に相当する画素数がＭ×Ｎ画素の場合、２×２セル処理を１画素ずつずらして実施すると、Ｒ、Ｇ、Ｂ各色の偏光画像の解像度は全て（Ｍ－１）×（Ｎ－１）画素となる。このため、ほとんど解像度低下はない。

　図３１と図３２はいわゆる「同時方式」の内視鏡にて本開示の偏光撮像素子を使ってカラー化する場合の方法を示したものである。

　同時方式の内視鏡とは、図示するように照明が白色光であり、撮像素子側にカラーモザイクフィルタが設置されることによってフルカラー画像を生成するものである。このカラーモザイクフィルタの割り当て方には、２種類ある。図３１は、プリズム光学素子の４個の組に対してたとえば特許第４２３５２５２号公報に記載されているようにベイヤー配列モザイクのＲＧＢの１色を割りあてる方法である。その結果、同一色にて４方向の偏光撮像が実施されるため、ある色に対して偏光情報が確定する。しかし、撮像されるカラー偏光画像はカラーモザイク画像になるので、モザイク補間を実施してフルカラー化する。その結果、面順次式と同様にＲ、Ｇ、Ｂのバンド毎に偏光画像が得られる。図３１における点１１０１は、偏光画像における画素中心を意味する。このように、図３１の構成例において、撮像面に配列された複数の受光素子は、各々がＹ個（Ｙは３以上の整数）のフォトダイオードから構成される複数の受光単位を有する。図３１の例では、Ｙ＝４である。また、図３１の例では、カラーモザイクフィルタが設けられ、各受光単位に含まれるＹ個の受光素子に対して１つの色（Ｒ、Ｇ、またはＢ）の光を入射させる。

　このモザイク補間処理は、通常のカラー輝度の補間と少々異なっており、２種の偏光情報である偏光主軸と偏光度をそれぞれ輝度値とみなして補間する。特に偏光主軸は１８０°周期の角度値であるから、補間計算時に１８０°を超過した分は補正される。

　以上の処理によって非偏光の戻り光の場合のフルカラー画像もカラー偏光画像とも元々の画素数のＭ×Ｎに対して縦横とも半分の解像度である（Ｍ／２）×（Ｎ／２）画素となる。この方法は、ＲＧＢ成分ごとに偏光画像が得られる利点がある。

　図３２は、プリズム光学素子の４個の組に対してベイヤーモザイクフィルタの３×３領域の４隅の同色画素に割り当てる方法である。この方法では、非偏光仮定フルカラー画像の解像度は撮像素子の有する画素数Ｍ×Ｎ画素そのもので解像度低下がない利点がある。また偏光画像については、偏光処理のためには同じ色画素のみを使うため、図３２のように使える画素はＧのみとなる。このため、偏光画像の画素中心は点１１０２で示されるように、ベイヤーモザイク３×３画素の中心画素となる。そのため、この構成では、ＲＧＢ全てのカラーについての偏光画像は得られない。図３２の例では、Ｇ（Ｇｒｅｅｎ）のみの偏光画像が生成されるが、その解像度は（（Ｍ／３）＋１）×（（Ｎ／３）＋１）画素となって解像度の低下も比較的少ない。さらにこの構成においては、偏光観測画素どうしが互いに２画素離れているため、画像の空間周波数として最高解像度の半分が残存すればよい。したがって、ベイヤーモザイクフィルタに用いる水晶ＬＰＦを使うことが可能であるという利点がある。その場合、水晶ＬＰＦが複屈折によって偏光状態を壊してしまうため、図２１に示すように、プリズム光学素子とカラーフィルタとの間に水晶ＬＰＦ１１２が配置される。図３２の例では、偏光観測画素としてＧ画素を設定しているが、偏光観測画素はＲ画素またはＢ画素でもかまわない。また、図３２の例では、光学素子４個の組に対して３×３画素を対応させたが、他の個数の画素、例えば５×５画素を対応させてもよい。

　図３３はプリズム光学素子を接続する平板部１１４の厚さ条件について説明する図である。入射光線を無駄なく出射させるという観点からは、平板部１１４の厚さＴが理想的にはゼロに設定され得る。しかし、平板部１１４の厚さＴが小さくなりすぎると、光学素子を支持するのが困難になる。平板部１１４の厚さＴが大きくなると、入射光線１２０１が屈折して光線１２０２となって光学素子内を進行し、平板部１１４にて反射される。平板部１１４で反射された光線１２０３は、他の画素へ進入していく可能性がある。これを防ぐために、遮光部１２０４を各光学素子間に設けてもよい。このような遮光部１２０４を設けることにより、平板部１１４の厚さＴを充分な大きさに設定し、光学素子アレイの機械的強度を充分なレベルに高めることができる。一方、平板部１１４の厚さＴを一定値以下に設定すれば、遮光部１２０４を設けることなく、光線が他の画素に侵入することを回避することもできる。以下、この点を説明する。

　ここでは、プリズム光学素子の断面形状は、図３３に示すように、長さＬの斜面を有する二等辺三角形とする。センサ基板に垂直入射する入射光線１２０１が点Ａプリズム光学素子に入射するとする。入射角はωである。二等辺三角形の頂点Ｂと点Ａとの距離をｍとすると、斜辺ＢＣによって規定される斜面へ入射した光のうち、ＡＢ間に入射した光が厚さＴの平板部１１４に進入し、不要な光線１２０３になっていく。厚さＴは以下のように表現できる。

　ここで、不要光がゼロになるのは比率Ｍｒ＝０のときである。このとき、Ｂ点に入射した光が光線１２０２と平行な光線１２０５のように進行していくので、平板部１１４に進入しない条件は、厚さＴが以下の値Ｋ・Ｌ未満であることである。

　比率Ｋを異なるωにつき計算した値を、表１に示す。入射角ωが６０°のときは厚さＴがプリズム光学素子の斜辺長さＬに比べて十分に小さいことを要求される。入射角ωが５０°付近では、厚さＴはプリズム光学素子の斜辺長Ｌに等しい大きさ程度でも許容される。

　この平板部１１４が薄いと、光学素子アレイを製造が難しくなる。このため、プリズム光学素子の断面における斜辺の傾斜角度は、６０度未満に設定され得る。この条件が満足された場合には、遮光部１２０４が不要になる。

（実施形態３の変形例１）
　図３４はプリズム光学素子の他の配置例を示す図である。図２２の配置例および図２３の配置例のいずれが好適であるかは、光学素子アレイの製造方法や、光学素子の表面における不要光反射（フレア）の大小によって決定されてよい。

（実施形態３の変形例２）
　図３５は、上下プリズムを同一形状としない例を示す。図３５の光学素子によれば、下面のプリズム光学素子の斜面角度を変えることにより、フォトダイオードへ光が集光する効果を与える。Ｄ点においてプリズム光学素子へ入射した光は、Ｅ点において空気中へ出射する。このＤにおける入射角をβ、出射角をγとし、下面プリズムの斜面の傾斜角をαとする。上面のプリズムは正三角形とする。このとき、

が成立する。ここでγ値をいくつか変えてαを計算し、その時の光の集光度合いを角度（γ―α）にて表現すると、表２のようになる。

　このように、たとえばα＝６５．７７°の場合には、出射光線が平行光よりも１４．２３°程度内側に集光される効果を得るので図２１の構成においてより効率的に光をフォトダイオードに集められるため、より明るい画像を得ることができる。

（実施形態３の変形例３）
　図３６は、第３の実施形態の変形例を示す。この例は、同時方式の内視鏡などにおいて、好適に使用され得る。１個のプリズム光学素子に複数の異なる色のカラー画素を割りあてることによって、通常のカラー画像の解像度を低下させず、かつＲＧＢごとに偏光画像を生成できる。このような改変例では、個々のプリズム光学素子２１０１を、画素サイズに比べて大きく設計することができる。このため、光学素子アレイの製造が容易である。

　図３６においては、図２１におけるレンズ１１０、支持体１１３などは省略されている。図３６の例によれば、プリズム光学素子２１０１の１つの斜面に対する入射光線２１０２、２１０３、２１０４は、それぞれ屈折して異なる画素、すなわち異なるフォトダイオード２１０５、２１０６、２１０７に入射する。カラーフィルタ１０９は、ベイヤー等のモザイクフィルタを構成している。このため、水晶ＬＰＦ２１０８が、入射側から見てプリズム光学素子の後段すなわち裏面に設置されて光線は２１０９のように経路をずらされて隣接する画素へ入射する。水晶ＬＰＦ２１０８は、偏光を円偏光に変換するλ／４板と複屈折により、光線を２分する水晶とが複数重ね合わされて構成される。

　フォトダイオードへ集光するため、マイクロレンズ２１１０が設置されてもよい。１個のプリズム光学素子２１０１の入射面に対応するフォトダイオード、すなわちモザイクフィルタの画素の個数は、３個に限定されない。実際にはフォトダイオードは２次元平面的に分布しており、１個のプリズム光学素子２１０１の入射面に対応するフォトダイオードの数は、モザイク補間処理が可能な数であれば任意である。

　水晶ＬＰＦ２１０８は、ベイヤー等のモザイクフィルタを使用する撮像系では必須な素子である。しかし、複屈折現象を利用するため、１画素に異なる偏光が混合し入射光線の偏光状態が変わってしまう。そこで、水晶ＬＰＦ２１０８は、プリズム光学素子２１０１の裏面に設置し、光の偏光状態が輝度変動に変換された後に利用する。

　図３７Ａは、図３６の構造を上から見た図である。図３７Ａでは、方位角の異なる４個のプリズム光学素子２１０１が記載されているが、現実の偏光撮像素子では、より多くのプリズム光学素子２１０１が配列されている。プリズム光学素子２１０１の各斜面に対して複数のフォトダイオード、すなわち画素が対応している。カラー情報を得るためにカラーフィルタがベイヤー配列モザイクとして設置されている。具体的には、ベイヤーモザイクの７×７画素に４個の方向の異なるプリズム光学素子が対応している。

　各プリズム光学素子２１０１は、上から見ると正方形の形状を有しており、少なくともＲ、Ｇ、Ｂの全ての画素を覆っている。各プリズム光学素子２１０１によって覆われる正方形領域２２０１は、稜線２２０２を境にして２個の矩形領域に分割される。非偏光光で生成される通常カラー画像の場合には、４種のプリズム光学素子２１０１による偏光に起因する輝度の変化は無いはずである。したがって、通常のベイヤーモザイクを補間する方法をとればよい。ただし、図２１の入射光線１０６が出射光線１０８に変換される際に光線の位置が入れ替わる。図２１に示す構成例の場合は、プリズム光学素子の反対方向に傾斜した２つの斜面にそれぞれ入射した２つの光線を１画素のフォトダイオード１０９に入射させる。一方、図３６および図３７Ａに示す構成例では、各プリズム光学素子の２つの斜面にそれぞれ入射した光線が異なるフォトダイオードに入射することになる。光線の位置の入れ替わりが画素の輝度に反映するので、画素配置が補正され得る。このような補正は、例えば、後述する画像プロセッサによって行うことが可能である。

　図３７Ｂは、この画素位置補正を示している。たとえば、稜線によって区切られた矩形領域２２０３と矩形領域２２０４は互いに矢印で示すように交換される。他の方向のプリズム光学素子も同様である。平板領域２２０５は、この補正は必要ない。

　図３８は、この処理で生成される出力画像とその解像度を示す。まず、非偏光仮定フルカラー画像をＭ×Ｎ画素にて生成する。一方、偏光画像は、４種類のプリズム光学素子を１単位とするため、各単位の中心点２２０６を１画素とする偏光画像が得られる。この１単位に含まれる画素の数をＷ×Ｗ画素とすると、カラー偏光画像の解像度は、（（Ｍ／Ｗ）＋１）×（（Ｎ／Ｗ）＋１）画素となる。なお、図３８ではＷ＝７として一単位を描いている。

　以上のように、非偏光仮定カラー画像を生成する場合には、もとの撮像素子の最高解像度そのままのカラー画像を得ることが可能となる。偏光画像の解像度は低下するが、カラー毎の偏光画像が得られる。偏光画像の解像度低下は望ましくないが、最高空間周波数で画像を取得しないため、モアレなどのアーティファクトが発生しにくい。

（実施形態３の変形例４）
　図３９と図４０は、実施形態３の変形例４を示す図である。実施形態３の変形例３までは、図３７Ａおよび図３７Ｂに示したように、プリズム光学素子２１０１に対応する正方形領域２２０１は、全てのカラーモザイク画素を覆われておらず、一部の画素は、光学素子を連結する平板部２２０５に覆われている。本変形例では、このような平板部２２０５を光学素子アレイが実質的に取り除くことにより、全ての画素をプリズム光学素子覆うことができる。

　図３９は、４種類の光学素子から構成される１単位の平面構造を示している。正方形領域２２０１に平板領域が含まれないように４つの光学素子を密に配列している。また、方位角４５°のプリズム光学素子２２１１および方位角１３５°のプリズム光学素子２２１３の射影面積は、方位角０°の光学素子２２０１の射影面積にに等しい。立体的形状を維持したまま拡張する。たとえば、プリズム光学素子２２１１は、プリズム光学素子２２０１よりも大きいサイズを有する方位角４５°のプリズム光学素子２２１２の一部である。この構成においては、プリズム光学素子２２１１の頂点の高さは、同じ角度で斜面が長くなる分だけ、プリズム光学素子２２０１の頂点の高さの√２倍である。

　図４０は、プリズム光学素子の配列Ａと配列Ｂのそれぞれにおいて、位置が異なる３本の線ａ－ａ’、ｂ－ｂ’、ｃ－ｃ’に沿った断面形状を示している。

（実施形態４）
　図４１は、本開示の第４の実施形態に関する偏光撮像素子の積層構成を示す断面図である。図２１の実施形態と本実施形態とが異なる部分は、プリズム光学素子１５１、画素センサ１５２、１５３のみであって、他は同一である。

　個々のプリズム光学素子１５１はフォトダイオード１５２、１５３などの複数個のフォトダイオードをカバーする。対物レンズ１１０からの入射光線１５４、１５５は、プリズム光学素子１５１の斜面で屈折してプリズム光学素子内部に侵入して屈折光線１５６、１５７となる。屈折光線１５６、１５７は、それぞれ、プリズム光学素子１５１の別の面で屈折して出射光線１５８、１５９となる。出射光線１５８、１５９は、それぞれ、カラーフィルタ１０９を透過してフォトダイオード１５３、１５２に到達する。

　図４２は、偏光撮像素子を対物レンズ側の上から見た平面図であり、線１６０１に沿った断面図が図４１に相当する。図４２では、３つのプリズム光学素子１５１によってカバーされる３つの領域１６０２、１６０３、１６０４が記載されている。図４２に示されるように、プリズム光学素子１５１の底面形状は六角形である。これに対応してフォトダイオード群も六角形の頂点の位置に配置されている。光学素子アレイの全体は、支持対１１３、取り付けネジ１１５でセンサ基板に固定されている。図４２では、３個のプリズム光学素子と１８個のフォトダイオードが記載されているが、現実には、より多数の光学素子およびフォトダイオードが配列されている。この配置によって平面上で選択される六角形セル、たとえば領域１６０２および領域１６０３の各々には、かならず異なる３種類の向きを有する三角形斜面が含まれることになる。このため、六角形セルを単位として撮像の処理することによって偏光の振動面を推定することができる。

　図４３は、１個のプリズム光学素子１５１を図４２の矢印１６０４および１６０５の向きから見た図である。このプリズム光学素子１５１は、平面上の六角形構造に対応した六角錘の底面どうしを上下に結合した形状をしている。なお、光学素子アレイは、１枚の透明板に対して切削加工を施すことによって作製され得る。

　図４４Ａは、隣接する画素ごとに６０°ずつ３種類の異なる向きに斜面が配置されたプリズム光学素子を示す図である。図４４Ｂは、６角形セル内の画素から得られる信号に基づく偏光情報取得の処理を示す図である。この６角形セルを処理単位にして得られる６個の画素に相当するフォトダイオードにて得られる輝度は、入射光線が非偏光の場合には同一である。しかし、入射光線が偏光している場合には、偏光の光の振動面に依存して互いに異なるものとなる。たとえば、法線の向きが方位角３０°に相当する２つの斜面の真下に位置する画素１８０１と画素１８０２の画素値は、等しい大きさを有している。そこで、この２つの輝度値を平均して輝度値１８０３を得る。同様に法線の向きが方位角９０°に相当する２つの斜面の真下に位置する画素の輝度値１８０４、法線の向きが方位角１５０°に相当する２つの斜面の真下に位置する画素の輝度値１８０５を得る。図４４Ｂのグラフには、これらの輝度値がプロットされている。（式１）の未知数Ａ、Ｂ、Ｃを有する正弦関数にてフィッティングすることができる。未知数３個に対して３個の方程式が得られる。

　次にカラー情報取得について述べる。

　図４５は、いわゆる「面順次方式」の内視鏡に本実施形態の偏光撮像素子を使ってカラー情報を取得する場合を示している。Ｒ、Ｇ、Ｂのバンド毎に上述した処理を実施することでカラー毎の偏光情報を得ることができる。ここで偏光画像は六角形領域１６０２、１６０３の各々を１画素として画像化される。このため、全体の解像度は、センサ基板の総画素数をＰとした場合、（Ｐ／６）画素に減少する。ただし、非偏光の戻り光を通常フルカラー画像として生成する場合は、解像度の低下はなく、Ｐ画素を有効に活用できる。

　ここで注意点は、図４１に示すように、入射光線１５４がフォトダイオード１５３へ、入射光線１５５がフォトダイオード１５２へ反転して入射することである。したがって、高解像度画像を作る際、すなわち非偏光照明下などでのカラー画像を生成する時には、図４４Ａの六角形領域内において点対称の位置にある画素１８０１、１８０２の画素値を、矢印１８０６で示すように互いに入れ替える。

　図４６は、いわゆる「同時方式」の内視鏡にて本開示の偏光撮像素子を使ってカラー化する場合の方法を示している。同時方式の内視鏡では、図示するように、照明が白色光であり、撮像素子側にカラーモザイクフィルタが設置される。図４６の例では、プリズム光学素子にカバーされる６角形領域１６０２、１６０３などの各々に対して、カラーモザイクフィルタのＲＧＢのそれぞれ１色を割りあてている。すると、カラー偏光画像も通常のフルカラー画像も解像度は（Ｐ／６）画素に減少する。

（実施形態５）
　図４７は、本開示の第５の実施形態による偏光撮像素子の断面構成例を示している。本実施形態と第３の実施形態との相違点は、光学素子の断面形状の差にある。本実施形態の光学素子２３０３は、傾斜した第１面２３０１および第２面２３０２を有し、平行四辺形の断面形状を有している。

（実施形態６）
　図４８は、本開示の第６の実施形態による偏光撮像素子の断面構成例を示している。本実施形態と第５の実施形態との相違点は、光学素子２４０４の上下に、断面形状が直角三角形の素子２４０５、２４０６を配置している点にある。光学素子２４０４と素子２４０５、２４０６との間には、それぞれ、空気層２４０７、２４０８が設けられている。この構成によって、屈折透過の回数が増加するため、偏光選択比が増加する利点がある。また、図４８に示すように、素子２４０５の上面が平で撮像面に平行であると、光学素子アレイの上面が全体して概略的に平坦になるため、光学素子にゴミがつきにくく保護が良好になる。

（実施形態７）
　図４９は、本開示の第７の実施形態による偏光撮像素子の断面構成例を示している。本実施形態では、光学素子が上下に重ねられている。言い換えると、本実施形態の光学素子アレイは２層構造を有している。この構成によれば、入射光線が２回よりも多い回数で屈折するため、偏光選択比が増加する。また、入射光線が２回交差するため、画素の入れ替え処理が不要になる。光学素子アレイの積層数は、２に限定されず、また、奇数であってもよい。また、積層された光学素子アレイ内で隣接する光学素子の隙間に、図４８の素子２４０５、２４０６と同様の素子を配置してもよい。

（実施形態８）
　図５０は、本開示の第８の実施形態による偏光撮像素子の断面構成例を示している。簡単のため、特徴的な光学素子２５０１の断面形状を記載しているが、他の部分は省略されている。光学素子２５０１の入射側の面は平坦である。光学素子２５０１の出射側のみにプリズムを構成する傾斜面が存在している。β＝３０°のとき、γ＝４８．６°となる。このような光学素子によれば、光線の屈折回数は１回であるため、偏光選択比はやや低下する。しかし、複数の光学素子を連結する平板部分を厚くできる。また、透明板の加工によって光学素子アレイを製造する場合、片面のみの加工でよいため、製造が容易である。

（実施形態９）
　図５１は、本開示の第９の実施形態による偏光撮像素子の断面構成例を示している。基本構成は第３の実施形態のまま、撮像素子の配置されたセンサ基板２６０２を内側に湾曲させ、同時に光学素子アレイ２６０１も内側に湾曲させている。こうすることによって、対物レンズ１１０からの光が光学素子に入射する場合に、斜めに入射することなく平行に入射する。このため、広角撮影が必要な内視鏡の場合などで広い範囲で高精度な偏光画像を得ることができる。なお、本実施形態の構成は、上述した第３から第８の実施形態のいずれに適用してもよい。

　以下、第１から第９の実施形態における偏光撮像素子を備える内視鏡を説明する。

　図５２は本開示の偏光撮像素子を内視鏡に応用し、臓器粘膜の表面散乱の光と深部からの散乱光とを成分分離する機能について説明する図である。近年、消化器内視鏡分野ではＮＢＩ（Ｎａｒｒｏｗ　Ｂａｎｄ　Ｉｍａｇｉｎｇ）内視鏡の技術が普及しつつある。従来の内視鏡検査では、スペクトル幅の広い白色光が診断に重要な粘膜表層の血管や微細模様などのコントラストを低下させていた。ＮＢＩ内視鏡は、照明光として狭帯域光を用いることにより、コントラスト低下の問題を解決し、粘膜表層の毛細血管や粘膜微細模様などを色調の違いとして強調表示する。しかしながら、ＮＢＩ内視鏡は照明光が狭帯域のカラー光となるため、画像が暗くなり、さらに被写体の正確な色再現ができない欠点があった。

　それに対して、本開示の偏光撮像素子は、明るい画像とカラー再現を実現できるため、内視鏡応用として好適である。

　図５２（Ａ）は照明の照射側を説明する図である。内視鏡３００１には対物レンズ３００２と直線偏光照明用レンズ３００３が設置されている。対物レンズ３００２は、前述の実施形態における対物レンズ１００に相当する。対物レンズ３００２の奥には図示していない本開示の偏光撮像素子が設置されている。直線偏光の照明光３００４は、白色光である。この例では、内視鏡はいわゆる同時方式で動作する。このため、同時方式に対応した偏光撮像素子の実施形態が適用される。もちろん、本開示の撮像素子は、面順次方式の内視鏡にも適用可能である。直線偏光の照明は臓器表面の粘膜３００５に照射される。

　図５２（Ｂ）は照射された光が戻り光となって撮像される状況を説明する図である。被写体の比較的浅い部分３００６から戻る光は直線偏光を維持しているが、深い部分から戻る光は散乱のため非偏光となる。すなわち偏光反射成分と非偏光反射成分は混合しているが偏光撮像素子を使うと、偏光成分を分離することができ、表層近くの血管や粘膜微細模様を強調できる。

　図５３は、本開示の偏光撮像素子によって撮像され、サインフィッティング処理された偏光素子の方位角と輝度変動の関係を表すグラフである。図５３のグラフでは、ＲＧＢのうちの１色のみを例として示している。非偏光反射成分ｄｉｆｆｕｓｅは、偏光素子方位角に依存せず一定値になるが、偏光反射成分は偏光素子方位角に依存して変動する。ただし偏光反射成分も最大振幅で振動しているのではないため、成分分離の境界線３１０１の決定には以下の手順を実行すればよい。

　輝度最大点と輝度最小点では本開示の偏光撮像素子はそれぞれ光学素子への入射と出射を統合したＰ偏光およびＳ偏光を受光していることは、図２４、図２５から明らかであり、図２６からこの比率は偏光選択比Ｋｒａｔｉｏとして既知である。たとえば入射角６０°においては偏光選択比Ｋｒａｔｉｏ＝１．５となる。これを使うと、

となる。ところで、偏光選択比は、サインフィッティング処理によって既知である振幅Ａと平均値Ｃと未知数ｄｉｆｆｕｓｅを使って以下のように表現できる。

従って、

のように境界線３１０１を求めることができ成分分離ができる。

　図５４は、本開示による内視鏡を含むシステムの実施形態の全体構成を模式的に示す図である。

　このシステムは、内視鏡３００１と制御装置４０２とを備える。内視鏡４０１は、撮像素子１０１を有する先端部４１３、ライトガイド４０５と映像信号線４１１を有する挿入部４０３とを有している。内視鏡３００１の挿入部４０３は、図示されているように左右に長く、フレキシブルに曲がり得る構造を有している。ライトガイド４０５は曲がった状態でも光を伝達することができる。

　制御装置４０２は、光源４０４と画像プロセッサ４０８とを備える。光源４０４から発した白色非偏光の光は、ライトガイド４０５を経由して先端部４１３の偏光面制御素子４０６に導かれ、被写体に照射される直線偏光の光４２１となる。偏光面制御素子４０６は、たとえば偏光板と液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光へと変換できる。

　偏光面制御素子４０６は、液晶を用いた偏光面を回転させることが可能なデバイスである。偏光面制御素子４０６は、例えば強誘電性液晶と、偏光フィルムと、１／４波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。そしてこの偏光照明は、照明レンズ３００３を通って被写体に照射される。

　同期装置４１２は、偏光面制御素子４０６に偏光面回転の指示信号を送り、照明の偏光面を回転させるとともに、撮像素子１０１に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。なお、偏光面制御素子４０６は、一定面の直線偏光の照明を作りだす偏光板であってもよく、この場合には撮影は１回のみとなる。

　被写体からの戻り光４２２は、撮影用の対物レンズ３００２を通って撮像素子１０１上に結像する。撮像素子１０１は、前述した本開示の偏光撮像素子の実施形態の１つであればよい。撮像された映像信号は、映像信号線４１１を経由して画像プロセッサ４０８に到達する。画像プロセッサ４０８では、偏光撮像素子１０１から得られる信号に基づいて、前述した画像情報および偏光情報が得られる。画像合成部４１４は、画像プロセッサ４０８の出力に基づいて、被写体表面の組織構造を反映した画像を表示部４１６に表示させることができる。

　なおここで述べた軟性内視鏡においては、面順次照明、同時照明方式のいずれに適用が可能であることは、実施形態に各々記載したとおりであり、さらに本開示は、軟性内視鏡のみならず、手術用の硬性内視鏡、工業用内視鏡、カプセル内視鏡などの他の形態の内視鏡に対しても適用可能であることはいうまでもない。内視鏡では、かならず照明を用いるため、照明不足の場合、カラー輝度画像の情報の感度が悪くなるのは共通の課題であるため、本開示はいずれも有効である。

　以上のように、本開示の実施形態における偏光撮像素子に用いられる偏光光学素子の偏光選択比は決して高くないが、内視鏡用途のように照明光を自在に設計できる。このため、照明光に直線偏光を使う可能性がある場合には、従来の偏光素子とほぼ同じ性能の成分分離処理が可能になる。

　本開示の偏光撮像素子は、従来できなかったカラー情報と偏光情報を同時にしかも感度の高い明るい画像で取得できる。また内視鏡の２大技術分野である面順次方式と同時方式のいずれに対しても適用できる汎用性があるため、粘膜表層の毛細血管や粘膜微細模様などを色調の違いとして強調表示する目的に好適である。なお、偏光画像を使う内視鏡関連の応用としては、この粘膜内部の観察にとどまらず、臓器壁の表面凹凸の検出、カプセル内視鏡における水中散乱画像の鮮明化なども考えられ、今後、適用範囲はより大きくなると予想される。

１０１　偏光撮像素子
１０２　プリズム光学素子
１０３　センサ基板
１０４　フォトダイオード
１０５　遮光膜
１０６　入射光線
１０７　屈折光
１０８　出射光線
１０９　カラーフィルタ
１１０　対物レンズ
１１１　隣接するプリズム光学素子
１１２　水晶ＬＰＦ
１１３　支持体
１１４　平板
１１５　取り付けネジ
１１６　隣接するフォトダイオード

Claims

　撮像面上に配列され、各々が光を電気信号に変換する複数の受光素子と、
　前記複数の受光素子に対応して異なる色のカラーフィルタが配列されたカラーモザイクフィルタと、
　前記カラーモザイクフィルタを覆う光学ローパスフィルタと、
　前記光学ローパスフィルタよりも光入射側に位置する複数の偏光光学素子と、
を備え、
　前記複数の偏光光学素子の各々は、各受光素子を覆っており、かつ、前記撮像面に平行な面内における所定方向に偏光した光を前記光学ローパスフィルタに入射し、
　前記カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有し、前記複数のカラーフィルタは、複数の偏光光学素子から出た光が同一の色の対応する１つのカラーフィルタを透過するように配置されており、各カラーフィルタが複数の受光素子を覆っている、偏光撮像素子。
　前記光学ローパスフィルタは、前記複数の偏光光学素子の各々を透過した光線の少なくとも一部を前記カラーモザイクフィルタにおける前記カラーフィルタの配列ピッチ以上の距離だけ前記撮像面に平行な方向にシフトさせるように構成されている、請求項１に記載の偏光撮像素子。
　前記複数の偏光光学素子および前記複数の受光素子の２次元的な配列の周期は、前記光学ローパスフィルタの遮断周波数の整数倍の空間周波数を有している、請求項１または２に記載の偏光撮像素子。
　前記光学ローパスフィルタは、前記撮像面に平行な面内において一様な光学特性を有している、請求項１または２に記載の偏光撮像素子。
　前記光学ローパスフィルタは、
　第１のλ／４板、
　第１の複屈折ローパスフィルタ層、
　第２のλ／４板、および
　第２の複屈折ローパスフィルタ層
を光入射側からこの順序で備える、請求項１から４のいずれかに記載の偏光撮像素子。
　前記光学ローパスフィルタは、
　前記第２の複屈折ローパスフィルタ層と前記カラーモザイクフィルタとの間に、
　第３のλ／４板、および
　第３の複屈折ローパスフィルタ層
をこの順序で備える、請求項５に記載の偏光撮像素子。
　前記複数の偏光光学素子は、各々が４個の偏光光学素子からなる複数の基本ユニットが行および列状に配列された偏光素子アレイを構成しており、各基本ユニットに含まれる４個の偏光光学素子の偏光透過軸の方向は相互に異なっており、
　前記複数の基本ユニットは、前記カラーモザイクフィルタにおける同一の色のカラーフィルタを１つの基本ユニットが覆うように配置されている、請求項１から６のいずれかに記載の偏光撮像素子。
　２行２列に配置された４個の前記基本ユニットは、前記カラーモザイクフィルタにおける２行２列に配置された４個のカラーフィルタを覆っている、請求項７に記載の偏光撮像素子。
　前記カラーモザイクフィルタにおける２行２列に配置された４個のカラーフィルタはベイヤー配列を形成している、請求項８に記載の偏光撮像素子。
　前記光学ローパスフィルタは、
　前記第３の複屈折ローパスフィルタ層と前記カラーモザイクフィルタとの間に、
　第４のλ／４板、および
　第４の複屈折ローパスフィルタ層
をこの順序で備える、請求項６に記載の偏光撮像素子。
　撮像面上に配列され、各々が光を電気信号に変換する複数の受光素子と、
　前記複数の受光素子に対応して異なる色のカラーフィルタが配列されたカラーモザイクフィルタと、
　前記カラーモザイクフィルタよりも光入射側に位置する光学ローパスフィルタと、
　前記光学ローパスフィルタよりも光入射側に位置する複数の偏光光学素子と、
を備え、
　前記複数の偏光光学素子の各々は、複数の受光素子を覆っており、かつ、前記撮像面に平行な面内における所定方向に偏光した光を前記光学ローパスフィルタに入射し、
　前記カラーモザイクフィルタは、異なる色の複数のカラーフィルタが二次元的に配列された構造を有し、前記複数のカラーフィルタは、各偏光光学素子から出た光が異なる色の対応する複数のカラーフィルタを透過するように配置されている、偏光撮像素子。
　前記光学ローパスフィルタは、
　第１のλ／４板、
　第１の複屈折ローパスフィルタ、
　第２のλ／４板、および
　第２の複屈折ローパスフィルタ
を光入射側からこの順序で備え、
　前記第１のλ／４板は、前記複数の偏光光学素子の各々を透過した光の偏光状態を円偏光に変化させるように遅相軸および進相軸の方向が調整されたパターンを有している、請求項１１に記載の偏光撮像素子。
　前記カラーモザイクフィルタは、ベイヤー配列の基本単位が二次元的に配列された構造を有し、１個の受光素子に１個のカラーフィルタが対応しており、
　前記複数の偏光光学素子は、
　偏光透過軸が９０°異なる２つの偏光光学素子が交互に一方向に沿って配列された第１のストライプ状アレイと、
　偏光透過軸が９０°異なる２つの偏光光学素子が交互に一方向に沿って配列された第２のストライプ状アレイであって、前記第２のストライプ状アレイの偏光光学素子の偏光透過軸が第１のストライプ状アレイの偏光光学素子の偏光透過軸に対して４５°の角度で交差する第２のストライプ状アレイと、
を含む、請求項１２に記載の偏光撮像素子。
　前記第１のλ／４板は、
　前記複数の偏光光学素子の第１のストライプ状アレイに対向する第１ストライプ部分と、
　前記複数の偏光光学素子の第２のストライプ状アレイに対向する第２ストライプ部分と、
とを備え、
　前記第１ストライプ部分の遅相軸および進相軸は、前記第１ストライプ部分の遅相軸および進相軸に対して４５°の角度を形成して交差している、請求項１３に記載の偏光撮像素子。