JP5053468B2 - 立体画像撮影装置および内視鏡 - Google Patents

Description

本発明は、撮像素子によって取得される２次元輝度画像で得られる情報を超えた表面凹凸情報や高精細画像を生成できる立体画像撮影装置および内視鏡に関する。

粘膜で覆われた生体の臓器の壁表面に対して照明光を照射して撮像する内視鏡の分野では、臓器の壁表面の微細な凹凸を観察するため、被写体の奥行きに関する情報を抽出することが重要である。また、手術用の内視鏡の分野では、手術情景を立体的に把握したいという課題がある。そこで、従来、立体内視鏡の技術が開発されてきた。立体内視鏡は、通常、異なる位置から被写体を見た複数視点画像を取得するためにレンズと撮像素子がそれぞれ２組必要になる「２眼システム」を採用している。２眼システムによれば、同一の被写体から、視差のある複数視点画像（例えば左目画像と右目画像）を同時に取得できるため、複数視点画像から被写体の立体形状に関する情報を得ることが可能になる。しかし、２眼システムには、２個の撮像素子の特性を完全に合致させることが難しいという欠点がある。そこで、たとえば特許文献１に開示されているように、複数視点画像を取得するために、レンズと撮像素子をそれぞれ１個だけ使う「単眼システム」の技術が注目されている。

図２２（ａ）、（ｂ）は、従来の立体内視鏡の構成を示す。図２２（ａ）は、この立体内視鏡の全体構成を模式的に示す図であり、図２２（ｂ）は、その一部を上方から視た模式的断面図である。

図２２（ａ）に示されるように、この従来技術の内視鏡は、レンズ１３０７とＣＣＤ１３０８を用いる通常カラー画像撮像系のほかに複数視点画像を取得するための撮像系（視差撮像系）を有している。視差撮像系では、光学結像部１３０１と撮像部１３０３との間に光通過部１３０２を配置している。光通過部１３０２は、図２２（ｂ）に示すように、左右に配置された２つの開口１３０４ａ、１３０４ｂを有し、各々を透過した光が複数視点画像を生成する。通常は交互に開口１３０４ａ、１３０４ｂを開閉することによって左右の複数視点画像を得るのであるが、本技術では、２つの開口１３０４ａ、１３０４ｂからの光を画像処理的に分離することで２種の画像の時間ずれをなくしている。そのために開口１３０４ａに垂直方向の偏光透過軸を有する偏光フィルタを付加し、開口１３０４ｂに水平方向の偏光透過軸を有する偏光フィルタを付加している。

撮像部１３０３は、偏光モザイクフィルタ１３０５と撮像素子１３０６を組み合わせて用いる。偏光モザイクフィルタ１３０５は、垂直方向に偏光透過軸を有する偏光フィルタ１３０５ａと水平方向に偏光透過軸を有する偏光フィルタ１３０５ｂとが空間的に交互に分布した構成を有している。左右２箇所の開口１３０４ａ、１３０４ｂからの光は、偏光フィルムにより偏光方向が直交する光となる。このため、開口１３０４ａ、１３０４ｂを透過した光（偏光）は、それぞれ、偏光モザイクフィルタ１３０５のうちの対応する偏光透過軸を有する部分に入射する。こうして、偏光フィルタ１３０５ａにカバーされる画素の信号と、偏光フィルタ１３０５ｂにカバーされる画素の信号とに基づいて、開口１３０４ａ、１３０４ｂを透過した光の輝度を検出することができ、２種の複数視点画像を得ることができる。

特開２００１−１６６１１号公報 特開平１１−３１３２４２号公報 米国特許出願公開第２００９／００７９９８２号明細書

Nicolas Lefaudeux et al.: "Compact and robust linear Stokes polarization camera", Proc. SPIE, Vol. 6972, 69720B, Polarization: Measurement, Analysis, and Remote Sensing VIII(2008); Paul Green et al.: "Multi-Aperture Photography", ACM Transactions on Graphics, Vol. 26, No.3, Article 68, July 2008;

しかし従来の技術では、以下の課題があった。すなわち光通過部には左右の開口以外の部分には遮光部があるため光量を有効に使えず、得られる画像の感度が悪いという課題があった。照明光の無い暗黒の体腔内をカラーでしかも奥行き深くまで撮像する内視鏡の分野では光量が少ないことが致命的となる。このため、開口部以外を遮光してしまう従来の単眼立体内視鏡は実用的な技術になりにくかった。

本発明の主な目的は、被写体の表面凹凸に関する３次元情報を取得できる実用的な立体画像撮影装置および内視鏡を提供することにある。

本発明の立体画像撮影装置は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部とを備える。前記撮像部は、前記偏光照明部によって照明された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部とを有する。前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含む。前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置され、前記直線偏光の各々によって前記被写体が照射されているときに前記撮像素子が生成した前記画素信号に基づいて、前記画像処理部は、前記透明領域と前記複数の偏光フィルタ領域の各々を透過した光によって形成される複数の画像を生成する。

ある実施形態において、前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が２種類以上に順次変化する直線偏光を照射する。

ある実施形態において、前記画像処理部は、偏光面の角度が異なる３種類以上の直線偏光が被写体を照射しているときに得られる前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する。

ある実施形態において、偏光面の角度が基準方向に対してθ₁°である第１の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ₁、偏光面の角度が前記基準方向に対してθ₂°である第２の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ₂、偏光面の角度が前記基準方向に対してθ₃°である第３の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ₃とするとき、前記画像処理部は、画素信号Ｉθ₁、Ｉθ₂、Ｉθ₃を用いた演算を行うことにより、前記複数の画像の各々を生成する。

ある実施形態において、前記撮像部は、前記撮像素子として、モノクロ撮像素子またはカラー撮像素子を有している。

本発明内視鏡は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部とを備える。前記撮像部は、前記偏光照明部によって照明された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部とを有する。前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置されている。

本発明の立体画像撮影装置は、被写体を撮像する撮像部と、画像処理部とを備える。前記撮像部は、光源によって照明された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記撮像素子の前面に配置されたモザイク偏光フィルタアレイであって、個々の偏光フィルタの偏光透過軸が２種類以上の方向を向いているモザイク偏光フィルタアレイと、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部とを有する。前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置され、前記撮像素子が生成した前記画素信号に基づいて、前記画像処理部は、前記透明領域と前記複数の偏光フィルタ領域の各々を透過した光によって形成される複数の画像を生成する。

ある実施形態において、前記画像処理部は、前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する。

ある実施形態において、前記入射光透過部における前記複数の偏光フィルタ領域は、前記レンズの光軸に対して同心円状に配置された内側フィルタ領域および外側フィルタ領域を含む。

ある実施形態において、前記画像処理部は、前記画素信号に基づいて、前記入射光透過部の前記透明領域および前記内側フィルタ領域を透過した光によって形成される画像と、前記入射光透過部の前記透明領域、前記内側フィルタ領域および前記外側フィルタ領域を透過した光によって形成される画像とを形成する。

ある実施形態において、前記撮像部は、前記撮像素子として、モノクロ撮像素子を有している。

本発明の内視鏡は、非偏光光を被写体に照射する照明部と、前記非偏光光によって前記被写体が照射されているときに、前記被写体を撮像する撮像部とを備える。前記撮像部は、前記照明部によって照明された前記被写体からの戻り光を結像するレンズと、前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、前記撮像素子の前面に配置されたモザイク偏光フィルタアレイであって、個々の偏光フィルタの偏光透過軸が２種類以上の方向を向いているモザイク偏光フィルタアレイと、前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部とを有する。前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置されている。

本発明の立体画像撮影装置のある実施形態によれば、偏光面を回転して撮影された複数画像の演算処理により、複数視点画像を得ることができる。このため、遮光部は不要となり光量を無駄にすることが無い。本発明の好ましい実施形態によれば、画像間の演算だけで感度は低いが視差のある画像と、視差はないが感度上問題のないカラー画像がタイミングのずれ無しに得られることになる。

本発明の実施形態１における立体画像撮影装置の構成を示す図 偏光面制御素子の動作を示す図 （ａ）は、入射光透過部の構造を示す平面図、（ｂ）は、その断面図 （ａ）および（ｂ）は、撮像素子における光感知セル配置例を示す図 偏光面角度の定義図 （ａ）および（ｂ）は、滑らかな平坦な表面にほぼ垂直に入射した偏光の反射の様子を示す図 フレネル理論による入射角と反射率の関係を示す図 入射光透過部から偏光フィルタが取り除かれた仮想的状態を示す図 偏光フィルタが無い状態における入射光透過部の各領域を透過する光を示す図 （ａ）は、透過軸の角度差についてα＝４５°の関係が成り立つ２つの偏光フィルタが実装された入射光透過部を示す平面図、（ｂ）は、偏光照明の偏光面の角度ΨＩを示す図 入射光透過部の各領域を透過する光を示す図 画像処理プロセッサの処理の流れを示すフローチャート 表示部に表示された画像ＬＬ，ＲＲ，ＣＣと観察メガネの動作を示す図 （ａ）および（ｂ）は、本発明の実施形態に関する立体視と通常視の期間を示す図 本発明の実施形態２における立体画像撮影装置の構成を示す図 （ａ）および（ｂ）は、撮像素子における他の光感知セル配置例を示す図 （ａ）は、撮像素子１１０の側から入射光透過部１２０を見たときの入射光透過部１２０の平面図、（ｂ）は、その断面図 本発明の実施形態３における立体画像撮影装置の構成を示す図 （ａ）は、透過軸の角度差についてα＝４５°の関係が成り立つ２つの偏光フィルタが実装された実施形態３の入射光透過部を示す平面図、（ｂ）は、偏光照明の偏光面の角度ΨＩを示す図 本発明の実施形態４における立体画像撮影装置の構成を示す図 （ａ）は、本発明の実施形態５における入射光透過部の構成を示す平面図、（ｂ）は、偏光照明の偏光面の角度ΨＩを示す図 （ａ）は、従来の技術に関する立体内視鏡の構成図、（ｂ）は、その一部を示す断面図

（実施形態１）
図１は、本発明の実施形態１における立体画像撮影装置の全体構成を模式的に示す図である。本立体画像撮影装置は、内視鏡１０１と制御装置１０２とを備える。内視鏡１０１は、撮像素子１１０を有する先端部１１３、ライトガイド１０５および映像信号線１１１を有する挿入部１０３を備えている。現実の挿入部１０３は、図面に示されているよりも左右に長く、フレキシブルに曲がり得る構造を有し得る。ライトガイド１０５は曲がった状態でも光を伝達することができる。

制御装置１０２には、光源１０４、画像処理プロセッサ１０８、および同期装置１１２が含まれる。制御装置１０２から出力される画像信号は、表示画像処理部１２１を経由して立体表示部１２２に出力される。立体表示部１２２に出力された画像は、観察メガネ１２３を利用して医師などが観察する。

光源１０４から発した白色非偏光の光は、ライトガイド１０５を経由して先端部１１３の偏光面制御素子１０６に導かれる。図２は、偏光面制御素子１０６の構成を示す。

偏光面制御素子１０６は、液晶を用いた偏光面を回転させることが可能なデバイスである。その構成例は、特許文献２、３ならびに非特許文献１等に既に開示されている。偏光面制御素子１０６は、たとえば強誘電性液晶と、偏光フィルム、１／４波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。偏光面制御素子１０６は、光源１０４で発生し、ライトガイド１０５を通過した非偏光の光を、任意の偏光角度に偏光面を有する直線偏光へと変換する。図１には、被写体に照射される光の偏光方向１１５と、被写体からの戻り光の偏光方向１１６とが模式的に示される。後述するように、被写体での反射に際して偏光方向が保持されるため、偏光方向１１５、１１６は一致する。

同期装置１１２は、偏光面制御素子１０６に偏光面回転の指示を送って照明の偏光面を回転させる。この偏光照明は、照明レンズ１０７を通って被写体に照射される。同期装置１１２は同時に撮像素子１１０に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。

本実施形態の撮像系は、偏光面が０°状態２０３で第１の画像を撮像し、偏光面が４５°状態２０４で第２の画像を撮像し、偏光面が９０°状態２０５で第３の画像を撮像するように動作する。偏光面の角度は任意に設定でき、この３種類に限るものではない。撮像素子が高感度である場合、照明の照度が高い場合には露光時間が短縮できるので、回転角をより細かく設定できる。

偏光面の回転に要する時間は、上記文献によれば、動作速度は２０（ｍｓ）程度の遅いものから４０〜１００（μsec）程度の高速型まで存在する。高速型の液晶を用いてかつこの時間での撮像が可能な程度まで撮像素子の感度を上げれば、３方向の偏光回転を実施して撮影しても、動画映像の撮影に十分な性能を持たせることが可能である。また画像処理は最低３フレーム単位の画像撮像について実施されるが、処理をパイプライン処理にすることで実際かかる処理時間を１フレーム時間内に収めることが可能である。

被写体からの戻り光は、撮影レンズ１０９を透過した後、入射光透過部１２０を通過して撮像素子１１０上に結像する。入射光透過部１２０の構成および機能については、後述する。撮像素子１１０は、モノクロ撮像素子、あるいはカラーモザイクを有する単板カラー撮像素子であってよい。撮像映像の信号は、映像信号線１１１を経由して画像処理プロセッサ１０８に到達する。

画像プロセッサ１０８は、撮像された複数の画像から、画像処理により、画像ＣＣと左視点画像ＬＬと右視点画像ＲＲとを生成する。これらの画像は、表示画像処理部１２１によって処理されて、立体画像表示部１２２に表示される。立体画像表示部１２２に表示された画像は、観察メガネ１２３などを用いて立体画像として観察される。この立体画像表示部１２２には、左右の複数視点画像を表示する既存の立体表示ディスプレイを使うことができる。

図３は入射光透過部１２０を示す図である。図３（ａ）は、撮像素子１１０の側から入射光透過部１２０を見たときの入射光透過部１２０の平面図である。図３（ｂ）は、入射光透過部１２０の断面を示す図である。図３（ａ）に示されるように、入射光透過部１２０は、光学的に透明な透明領域Ｃと、偏光フィルタが付加された左右の偏光フィルタ領域ＬおよびＲとから構成されている。偏光フィルタ領域ＬおよびＲは、全体として輪帯状の形状（Ｃｏｎｃｅｎｔｒｉｃ Ｒｉｎｇ）を有し、透明領域Ｃの周りを囲んでいる。輪帯状の偏光フィルタ領域（Ｌ＋Ｒ）の中心は、透明領域Ｃの中心に一致している。偏光フィルタ領域ＬおよびＲは、それぞれ、レンズ光軸に対して左右に配置された左側フィルタおよび右側フィルタである。ここでの左右とは、レンズ光軸を含む仮想的な基準面に対して対称な位置にあることを意味する。内視鏡１０１の先端部１１３の向きや姿勢は、撮像時に変化するため、「上下」または「左右」の方向は相対的である。

撮像素子１１０から見て左側のフィルタ領域Ｌに付加された偏光フィルタの透過軸と、右側のフィルタ領域Ｒに付加された偏光フィルタの透過軸との間には、一定の角度差αが（０°＜α＜９０°）与えられている。

図１に示す例において、入射光透過部１２０は、撮影レンズ１０９と撮像素子１１０との間に配置されているが、入射光透過部１２０の位置は、この例に限定されない。入射光透過部１２０は、被写体と撮影レンズ１０９との間に配置されてもよい。また、入射光透過部１２０は、撮影レンズ１２０と一体化されていてもよい。

入射光透過部１２０の典型例は、例えばガラス板などから形成された透明基板と、この透明基板の所定領域に張り付けられた一対の偏光フィルタとを備えている。この場合、透明基板のうち、偏光フィルタが張り付けられていない領域が、透明領域Ｃとして機能する。入射光透過部１２０の他の例は、一対の偏光フィルタと、偏光フィルタを保持する部材とから構成され得る。この場合、透明領域Ｃは、空気から構成されていてもよい。透明領域Ｃの面積は、偏光フィルタ領域Ｌ、Ｒおよび透明領域Ｃの合計面積に対して例えば１０〜５０％の範囲に設定され得る。

本実施形態では、被写体を偏光照明で照らすため、被写体からの戻り光も偏光している。戻り光の一部は、入射光透過部１２０の透明領域Ｃを透過し、残りの一部は偏光フィルタ領域Ｌまたは偏光フィルタ領域Ｒを透過する。

図４（ａ）および（ｂ）は、それぞれ、撮像素子１１０の撮像面の構成例を示す図である。図４（ａ）に示すように撮像面には、複数の光感知セル（フォトダイオード）が行および列状（Ｘ−Ｙ方向）に規則的に配列されている。カラー撮像の場合には、図４（ｂ）に示すようにＲＧＢ３種の波長の光を透過するカラーモザイクフィルタが設置される。個々の光感知セルは、光電変換により、入射した光の量に応じて電気信号を生成する。この部分は一般的な単板カラー撮像素子を用いることができる。このように撮像素子１１０としては、従来のカラー輝度画像用のものを利用できる。本実施形態では、照明光を直線偏光として、その偏光面を回転させながら撮像することによって被写体の表面情報を取得することが可能になる。

図５は、偏光照明における偏光面の角度ΨＩの定義を示す図である。撮像側から被写体に向かって仮想的な焦点面であるＸ−Ｙ座標系を設定している。偏光面の角度ΨＩは、Ｘ軸の方向を０°として図５に示すように定義するものとする。角度ΨＩが反射において保存される場合には、反射光の偏光面の角度と入射光の偏光面の角度は同一となる。偏光面の角度ΨＩを増加または減少させていくと、１８０°の周期で同一の偏光状態が繰り返される。すなわち、偏光面の角度ΨＩを変数とする関数は、１８０°の周期を有する周期関数である。なお、本明細書において、偏光照明における偏光面の角度ΨＩを、「入射偏光面角度」と称する場合がある。

本実施形態では、照明レンズ１０７の光軸と撮影レンズ１０９の光軸は略等しい。これは内視鏡での観察時に被写体上になるべく影を発生させないためである。

なお、内視鏡の通常の使い方では、非偏光を被写体に照射したい場合が多い。本発明では、例えば上記第１の画像から第３の画像までの別々の偏光画像を加算することによって非偏光の平均輝度画像を生成することができる。本発明者らの実験によると、偏光面の角度ΨＩが等間隔の複数の偏光を被写体に照射したときの戻り光の画像を加算すると、偏光の効果が打ち消されるため、結果的に非偏光照明を用いたのと同様の効果が得られることが判明している。

次に偏光照明の偏光面を回転した時の入射光透過部１２０の偏光フィルタ領域および透明領域を透過した光の輝度について説明する。

図６は、入射角がゼロに近い偏光Ｌが、滑らかな平坦な表面に入射したときの戻り光Ｖをカメラで観測する様子を示している。図６（ａ）、（ｂ）では、入射する偏光の偏光面が９０°異なっているが、戻り光の直線偏光状態はほぼ入射光の状態と同一となる。これは以下の理由による。

図７は、フレネル理論による鏡面反射率の入射角依存性を示すグラフで横軸が入射角、縦軸がフレネル反射率を示す。屈折率はｎ＝１．８を想定した。

垂直入射とみなせる０°〜１５°付近の入射角度は、範囲７０１に相当する。グラフから読み取れるように、この範囲７０１では、Ｐ波もＳ波も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するＰ波とＳ波という偏光の区別が無くなって同じ挙動で反射する。なお、この事実は、屈折率ｎ＝１．４〜２．０の自然物体において、広く成立する。

以上のように滑らかな表面に対して偏光が、ほぼゼロ度の入射角度で入射し、それが１回反射して観測される場合、偏光照明の偏光面の角度ΨＩはそのまま観測される戻り光の偏光の角度になる。したがって、観測される側では入射してくる偏光のΨIの値を既知とすることができる。

図８は、図３の入射光透過部１２０から偏光フィルタを取り除いた状態を模式的に示す図である。被写体のある点からの戻り光を構成する光線のうち、領域Ｌ、領域Ｒ、および領域Ｃを透過した光線は、撮影レンズの働きにより、結像面上の一点に集まる。言い換えると、撮像面上の特定画素で観測される輝度Iは、領域Ｌ、領域Ｒ、および領域Ｃの各々を通過して撮像面上に生じた像の特定画素における輝度である。領域Ｌ、領域Ｒ、および領域Ｃの各々を通過した光線による輝度を、それぞれ、Ｉ_L、Ｉ_R、Ｉ_Cのとすると、撮像面上の特定画素で観測される輝度Iは、輝度Ｉ_L、Ｉ_R、Ｉ_Cの和になる。

図９は、ある画素について、被写体からの戻り光が、偏光フィルタの無い状態における入射光透過部１２０の領域Ｌ、領域Ｃ、および領域Ｒを透過する様子を模式的に示す図である。偏光フィルタが無い場合、領域Ｌ、領域Ｃ、および領域Ｒを透過した光の輝度は、式１で示されるように３つの領域を透過してきた光の輝度の単純な合計値になる。実際の入射光透過部１２０の領域Ｌおよび領域Ｒには、それぞれ、透過軸の方向が異なる偏光フィルタが付加されている。このため、偏光フィルタを透過する光の量は、入射光（被写体からの戻り光）の偏光方向と偏光フィルタの透過軸との角度に依存して変化することになる。なお、図６および図７を参照して説明したように、被写体の平坦面で反射した光の偏光方向は、被写体を照明する光の偏光方向に一致している。このため、偏光照明の偏光面の角度を制御すれば、入射光透過部１２０に入射する光（被写体からの戻り光）の偏光面を調整することができる。

図１０（ａ）は、フィルタ領域Ｌにおける偏光フィルタの透過軸の角度を０°、フィルタ領域Ｒにおける偏光フィルタの透過軸の角度を４５°に設定した入射光透過部を示している。透過軸の角度についても、図５に示す角度ΨＩと同様に定義する。この例では、左右の偏光フィルタの透過軸の角度差αは４５°である。図１０（ｂ）は、被写体を照射する照明光の偏光面の角度を示しており、これは、被写体からの戻り光の偏光面の角度に相当している。図１０（ａ）に示される偏光フィルタの配置は、一例に過ぎない。フィルタ領域Ｌにおける偏光フィルタの透過軸の角度は、０°以外の角度に設定しても、以下に説明することが成立する。

ここで、偏光フィルタの透過軸と、その偏光フィルタに入射する直線偏光の軸とが一致した場合の透過率をＴpとする。Ｔpは、０＜Ｔp＜１を満足する。また、透明領域Ｃの透過率を理想的に１とする。角度ΨIを有する直線偏光で被写体を照明しているときに、入射光透過部１２０の領域Ｌ、Ｒ、Ｃを透過して観測される光の仮想的な輝度を、それぞれ、ＩＦＬΨ_I、ＩＦＲΨ_I、ＩＣΨ_Iとする。ＩＦＬΨ_I、ＩＦＲΨ_I、ＩＣΨ_Iは、それぞれ、以下の式２で表される。

実際に観測される輝度ＩΨ_Iは、入射光透過部１２０の領域Ｌ、Ｒ、Ｃの各々を透過してきた光が合成されたものの輝度であるため、以下の式３で表される。

図１１は、ある画素について、被写体からの戻り光が入射光透過部１２０の領域Ｌ、領域Ｃ、および領域Ｒを透過する様子を模式的に示す図である。レンズの働きにより、被写体からの戻り光は、領域Ｌ、Ｒ、Ｃの各々を透過した後、撮像面上に収束し、合成される。

たとえば０、４５、９０度の異なる３つの偏光角ΨIの直線偏光で、順次、被写体を照明しながら、３つの画像を撮像すると、各画素の輝度について、次の連立方程式を得る。

ここで、Ｉ₀はΨI＝０°のときに観測される輝度、Ｉ₄₅はΨI＝４５°のときに観測される輝度、Ｉ₉₀はΨI＝９０°のときに観測される輝度である。これらの輝度は、撮像素子１１０の各画素から得られる画素信号に相当している。この点をより一般的に説明する。偏光面の角度が基準方向に対してθ₁°である第１の直線偏光を偏光照明部が被写体に照射しているときに撮像素子が生成した画素信号をＩθ₁、偏光面の角度が前記基準方向に対してθ₂°である第２の直線偏光を偏光照明部が被写体に照射しているときに撮像素子が生成した画素信号をＩθ₂、偏光面の角度が前記基準方向に対してθ₃°である第３の直線偏光を偏光照明部が被写体に照射しているときに撮像素子が生成した画素信号をＩθ₃とすることができる。本実施形態では、画像処理部が、画素信号Ｉθ₁、Ｉθ₂、Ｉθ₃を用いた演算を行うことにより、複数の画像の各々を生成する。

式４を行列で表現すると、以下の式５が得られる。

ここで行列Ｍの行列式は、以下の式６で表される。

したがって、αが以下の式７で表される範囲にあれば、|Ｍ|が非０になるので、逆行列Ｍ^-1が存在することになる。

逆行列Ｍ^-1が存在すれば、以下の式８により、Ｉ₀、Ｉ₄₅、Ｉ₉₀から輝度Ｉ_L、Ｉ_R、Ｉ_Cが算出される。

なお、α＝９０°では、行列Ｍの行列式＝０となって解が得られない。たとえば、０、Ψ１、Ψ２という任意の偏光照射角の組み合わせの場合、式（６）は以下のようになるからである。

このことからαが９０°以外の角であることは本発明の必要条件である。この点、一対の偏光フィルタが有する偏光透過軸を直交させる多くの偏光利用のシステムとは構成上大きく異なる。

なお、今回は未知数の数と同じ数の偏光照明角を用いたが、より多くの偏光照明角にて観測し、逆行列を用いずに最小２乗法的に連立方程式を解いてもかまわない。たとえば偏光回転角を０°、４５°、９０°、１３５°の４種類を用いてもかまわない。

（式６）では、行列Ｍの行列式が非ゼロであることからＭの階数＝３である。そこで、Ｍに１行を付け加えて新たに作られた４×３行列Ｈの階数も３であることが結論でき、ＨとＨの転置行列を乗算するとその結果の３×３行列の階数＝３であり、逆行列が存在する。そこで、以下の式のように最小２乗解を求めることができる。

次に、図１２を参照して、画像処理プロセッサ１０８における画像処理の例を説明する。図１２は、画像処理プロセッサ１０８における画像処理の流れを示すフローチャートである。

前述したように、ステップＳ１００１において、照明光の偏光面を変えながら撮影する。次に、ステップＳ１００２において、逆行列を算出する。ステップＳ１００３において、複数画像から左右の複数視点画像ＬＬ、ＲＲ、および通常画像ＣＣを生成する。このように、本発明では、簡単な画素値演算で複数視点画像ＬＬとＲＲを作成することができる。

表示画像処理部１２１では、画像ＬＬと画像ＲＲを立体視用の表示画像に変換する。たとえば、高速でＬＬ画像とＲＲ画像とを切り替えて表示させる。この際、通常画像ＣＣは表示をオン・オフのいずれでもかまわない。

図１３は、複数視点画像ＬＬ、ＲＲと通常画像ＣＣとを、表示部に交互に表示することにより立体視と通常視とを適宜切り替えて観察している様子を示す。立体表示部１２２には、期間Ｔ１の間にはＬＬ画像のみが提示され（状態１１０１）、次の期間Ｔ２の間にはＲＲ画像のみが提示され（状態１１０２）、次の期間Ｔ３の間にはＣＣ画像のみが提示される（状態１１０３）。この映像は偏光フィルタ板などを透過させることによって直線または円偏光の光１１０７として発光する。観察者は液晶シャッタなどから構成される観察メガネ１２３をかけてこれを観察する。観察メガネの液晶シャッタは、立体表示部１２２に同期して偏光１１０７に対してオープン（透過）とクローズ（遮断）を繰り返す。すなわち、期間Ｔ１の間はＬ液晶シャッタがオープンでＲ液晶シャッタがクローズ（状態１１０４）となる。期間Ｔ２の間はＬ液晶シャッタがクローズでＲ液晶シャッタがオープン（状態１１０５）となる。期間Ｔ３の間はＬ液晶シャッタ、Ｒ液晶シャッタともにオープン（状態１１０６）となる。短時間に期間Ｔ１と期間Ｔ２を繰り返すことによって人間の視覚系では立体視が成立する。

図１４は、時間軸上で期間Ｔ１，Ｔ２，Ｔ３の組み合わせを示す図である。図１４（ａ）は、立体視期間と通常視期間が切り替えられる場合を示している。内視鏡への適用では、通常視期間を利用して従来のカラー画像の観察を実施し、たとえば胃内部の全体的なスクリーニング観察を行う。この場合はカメラと照明が胃壁から遠距離（約５０ｍｍ以上）に位置するため、照明光を有効に使う必要があり、明るい感度のよいＣＣ画像を用いて観察する。そして一旦病変部を発見した場合には、患部に接近（たとえば５ｍｍ以下）するため、照明光が十分明るくなりその結果、左右の小面積の偏光フィルタ領域ＬおよびＲを透過した光による感度が低下した画像でも、十分観察が容易になる。そのため、立体視に切り替えて病変部の凹凸を詳細に観察するという両方の特性を生かした使い方ができる。動作としては立体視期間には、期間Ｔ１と期間Ｔ２が繰り返され、通常視は期間Ｔ３だけが継続するようにする。

図１４（ｂ）は、立体視と通常視が混合している場合を示している。この例では、期間Ｔ１，Ｔ２，Ｔ３が交互に繰り返される。この場合は、立体視の期間には光量が低下し感度低下が発生していることから、期間Ｔ１と期間Ｔ２を期間Ｔ３に比べて若干長めにしてもよい。

表示画像処理部１２１はさらに追加の処理を行ってもよい。たとえば画像ＣＣは視差を示す画像ではないが、複数視点画像と類似している箇所も有り得る。このため、類似している場所は複数視点画像に画像ＣＣを加えることにより、感度の高い複数視点画像ＬＬ及びＲＲを生成することもできる。

以上の処理によって内視鏡で臓器の壁の表面の凹凸を立体視できる。このため、本実施形態によれば、内視鏡の欠点の１つである表面凹凸の観察が困難である、という課題を解決することができる。

上記の実施形態では、偏光フィルタ領域の個数は２であるが、本発明における偏光フィルタ領域の個数は３個以上であってもよい。また、各偏光フィルタの位置は、水平方向にシフトしている必要はなく、垂直方向および／または斜め方向にシフトしていても、複数視点画像は得られる。そのような複数視点画像が得られれば、被写体表面の凹凸に関する３次元情報または視差画像を求めることが可能である。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。

本実施形態の立体画像撮影装置と実施形態１における立体画像撮影装置との相違点は、照明光が直線偏光光ではない点にある。

図１５は、本実施形態における立体画像撮影装置の全体構成を模式的に示す図である。本実施形態では、光源１０４から発した白色非偏光の光は、ライトガイド１０５を経由して、非偏光のまま被写体に照射される。すなわち、先端部１１３は、実施形態１における偏光面制御素子１０６を備えている必要がない。また、制御装置１０２は、同期装置１１２を備えている必要もない。

本実施形態では、被写体で反射された光は、入射光透過部１２０の偏光フィルタ領域Ｒ、Ｌを透過することにより、初めて直線偏光光になる。本実施形態では、照明光を偏光させる代わりに、偏光透過軸の方向が異なる偏光フィルタのモザイクアレイが撮像素子１１４の撮像面に配置されている。

図１６（ａ）および（ｂ）は、それぞれ、本実施形態における撮像素子１１４の撮像面の構成例を示す図である。図１６（ｂ）に示すように、カラーモザイクフィルタの代わりに偏光透過軸の方向が異なる偏光フィルタのアレイが設置されている。個々の光感知セルは、光電変換により、偏光フィルタを介して入射した光の量に応じて電気信号を生成する。図１６（ｂ）における「０」、「４５」、「９０」は、それぞれ、偏光透過軸の方向が基準方向に対して０°、４５°、９０°をなすように配置された偏光フィルタを意味している。また、図中の「Ｃ」は、透明領域を意味する。

撮像素子１１４に設ける偏光フィルタの偏光透過軸の方向を３種類以上に設定することは、照明光の偏光面を３種類上の角度に回転されることに相当する。言い換えると、実施形態１における照明光の偏光角ΨIが、撮像素子１１４に設ける偏光フィルタの偏光透過軸の方向に対応する。このため、実施形態１について説明した各式における偏光角ΨIの値として、撮像素子１１４における偏光フィルタの偏光透過軸の角度を与えればよい。

このように本実施形態によれば、直線偏光光を照明光として用いる必要もなく、また、照明光の偏光面を回転させる必要がなくなる。その結果、本実施形態によれば、動画であっても、必要な表面情報を得やすいという利点がある。ただし、偏光フィルタアレイを撮像素子１１４に設ける必要があるため、カラーモザイクフィルタを用いることが困難になる。このため、本実施形態は、モノクロ画像を取得する場合に特に有効である。

（第３の実施形態）
次に、本発明の第３の実施形態を説明する。

本実施形態の立体画像撮影装置と実施形態１における立体画像撮影装置との相違点は、入射光透過部１２０における偏光フィルタ領域の構成にある。

図１７は、本実施形態における入射光透過部１２０を示す図である。図１７（ａ）は、撮像素子１１０の側から入射光透過部１２０を見たときの入射光透過部１２０の平面図である。図１７（ｂ）は、入射光透過部１２０の断面を示す図である。図１７（ａ）に示されるように、入射光透過部１２０は、光学的に透明な透明領域Ｃと、偏光フィルタが付加された同心円状の偏光フィルタ領域ＬおよびＲとから構成されている。偏光フィルタ領域ＬおよびＲは、それぞれ、輪帯状の形状を有し、透明領域Ｃの周りを同心円状に囲んでいる。輪帯状の偏光フィルタ領域（Ｌ、Ｒ）の中心は、それぞれ、透明領域Ｃの中心に一致している。

フィルタ領域Ｌに付加された偏光フィルタの透過軸と、フィルタ領域Ｒに付加された偏光フィルタの透過軸との間には、一定の角度差αが（０°＜α＜９０°）与えられている。

図１８は、本実施形態における立体画像撮影装置の全体構成を模式的に示す図である。入射光透過部１２０の構成以外の点では、実施形態１における立体画像撮影装置の構成と同一である。このため、実施形態１について説明したことを、ここでは繰り返さない。なお、本実施形態では、後述する第４、第５の実施形態と同様に、観察メガネ１２３の着用は不要である。

図１９（ａ）は、フィルタ領域Ｌにおける偏光フィルタの透過軸の角度を０°、フィルタ領域Ｒにおける偏光フィルタの透過軸の角度を４５°に設定した入射光透過部を示している。透過軸の角度についても、図５に示す角度ΨＩと同様に定義する。この例では、左右の偏光フィルタの透過軸の角度差αは４５°である。図１９（ｂ）は、被写体を照射する照明光の偏光面の角度を示しており、これは、被写体からの戻り光の偏光面の角度に相当している。図１９（ａ）に示される偏光フィルタの配置は、一例に過ぎない。フィルタ領域Ｌにおける偏光フィルタの透過軸の角度は、０°以外の角度に設定してもよい。

本実施形態では、入射光透過部１２０が同心円状の偏光フィルタ領域Ｌ、Ｒを備えているため、実施形態１、２について説明したような、左右に視差を有する複数視点画像を得ることはできない。しかし、本実施形態によれば、撮影レンズ１０９の外周部に近い領域を通過する光線からなる像と、撮影レンズ１０９の中心に相対的に近い領域を通過する光線からなる像とを同時に取得することが可能になる。そして、実施形態１について説明した式８または式１１を用いて画像処理を行えば、Ｉ₀、Ｉ₄₅、Ｉ₉₀から輝度Ｉ_L、Ｉ_R、Ｉ_Cを得ることができる。本実施形態における輝度Ｉ_L、Ｉ_R、Ｉ_Cは、それぞれ、入射光透過部１２０の偏光フィルタ領域Ｌ、偏光フィルタ領域Ｒ、透明領域Ｃを透過した光による輝度である。

こうして得られた輝度Ｉ_L、Ｉ_R、Ｉ_Cに基づくと、レンズ開口サイズ（Ａｐｅｒｔｕｒｅ Ｓｉｚｅ）が異なる像を得ることができる。すなわち、本実施形態によれば、画像処理により、画素信号に基づいて、入射光透過部１２０の透明領域Ｃおよび内側の偏光フィルタ領域Ｒを透過した光によって形成される画像と、透明領域Ｃ、内側の偏光フィルタ領域Ｒおよび外側の偏光フィルタ領域Ｌを透過した光によって形成される画像とを形成する。

フォーカス外れによる画像のぼやけ（Ｄｅｆｏｃｕｓ Ｂｌｕｒ）を規定する点広がり関数のブラーカーネルは、レンズ開口サイズに依存することが知られている。このため、異なるレンズ開口サイズでの複数の画像から、焦点面から被写体表面までの距離、言い換えると被写体表面の奥行情報を求めることができる。このような奥行情報が得られると、焦点面の位置を任意に設定した画像を生成することが可能になる。焦点面の位置が変化すると、それに応じてフォーカス外れによるぼやけた画像が得られる。被写体表面のうち、焦点面上に位置する部分の像がぼやけず、焦点面からの距離が大きい部分の像は大きくぼやけることになる。焦点面を変化させながら、そのような画像を表示部に表示させると、被写体を立体的に知覚することが可能になる。異なるレンズ開口サイズでの複数の画像から、画像処理により、被写体表面の奥行情報を取得する技術は、例えば非特許文献２に開示されている。

（第４の実施形態）
次に、本発明の第４の実施形態を説明する。

本実施形態の立体画像撮影装置と実施形態３における立体画像撮影装置との相違点は、照明光が直線偏光光ではない点にある。

図２０は、本実施形態における立体画像撮影装置の全体構成を模式的に示す図である。本実施形態では、光源１０４から発した白色非偏光の光は、ライトガイド１０５を経由して、非偏光のまま被写体に照射される。すなわち、先端部１１３は、実施形態１における偏光面制御素子１０６を備えている必要がない。また、制御装置１０２は、同期装置１１２を備えている必要もない。

本実施形態では、被写体で反射された光は、入射光透過部１２０の偏光フィルタ領域Ｒ、Ｌを透過することにより、初めて直線偏光光になる。本実施形態では、照明光を偏光させる代わりに、偏光透過軸の方向が異なる偏光フィルタのモザイクアレイが撮像素子１１４の撮像面に配置されている。

本実施形態における撮像素子１１４の撮像面の構成例は、図１６（ａ）および（ｂ）に示すものと同一である。本実施形態によれば、実施形態２と同様に、直線偏光光を照明光として用いる必要もなく、また、照明光の偏光面を回転させる必要がなくなる。その結果、本実施形態によれば、動画であっても、必要な表面情報を得やすいという利点がある。ただし、偏光フィルタアレイを撮像素子１１４に設ける必要があるため、カラーモザイクフィルタを用いることが困難になる。このため、本実施形態は、モノクロ画像を取得する場合に特に有効である。

（第５の実施形態）
次に、図２１を参照して本発明の第５の実施形態を説明する。図２１（ａ）は、本実施形態における入射光透過部１２０を示す平面図である。本実施形態の立体画像撮影装置が図１で示す基本構成から異なる部分は、入射光透過部１２０の部分のみである。本実施形態の入射光透過部１２０では、透明領域ＣＬが中心部に位置し、同心状の１つの偏光フィルタ領域Ｒが外側に配置される。入射する偏光照明は、図２１（ｂ）に示すように、偏光面の角度を０°と４５°の２種として２枚の画像を撮像すればよい。透明領域を透過した光の輝度をＩＣＬ、偏光フィルタ領域を透過した光の輝度をＩＲとして、照明偏光角度が０°と４５°における観測輝度を、それぞれ、I₀、I₄₅とすると、実施形態１と同様に、以下の式が成立する。

これを解くと、以下の式が得られる。

なお、この実施形態では、照明の偏光回転角を他の角度に設定してもよい。行列Ａの行列式は、以下の式１４で表される。

したがって、Ψは、たとえば０°と９０°でもよい。

この実施形態では、レンズを通る光を、入射光透過部１２０を用いて２分割するだけなので構成が簡素になる利点がある。本実施形態でも、レンズ開口サイズの異なる画像を取得することができる。

以上述べたように本発明の好ましい実施形態では、入射光透過部１２０に遮光部が無いので、単眼でも明るい複数視点画像または異なるレンズ開口サイズの画像を得ることができる。

演算により、偏光フィルタ領域を透過した光から透明領域を透過した光を分離できるため、従来の通常レンズを用いた撮像系と同様の通常のカラーまたはモノクロ観察も同時に可能となる。このため、従来の技術のように撮像光学系が２重に必要になることもない。すなわち本実施形態の内視鏡は、立体視のための視差画像などの取得と従来の輝度画像撮像の両方を１つの動作モードにて同時に取得することができるという大きな利点がある。

本発明は、医療用内視鏡、皮膚科、歯科、内科、外科などのメディカル用途のカメラ、工業用内視鏡、指紋撮像装置、表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。

１０１ 内視鏡
１０２ 制御装置
１０３ 挿入部
１０４ 光源
１０５ ライトガイド
１０６ 偏光面制御素子
１０７ 照明レンズ
１０８ 画像処理プロセッサ
１０９ 撮影レンズ
１１０ 従来のカラー撮像素子
１１１ 映像信号線
１１２ 同期装置
１１３ 先端部
１１４ 偏光撮像素子
１１５ 照射される偏光
１１６ 戻り光の偏光
１２０ 入射光透過部
１２１ 表示画像処理部
１２２ 立体表示部
１２３ 観察メガネ
１２４ 被写体表面
ＣＣ 通常画像
ＬＬ 左視差画像
ＲＲ 右視差画像
Ｃ 透明領域

Claims (12)

1. 偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、
   前記直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、
   画像処理部と、
   を備え、
   前記撮像部は、
   前記偏光照明部によって照明された前記被写体からの戻り光を結像するレンズと、
   前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、
   前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部と、
   を有し、
   前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置され、
   前記直線偏光の各々によって前記被写体が照射されているときに前記撮像素子が生成した前記画素信号に基づいて、前記画像処理部は、前記透明領域と前記複数の偏光フィルタ領域の各々を透過した光によって形成される複数の画像を生成する、立体画像撮影装置。
2. 前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が２種類以上に順次変化する直線偏光を照射する請求項１に記載の立体画像撮影装置。
3. 前記画像処理部は、偏光面の角度が異なる３種類以上の直線偏光が被写体を照射しているときに得られる前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する、請求項１に記載の立体画像撮影装置。
4. 偏光面の角度が基準方向に対してθ₁°である第１の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ₁、偏光面の角度が前記基準方向に対してθ₂°である第２の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ₂、偏光面の角度が前記基準方向に対してθ₃°である第３の直線偏光を前記偏光照明部が前記被写体に照射しているときに前記撮像素子が生成した画素信号をＩθ₃とするとき、
   前記画像処理部は、画素信号Ｉθ₁、Ｉθ₂、Ｉθ₃を用いた演算を行うことにより、前記複数の画像の各々を生成する、請求項１から３のいずれかに記載の立体画像撮影装置。
5. 前記撮像部は、前記撮像素子として、モノクロ撮像素子またはカラー撮像素子を有している請求項１に記載の立体画像撮影装置。
6. 偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、
   前記直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、
   を備え、
   前記撮像部は、
   前記偏光照明部によって照明された前記被写体からの戻り光を結像するレンズと、
   前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、
   前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部と、
   を有し、
   前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置されている、内視鏡。
7. 被写体を撮像する撮像部と、
   画像処理部と、
   を備え、
   前記撮像部は、
   光源によって照明された前記被写体からの戻り光を結像するレンズと、
   前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、
   前記撮像素子の前面に配置されたモザイク偏光フィルタアレイであって、個々の偏光フィルタの偏光透過軸が２種類以上の方向を向いているモザイク偏光フィルタアレイと、
   前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部と、
   を有し、
   前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置され、
   前記撮像素子が生成した前記画素信号に基づいて、前記画像処理部は、前記透明領域と前記複数の偏光フィルタ領域の各々を透過した光によって形成される複数の画像を生成する、立体画像撮影装置。
8. 前記画像処理部は、前記画素信号に基づいて、前記入射光透過部の前記左側フィルタ領域を透過した光によって形成される左側画像と、前記入射光透過部の前記右側フィルタ領域を透過した光によって形成される右側画像とを形成する、請求項７に記載の立体画像撮影装置。
9. 前記入射光透過部における前記複数の偏光フィルタ領域は、前記レンズの光軸に対して同心円状に配置された内側フィルタ領域および外側フィルタ領域を含む請求項７に記載の立体画像撮影装置。
10. 前記画像処理部は、前記画素信号に基づいて、前記入射光透過部の前記透明領域および前記内側フィルタ領域を透過した光によって形成される画像と、前記入射光透過部の前記透明領域、前記内側フィルタ領域および前記外側フィルタ領域を透過した光によって形成される画像とを形成する、請求項９に記載の立体画像撮影装置。
11. 前記撮像部は、前記撮像素子として、モノクロ撮像素子を有している請求項７に記載の立体画像撮影装置。
12. 非偏光光を被写体に照射する照明部と、
    前記非偏光光によって前記被写体が照射されているときに、前記被写体を撮像する撮像部と、
    を備え、
    前記撮像部は、
    前記照明部によって照明された前記被写体からの戻り光を結像するレンズと、
    前記レンズによって結像された像から光電変換によって画素信号を生成する撮像素子と、
    前記撮像素子の前面に配置されたモザイク偏光フィルタアレイであって、個々の偏光フィルタの偏光透過軸が２種類以上の方向を向いているモザイク偏光フィルタアレイと、
    前記被写体からの戻り光を透過する入射光透過部であって、透明領域と複数の偏光フィルタ領域とを有する入射光透過部と、
    を有し、
    前記複数の偏光フィルタ領域は、前記透明領域の外側に位置し、全体として輪帯形状を有し、かつ、前記レンズの光軸に対して左右に配置された左側フィルタ領域および右側フィルタ領域を含み、前記左側および右側フィルタ領域は、偏光透過軸の方向が０°より大きく９０°よりも小さな角度αを形成するように配置されている、内視鏡。

Images