WO2014073138A1

WO2014073138A1 - 画像処理装置および内視鏡

Info

Publication number: WO2014073138A1
Application number: PCT/JP2013/005385
Authority: WO
Inventors: 克洋金森; 今村　典広
Original assignee: パナソニック株式会社
Priority date: 2012-11-09
Filing date: 2013-09-11
Publication date: 2014-05-15
Also published as: US20180235438A1; JP5857227B2; US10492660B2; EP2918217A4; JPWO2014073138A1; EP2918217A1; US20140362200A1; EP2918217B1

Abstract

　本開示の画像処理装置は、実施形態において、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で被写体を照射する照明部であって、第１の照明光の波長域が第２の照明光の波長域に重複しない部分を有するように第１および第２の照明光を順次出射する照明部を備える。また、偏光撮像素子と、偏光撮像モードにおいては、第１の照明光で被写体が照射されているときの第１の偏光画像と、被写体が第２の照明光で照射されているときの第２の偏光画像を得て、非偏光撮像モードにおいては、非偏光照明光で被写体が照射されているときの非偏光画像を得る、偏光モザイク処理部とを備える。第１および第２の偏光画像の少なくとも一方に基づいて被写体の表面における凹領域を検出し、凹領域を強調して示す画像を形成する。

Description

画像処理装置および内視鏡

　本開示は、画像処理装置および当該画像処理装置に使用される内視鏡に関する。

　粘膜で覆われた、生体の臓器器官の壁表面に対して照明光を照射して撮像を行う内視鏡の分野では、被写体の表面の色の変化と同時に、表面の微細な凹凸のテクスチャを確認する必要がある。この表面テクスチャは、たとえば胃における胃小区のように平均サイズが０．５～１．０ｍｍ、深さが０．１～０．２ｍｍ程度の半透明の微細な凹凸である。これを内視鏡によって輝度の陰影でとらえることは非常に難しいため、現在はインジゴカルミン溶液など青色色素液体を粘膜上に撒布して、液体が溝にたまる状態を輝度で観察している。

　しかし、この処理では、粘膜上に液体を吹き付けるために出血したり、粘膜の色が変わってしまうなどの問題があった。このように表面の凹凸を観察したいという課題に対して偏光照明と偏光撮像を用いた偏光内視鏡が特許文献１に記載されている。

特開２００９－２４６７７０号公報特開２００９－２１０７８０号公報

Viktor Gruev, Rob Perkins, and Tiｍothy York ,"CCD polarization iｍaging sensor with aluｍinuｍ nanowire optical filters", ３０ August ２０１０ / Vol. １８, No. １８ / OPTICS EXPRESS PP.１９０８７-１９０９４

　特許文献１に開示されているような偏光を使う従来技術では、特定の偏光成分の照明光を物体に照射し、物体からの戻り光において、照明と平行な偏光成分、および直交する偏光成分それぞれの画像を撮像し、それらに基づいて表面の形状変化を算出している。

　本開示の画像処理装置の実施形態は、偏光撮像モードにおいて、被写体の表面における凹領域を検出し、非偏光撮像モードにおいては非偏光画像を得ることにより、被写体の表面における前記凹領域を強調して示す画像および非偏光画像の両方を得ることができる。

　本開示の画像処理装置の実施形態は、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、および、各偏光子を透過した光を受けて信号を出力する光検知素子アレイとを有する撮像素子と、前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得て、前記非偏光撮像モードにおいては、前記非偏光照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得る、偏光モザイク処理部と、前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部とを備える。

　本開示の画像処理装置の他の実施形態は、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、前記偏光撮像モードにおいては、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得て、前記非偏光撮像モードにおいては、前記非偏光白色照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得る、偏光モザイク処理部と、前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部とを備える。

　本開示の画像処理装置の更に他の実施形態は、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、偏光透過軸の方向が異なる複数の偏光子、および、光透過特性が異なるカラーフィルタが設けられた開口領域を有し、前記開口領域を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって複数の光検知素子を覆うマイクロレンズアレイを有する撮像素子と、前記偏光撮像モードにおいては、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを、前記マイクロレンズアレイに覆われた前記複数の光検知素子から選択した一部の光検知素子からの信号に基づいて形成し、前記非偏光撮像モードにおいては、前記非偏光白色照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得る、画像分離部と、前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部と、を備える。

　本開示の画像処理装置の更に他の実施形態は、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、偏光透過軸の方向が異なる複数の偏光子が設けられた開口領域と、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、前記開口領域の各偏光子を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、複数の光検知素子を覆うマイクロレンズアレイを有する撮像素子と、前記偏光撮像モードにおいては、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを、前記マイクロレンズアレイに覆われた前記複数の光検知素子から選択した一部の光検知素子からの信号に基づいて形成し、前記非偏光撮像モードにおいては、前記非偏光白色照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得る、画像分離部と、前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部とを備える。

　本開示の内視鏡の実施形態は、上記のいずれかの画像処理装置に用いられる内視鏡であって、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、および、各偏光子を透過した光を受けて信号を出力する光検知素子アレイとを有する撮像素子とを備える。

　本開示の内視鏡の他の実施形態は、上記いずれかの画像処理装置に用いられる内視鏡であって、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子とを備える。

　本開示の内視鏡の更に他の実施形態は、上記いずれかの画像処理装置に用いられる内視鏡であって、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、偏光透過軸の方向が異なる複数の偏光子、および、光透過特性が異なるカラーフィルタが設けられた開口領域を有し、前記開口領域を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、各々が複数の光検知素子を覆うマイクロレンズアレイを有する撮像素子とを備える。

　本開示の内視鏡の他の実施形態は、上記いずれかの画像処理装置に用いられる内視鏡であって、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、偏光透過軸の方向が異なる複数の偏光子が設けられた開口領域と、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、前記開口領域の各偏光子を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、複数の光検知素子を覆うマイクロレンズアレイを有する撮像素子とを備える。

　本開示の実施形態によれば、偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射するため、通常の被写体像とは別に、被写体表面の凹凸情報や傾斜情報を得ることができる。このため、たとえばインジゴカルミン溶液など青色色素液体を粘膜上に撒布した画像に類似する画像（凹領域が強調された画像）を合成することが可能になる。

（ａ）および（ｂ）は、いずれも、胃粘膜の内視鏡画像の図（ａ）および（ｂ）は、輝度による半透明凹凸部の観測状態を示す図（ａ）および（ｂ）は、偏光観測の原理を示す図光が媒質から出射する際の出射角と透過率を示すグラフ（ａ）および（ｂ）は、アクリル製レンチキュラー板の直交ニコル撮像の際のアクリル板上の溝と偏光照明の方向性の関係を示す図本開示の第１の実施形態の構成を示すブロック図（ａ）から（ｃ）は、本開示の第１の実施形態におけるカラーホイールを示す図本開示の第１の実施形態における照明フィルタの特性を示す図（Ａ）から（Ｃ）は、本開示の第１の実施形態でのモノクロ広帯域偏光撮像素子を形成するワイヤグリッドの平面構造と透過軸方向を示す図本開示の第１の実施形態でのモノクロ広帯域偏光撮像素子の断面構造を示す図本開示の第１の実施形態における通常撮像モードの動作を示す図本開示の第１の実施形態での通常撮像モードのタイミングチャート本開示の第１の実施形態での偏光撮像モードの偏光モザイク処理部２０２の動作を示す図本開示の第１の実施形態での偏光撮像モードのタイミングチャート本開示の第１の実施形態での偏光撮像モードの偏光モザイク処理部２０２の動作を示す図本開示の第１の実施形態での偏光撮像モードのタイミングチャート本開示の第１の実施形態での凹領域検出部２０４と画像合成部２０６の処理を説明するブロック図凹領域検出部２０４で用いる微分処理マスクの例凹領域検出部２０４で用いる青色強調処理の例（Ａ）から（Ｃ）は、ラット胃の粘膜を用いた実験結果本開示の第２の実施形態の構成を示すブロック図本開示の第２の実施形態における内視鏡先端部と偏光回転照明を示す図（Ａ）および（Ｂ）は、本開示の第２の実施形態における偏光回転照明の別の構成を示す図本開示の第２の実施形態におけるカラー偏光撮像素子の断面構造を示す図（Ａ）から（Ｃ）は、本開示の第２の実施形態におけるカラーモザイクと偏光モザイクの平面配置を示す図本開示の第２の実施形態における通常撮像モードの偏光モザイク処理部２０２の動作を示す図本開示の第２の実施形態における通常撮像モードのタイミングチャート本開示の第２の実施形態における偏光撮像モードの偏光モザイク処理部２０２の動作を示す図本開示の第２の実施形態における偏光撮像モードのタイミングチャート（Ａ）から（Ｃ）は、本開示の第２の実施形態の変形例１におけるカラーモザイクと偏光モザイクの平面配置を示す図本開示の第２の実施形態の変形例１における通常撮像モードの偏光モザイク処理部２０２の動作を示す図本開示の第２の実施形態の変形例１における偏光撮像モードの偏光モザイク処理部２０２の動作を示す図（Ａ）から（Ｃ）は、本開示の第２の実施形態の変形例２におけるカラーモザイクと偏光モザイクの平面配置を示す図本開示の第２の実施形態の変形例２における通常撮像モードの偏光モザイク処理部２０２の動作を示す図本開示の第２の実施形態の変形例２における偏光撮像モードの偏光モザイク処理部２０２の動作を示す図本開示の第３の実施形態の構成を示すブロック図本開示の第３の実施形態における内視鏡の先端部を示す図本開示の第３の実施形態におけるマイクロレンズアレイ型カラー偏光撮像部の構成を示す図本開示の第３の実施形態における開口部のカラー偏光フィルタ領域の構成を示す図本開示の第３の実施形態における画素選択再集積部２１０の処理を説明する図本開示の第３の実施形態における通常撮像モードと偏光撮像モードで取得される画像を説明する図本開示の第４の実施形態の構成を説明する図本開示の第４の実施形態におけるマイクロレンズアレイ型カラー偏光撮像素子の構成図本開示の第４の実施形態におけるマイクロレンズアレイ型カラー偏光撮像部の断面構成図本開示の第４の実施形態における開口部の偏光フィルタ領域本開示の第４の実施形態における画素選択再集積部２１０の処理を説明する図

　図１は、ヒトの胃の表面粘膜を内視鏡で観察した画像を示す。図１（ａ）は、通常でのカラー画像を示しており表面にはなだらかな起伏しか感じられない。すなわち消化器などを検察する内視鏡が、臓器表面の透明または半透明で形成された凹凸を検出することは通常のカラー画像処理では困難である。ここで、通常のカラー画像処理とは、非偏光の白色光を照射して得られるカラーの輝度画像を得るための処理である。こうして得られたカラー画像を「カラー輝度画像」と称し、また、カラー輝度画像を得るための撮影をカラー輝度撮影とする場合がある。

　一方、図１（ｂ）は、インジゴカルミン液を撒布した後のカラー画像を示しており、表面の微細な凹凸のテクスチャ（サイズが０．５～１．０ｍｍ、深さが０．１～０．２ｍｍ程度）が明瞭に確認できる。

　図２（ａ）および（ｂ）は、胃や腸の臓器表面に形成された凹凸断面を簡略化して示している。胃や腸の表面に存在する凹凸は、一般的には上に凸のカマボコ状の形状の繰り返し配列によって形成されていると考えられる。隣接する２つの凸部の間に位置する凹領域は、典型的には、ある方向に延びる小さな「溝」である。複数の溝は、局所的には略同じ方向に揃っているが、大局的には複雑な曲線状または他のパターンを示し得る。現実の被写体表面の凹凸は、ドット状の凹部または凸部を含み得るが、本明細書では、このような凹凸の凹部を単に「溝」または「溝領域」と称する場合がある。図２（ａ）および（ｂ）は、被写体の表面部における狭い領域内に存在する幾つかの溝を横切る断面を模式的に示している。簡単のため、以下の説明では、図２（ａ）および（ｂ）に示されるような凹部および凸部が図の紙面に対して垂直な方向に延びていると仮定してよい。

　内視鏡による観察は、撮影光軸の近傍に光源が配置された同軸照明であるため、図２（ａ）および（ｂ）に示された被写体に対して、その略直上から照明光を照射し、おなじく被写体の略直上から撮影が行われる。このような同軸照明を用いた通常のカラー輝度撮影にて観察できる反射光には大きく２種ある。１つは表面にて光が反射する鏡面反射光（図２（ａ））であり、もう１つは媒質内部に浸透し、より下層で反射して戻って表面から再出射される内部拡散光（図２（ｂ））である。鏡面反射光は、照射される光と撮影光軸とが正反射の条件に近い場合に限って発生するため、内視鏡の撮影シーンではごく局所的にしか発生しない。鏡面反射光の色は、照明の色すなわち白色であり、輝度は非常に強い。鏡面反射光による被写体像は、前記の正反射条件から、一般に被写体表面における凹凸の凸部にて強く明るく、凹部では弱く暗い。一方、内部拡散光は、撮影シーンの全域に渡って観測される。内部拡散光の色は、媒質の色自身であり、輝度はそれほど強くならずに媒質全体が光る。内部拡散光による被写体像は、媒質の厚みの厚い凸部において暗く、厚みの薄い凹部において明るくなる傾向がある。すなわち、鏡面反射光と内部拡散光との間では、輝度の高低と被写体表面の凹凸との対応関係が反対になる。

　通常の撮影では、上記の２種の反射光が重ねあわされて１つの輝度画像（撮影シーン）が形成される。そのため、撮影シーンの中で、２種の反射光の輝度の差がほぼ拮抗する領域には、凹凸部で輝度の明暗差がほとんど無くなる。従って、通常の輝度画像では、被写体の表面凹凸において輝度の差がほとんど無くなる。もし明暗の輝度差があったとしても、その情報に基づいて、たとえば周囲が画素よりも輝度の低い画素を凹部としてそれを検出する処理をすると、鏡面反射部と内部拡散反射部によって凹凸の位置関係にズレを生じてしまう弊害があり、輝度画像処理は非常に困難である。

　図３（ａ）および（ｂ）は、偏光を用いた観察を説明するための図である。図３（ａ）の例では、表面凹凸に平行な方向の偏光照明を照射した場合、図３（ｂ）は表面凹凸に垂直な方向の偏光照明を照射した場合におけるそれぞれ直交ニコル状態の偏光画像を取得している。

　図３（ａ）の設定では、臓器表面の凹凸断面を示す模式的なモデル３０１に対して、照明３００とＰ偏光フィルタ３０２が配置されている。これにより、モデル３０１の凹凸が延びる方向（図の紙面に垂直な方向）に対して平行に偏光した光（Ｐ偏光またはＰ波）でモデル３０１が照射される。一方、直交ニコル状態を形成するように観察側偏光フィルタ３０３（Ｓ）が配置され、撮像装置３０４が画像を取得する。

　図３（ｂ）の設定では、Ｓ偏光照明の偏光フィルタ３０９（Ｓ）が配置され、直交ニコル状態を形成するように観察側偏光フィルタ３１０（Ｐ）が配置される。なお、図３の例では、偏光フィルタの偏光透過軸が図の紙面に垂直であるときの偏光をＰ偏光、紙面に平行であるときの偏光をＳ偏光（Ｓ波）としている。

　直線偏光照明３０５、３１１を用いた撮影において観察できる反射光は大きく２種あり、１つは凸部で光が正反射する鏡面反射成分３０６、３１２であり、もう１つは媒質内部に浸透し、より下層で非偏光の散乱光３０７となり、撮像系に対して傾斜した斜面から表面から再度出射される内部拡散光の偏光３０８、３１３である。内部拡散光は、境界面法線と視線との傾きである出射角が大きい場合に偏光が顕著になる。

　次に反射光の偏光の方向について、定性的な説明を行う。

　まず、鏡面反射成分３０６、３１２は同軸照明状態での正反射であるから、照射された偏光の偏光状態と同じ偏光状態を維持する。このため、鏡面反射成分３０６は紙面に垂直な偏光、鏡面反射成分３１２は紙面に平行な偏光になる。

　一方、内部拡散光の偏光３０８、３１３の偏光方向は、屈折率が１より大きい媒質から空気中へ出射する際の偏光について、フレネル理論で決定される。図４は、フレネル理論に基づいて求められた屈折率が１より大きい媒質から空気中へ出射する際の偏光の状態を示すグラフである。横軸の出射角に対して透過率は常にＴ∥＞Ｔ⊥すなわちＰ偏光＞Ｓ偏光となる。従って、内部拡散光の偏光３０８、３１３ともに、モデル３０１の表面の傾斜に対してＰ偏光が強い偏光となる。

　次に、これらの反射光を撮像装置３０４で観察する場合、図３（ａ）では、反射光３０６がＰ偏光（紙面に垂直）、反射光３０８がＳ偏光（紙面内）である状態をＳ偏光フィルタ３０３で観測するので、反射光３０６は遮断状態にて暗くなり、反射光３０８は透過状態にて明るくなる。つまり３０１のカマボコ形を直上から観察した場合、画像３１４のように中心軸付近が暗く斜面付近が明るくなる縞模様となって明瞭に観測される。図３（ｂ）では、反射光３１２、３１３ともＳ（紙面内）である状態を撮像装置３０４のＰ偏光フィルタ３１０で観測するので、反射光３１２、３１３とも遮断状態となって暗くなる。つまりモデル３０１のカマボコ形を直上から観察した場合、画像３１５のように全体的に暗くなり凹凸が不明瞭になる。

　図５は、実際にアクリル板表面に縞状に凹凸（多数の溝）が形成されたレンチキュラー板を用いて、この偏光撮像を実行した結果を示す図である。被写体は、完全拡散板上に血管を模した透明シートを置き、その上に乳白色の２ｍｍ厚のアクリル製レンチキュラー板を載せたものである。この被写体を直上から観察した。レンチキュラー板の溝は、図の紙面内における水平方向に対して０°の方向に平行に配置された。図５（ａ）と図５（ｂ）は、それぞれ、偏光照明がＰ、Ｓになった状態で撮影した像を示している。すなわち、図５（ａ）では、偏光照明の偏光方向と被写体表面の溝方向とが平行であり、図５（ｂ）では、偏光照明の偏光方向と被写体表面の溝方向とが直交している。図５（ａ）、（ｂ）の偏光撮像は、両者とも直交ニコル状態で行われた。このときに撮像された直交ニコル画像を観察すると、図５（ａ）ではＰ方向に明暗の縞が明瞭に観察される。一方、図５（ｂ）では明暗が不明瞭になる。

　上記のとおり、偏光撮像モードにおいて直交ニコル状態の偏光を撮像すると、偏光照明の偏光方向が被写体の凹部（溝）と平行に近い場合には輝度が周囲よりも明るくなり、凹部を明瞭に検出できる。そこで、被写体の凹凸の向きが未知の場合においては、少なくとも偏光照明が直交した２種類の直交ニコル画像を得ることができれば、微分フィルタ処理などの画像処理によって表面の凹部を検出することができる。検出された凹部に対して、カラーデジタル画像処理でＢｌｕｅ（青く）に着色することで、インジゴカルミン溶液など青色色素液体を粘膜上に撒布した画像と類似の画像を再現することができる。

　本発明者の実験によると、内視鏡のような同軸照明状態では、鏡面反射の輝度は完全拡散板を１とした場合に１０から１００程度ときわめて高くなる。このため、この高い輝度を撮像素子が飽和しない範囲にまで低下させるように減光し、直交ニコル画像を撮像する場合、１００：１以上の消光比性能を有する偏光フィルタを用いることができる。

　以下、本開示の実施形態を説明する。

（第１の実施形態）
　図６は、本開示の実施形態１における画像処理装置の全体構成を模式的に示す図である。本画像処理装置は、内視鏡１０１と、制御装置１０２と、表示部１１４とを備える。

　内視鏡１０１は、モノクロ広帯域偏光撮像素子１１５を有する先端部１０６、および、ライトガイド１０５と映像信号線１０８とを内部に有する挿入部１０３を有している。内視鏡１０１の挿入部１０３は、図示されているように左右に長く、フレキシブルに曲がり得る構造を有している。ライトガイド１０５は曲がった状態でも光を伝達することができる。

　制御装置１０２は、光源装置１０４と画像プロセッサ１１０とを備える。光源装置１０４内には、たとえばキセノン光源、ハロゲン光源、ＬＥＤ光源、またはレーザ光源であり得る光源１１８が備えられている。光源１１８から発した非偏光の光は、回転するＲＧＢフィルタを有するカラーホイール１１６（ａ～ｂ）を通過した場合、順次、Ｒレッド、Ｇグリーン、Ｂブルーの光になる。これらの光は、ライトガイド１０５を経由して先端部１０６に導かれ、照明用フィルタ２００を透過する際に、偏光または非偏光の光となる。そして照明レンズ１０７から、偏光または非偏光の照明光１１７となって、被写体である内臓粘膜表面１１１を照射する。被写体からの反射光１１３は、対物レンズ１０９を通ってモノクロ広帯域偏光撮像素子１１５上に結像する。

　同期装置１１２は、カラーホイール１０６ａの回転と同期しながら、モノクロ広帯域偏光撮像素子１１５に撮影開始信号を送って反射光による映像を取得する。撮像された映像信号は、映像信号線１０８を経由して画像プロセッサ１１０に送られる。

　以上の処理をＲＧＢの面順次方式で連続して実行してカラー撮像と偏光撮像を実行する。以下、通常のカラー撮像を実行するモード「非偏光撮像モード」または「通常撮像モード」と称し、偏光撮像を実行するモードを「偏光撮像モード」と称することがある。

　照明制御部１２０は、外部から、内視鏡の動作モードが通常撮像モードおよび偏光撮像モードのいずれであるかを示す信号が入力されると、それに対応して、それぞれに対応したカラーホイールを照明光の光路１２１に挿入する。そうすることにより、面順次照射に用いる照明の分光特性を変化させる。

　通常撮像モードの場合には、偏光モザイク処理部２０２にて処理されたカラー画像が画像合成部２０６にてフルカラー動画に組み立てられ、表示部１１４にたとえば動画で表示される。また偏光撮像モードにおいては、同じく偏光モザイク処理部２０２にて処理された画像が凹領域検出部２０４にて表面の凹領域を検出され、画像合成部２０６にて青色強調された表示部にたとえば動画で表示される。

　図７（ａ）～（ｃ）は、照明に使われ得るカラーホイールの例を示している。図７（ａ）に示される通常撮像用カラーホイール１１６ａは、回転軸の周りに設けられた３つの扇形状の領域を有している。この３つの扇形状領域は、それぞれ、Ｒ１Ｒ２で示すほぼ同色のレッド波長域を同時に透過するレッドフィルタ、Ｇ１Ｇ２で示すほぼ同色のグリーン波長域を同時に透過するグリーンフィルタ、Ｂ１Ｂ２で示すほぼ同色のブルー波長域を同時に透過するブルーフィルタとから構成されている。ここで、「Ｒ１Ｒ２」のＲ１およびＲ２は、それぞれ、レッド（Ｒ）の波長域、たとえば６００ｎｍ～７００ｎｍの短波長側の半分および長波長側の半分の波長域を示す。図７（ａ）のカラーフィルタ１１６ａにおいて、「Ｒ１Ｒ２」と記載された扇形状の領域は、Ｒ１の波長域およびＲ２の波長域の両方の光を透過する領域であり、「Ｒ」と記載しても良い。他の記号、「Ｇ１Ｇ２」および「Ｂ１Ｂ２」も同様である。本明細書では、「Ｒ１」などの符号を、特定の波長域を示すために用いたり、そのような波長域の光を選択的に透過するフィルタを示すために使用する場合がある。

　偏光撮像用カラーホイール１１６ｂは、偏光撮像を実行する波長域の設定により種々の構成を有し得る。図７（ｂ）は、グリーンとブルーを混合した２種類の波長帯域の光を順次透過するカラーホイール１１６ｂの例を示している。このカラーホイール１１６ｂは、表面凹凸テクスチャを検出するために適した波長域を選択することが可能である。一方、図７（ｃ）は、６個の異なる波長域の光を順次透過するカラーホイール１１６ｂの他の例を示している。このような構成を有するカラーホイール１１６ｂは、フルカラーの直交ニコル画像を取得するに適している。なお、図７（ａ）のカラーホイール１１６ａおよび図７（ｂ）または（ｃ）のカラーホイール１１６ｂの一方が、外部からの信号によって指定されて選択的に使用される。より具体的には、非偏光撮像モードまたは通常撮像モードではカラーホイール１１６ａが使用され、偏光撮像モードではカラーホイール１１６ｂが使用される。

　図８は、照明用フィルタ２００の透過特性を示す図である。Ｂ、Ｇ、Ｒの各可視光波長範囲をＰ偏光とＳ偏光が交互に透過する櫛型の透過特性を有している。たとえば図８に示す例において、波長域Ｂ１（４００～４５０ｎｍの範囲）でＰ偏光のみを透過し、波長域Ｂ２（４５０～５００ｎｍの範囲）でＳ偏光のみを透過する。このため、光源からライトガイドを経由してくる光の波長が波長域Ｂ１に含まれる場合には、その光は照明用フィルタ２００によってＰ偏光の偏光照明光に変換される。同様に、光源からライトガイドを経由してくる光の波長が波長域Ｂ２に含まれる場合には、その光は照明用フィルタ２００によってＳ偏光の偏光照明光に変換される。なお、通常撮像モードおいて、光源からライトガイドを経由してくる光の波長が波長域Ｂ１Ｂ２の全体に広がる場合には、Ｐ偏光とＳ偏光が混合されるため非偏光の照明光が得られる。

　図８に示されるような特性を有するフィルタは、多層膜偏光子として実現することが可能であり、たとえば、特許文献２にその例が記載されている。

　図９は、モノクロ広帯域偏光撮像素子１１５の撮像面のパターン偏光子（偏光モザイクまたは偏光モザイクアレイ）の構造の例を模式的に示す図である。図９（Ａ）に示すように撮像面には、画素が行および列状（Ｘ－Ｙ方向）に規則的に配列されている。

　本撮像素子１１５は、照明光の色がＲ、Ｇ、Ｂに順次変化する面順次方式で用いられるため、その撮像面上にはカラーモザイクフィルタが配列されていない。すなわち、撮像素子１１５そのものは、モノクロ撮像素子であり、各画素に偏光子が配列されている。個々の画素には、可視光の波長域に含まれる光が順次入射するため、本実施形態で用いられる偏光子の偏光選択特性は可視光帯域で実現する。具体的には、４００ｎｍ～８００ｎｍの帯域において、本実施形態の偏光子の偏光取得性能を示す消光比が１００：１以上である。このため、本実施形態では、可視光帯域の一部を占める特定波長のみで偏光特性を呈する偏光子を用いず、その代わり、広い波長域で高い偏光取得性能を示し得る金属ワイヤグリッド偏光子を用いている。

　図９（Ｂ）は、２行２列に配列された４個の画素（２×２ブロック）に対応する偏光フィルタの１単位８０１を示している。この１単位８０１の中では、平面内に９０°ずつ回転させた偏光フィルタ（４個の偏光子）が配置されている。図９（Ｂ）では、各偏光フィルタ上に示された複数の直線が偏光の透過軸の方向を示している。

　図９（Ｃ）は、図９（Ｂ）に対応して金属ワイヤグリッドで実現する場合のワイヤ配置が図示されている。ワイヤグリッドでは金属ワイヤの方向と垂直な方向（ＴＥ軸）が偏光の透過軸となるため、模式図でワイヤを直線で表現すると、図９（Ｂ）の偏光軸の向きと、図９（Ｃ）の金属ワイヤの直線の向きとが９０度異なる。この混乱を避けるため、本開示の実施形態で利用する偏光フィルタの透過軸の向きを表現する場合、常に図９（Ｂ）の直線（偏光透過軸に平行）を使用するものとし、ワイヤグリッドのワイヤ方向を直接描く平面図は使用しないものとする。

　後述するように、この金属ワイヤグリッドの配置面は撮像素子の最上面から下層までの範囲内においてさまざまな位置をとり得る。ワイヤグリッドは平面的には他画素との干渉を回避するため、画素単位領域の外縁よりも余裕度Δだけ内側の領域内にされている。例えば正方形である１画素領域の一辺の長さＤを３～４μｍとすると、Δは０．２μｍ＝２００ｎｍ以上に設定され得る。ワイヤグリッドを構成する各ワイヤの幅Ｌと間隔Ｓのデユーティ比は、透過率と消光比のトレードオフになる。本開示の実施形態において、幅Ｌと間隔Ｓとは等しいものとする。後述するようにＬ＝Ｓ＝０．１μｍ＝１００ｎｍとして、Δ＝０．２μｍ＝２００ｎｍのとき、ワイヤグリッドの本数は、ワイヤ方向が撮像面内の垂直軸または水平軸に対して０°と９０°の角度を形成する場合には１７本である。

　従来、アルミニウム製ワイヤグリッド偏光子を用いた偏光撮像素子で実際に試作され消光比の性能測定がされた例が非特許文献１に開示されている。非特許文献１によると、画素サイズ＝７．４×７．４μｍの領域内にピッチＰ＝１４０ｎｍｍ、高さＨ＝７０ｎｍで配置された微細ワイヤグリッド偏光子の消光比は４５０、５８０、７００ｎｍの各波長でそれぞれ３０：１、４５：１、６０：１程度であった。この実例から、ワイヤグリッドを微細化して撮像素子に実装しても、消光比性能として１００：１を実現するのは困難であると予測される。そこで本実施形態においては、ワイヤグリッドを２層構造として高消光比を実現する構造をとっている。

　図１０を参照して、撮像素子１１５の断面構成例を説明する。

　入射光は、撮像素子１１５の上方に配置される対物レンズ１０９から撮像面に到達する。撮像素子１１５において、光が到達する構造を順次説明すると、まず最上面にはマイクロレンズ２２０が配置される。このマイクロレンズ２２０の役割は光の効率的なＰＤ（フォトダイオード）２３２への集光である。マイクロレンズ２２０は、斜め入射光の光路をまげて撮像面に対して垂直に近い角度にするため、特に内視鏡のように広角撮影が多用されるケースでは有効である。また、マイクロレンズ２２０があると、ワイヤグリッド層２２２、２２４に対してほぼ直上から光を入射させることができるため、ＴＭ透過率と消光比の低下を防ぐ効果を有する。マイクロレンズ２２０の下には平坦化層２２６がある。その下層に第１ワイヤグリッド層２２２が配置されている。第１ワイヤグリット層２２２は、撮像面内において９０°ずつ回転した特定の方向の偏光だけが透過し、それ以外の光は反射または吸収する。

　本実施形態における第１ワイヤグリッド層２２２は、金属ワイヤ間に中空構造を有しており、各金属ワイヤは空気と接している状態がつくられる。このため、消光比の性能低下を防ぐ効果を有する。

　第１ワイヤグリッド層２２２の下方には第２ワイヤグリッド層２２４が配置される。この第２ワイヤグリッド層２２４は、基本的には第１ワイヤグリッド層２２２と配置方向、サイズ、材質同一であり、同じ中空構造を持っている。

　第１および第２ワイヤグリッド層２２２、２２４を重ねて用いることにより、各々の消光比が１０：１程度に低下した微細ワイヤグリッドであっても、２層全体の消光比を１００：１程度までに向上させることができる。第２ワイヤグリッド２２４の下層には、平坦化層２２８と配線２３０とが設けられている。光の透過部分には配線２３０は配置されていないため、遮光されることなく、その下層にあるＰＤ（フォトダイオード）２３２に到達する。撮像面では、多数のＰＤ２３２が行および列状に配列され、光感知セルアレイを形成している。

　撮像素子では、マイクロレンズ２２０からＰＤ２３２までの距離を短くする低背化が重要である。本実施形態の偏光撮像素子においても、マイクロレンズ２２０からＰＤ２３２までの距離が長い場合、画素間クロストークが発生して偏光特性、特に消光比を低下させてしまう。低背化のため、本実施形態においては、ワイヤグリッドからＰＤまでの距離を２～３μｍ程度に設定している。また、ワイヤグリッド偏光子では、透過するＴＭ波に対して偏光方向が直交するＴＥ波は反射されるため、これが迷光となり性能劣化の原因となり得る。これを回避するためには、ワイヤグリッド２２２、２２４を単層ではなく多層構造として吸収作用を設けることが有効である。　以下、本実施形態における画像処理装置の撮像動作を説明する。

　まず、図１１Ａおよび図１１Ｂを参照して、通常撮像モードの動作を説明する。

　図１１Ａおよび図１１Ｂは、それぞれ、通常撮像モードにおける照明と撮像の動作を示す図およびタイミングチャートである。図１１Ａの左段は、面順次照明の分光スペクトルを示している。Ｂ色の照明は、Ｂ１（Ｐ偏光）とＢ２（Ｓ偏光）という厳密には異なる色の異なる偏光の混合光からなる。このことは、Ｇ、Ｒ色の照明光でも同様である。これらの照明光は、照射時には、それぞれ、Ｂ、Ｇ、Ｒの非偏光とみなすことができる。このため、実質的には公知の面順次照明と変わらなくなる。

　照明光が被写体に照射されるとき、被写体で反射された戻り光は、モノクロ広帯域偏光撮像素子１０５にて観察される。図１１Ａでは、偏光撮像素子１０５が有する偏光モザイクの基本単位８０１のみを記載している。この基本単位８０１に含まれる４個の偏光子のうち、左上および右下に位置する２個の偏光子（Ｐの偏光フィルタ）は、撮像面内で水平な方向に偏光したＰ偏光を透過し、右上および左下に位置する２個の偏光子（Ｓの偏光フィルタ）は、撮像面内で垂直な方向に偏光したＳ偏光を透過する。

　モノクロ広帯域偏光撮像素子１１５の偏光動作は、可視光領域の全体に相当する４００ｎｍ～８００ｎｍにわたって機能するので、Ｂ、Ｇ、Ｒ色の照明光で被写体が照射されるときのいずれであっても１個の撮像素子で対応できる。

　得られる撮像画像は、非偏光の照明を受けた被写体からの戻り光を、Ｐの偏光フィルタまたはＳの偏光フィルタを介して受光する。このため、得られた画素値を２×２の４画素領域で平均化することにより、非偏光画像を取得できる。平均化された画素値は、仮想的には、２×２の４画素の中心に位置する。このため、図１１Ａの最も右側では、点線で示す画素領域にＮＰ（非偏光）と記載されている。２×２の４画素を１画素単位でシフトさせることにより、解像度低下は実質的に発生しない。

　このようにＢ、Ｇ、Ｒの非偏光の面順次照明に対して、それぞれ、非偏光撮像が実現される。カラー画像バッファメモリへ３原色画像を順次蓄積し、３原色の画像を得られたときに、これらの画像を合成することにより、フルカラー動画を生成することができる。上記の処理を、本明細書では「偏光モザイク画素の平均化処理」と称する。偏光モザイク画素の平均化処理は図６の偏光モザイク処理部２０２にて実行され、フルカラー動画の生成は、画像合成部２０６にて実行される。

　図１１Ｂは、以上の動作をタイミングチャートで示している。図１１Ｂの上段から照明の発光動作、撮像動作、そして偏光モザイク処理部２０２において処理されるカラー成分画像を示している。このタイミングの各動作は、同期回路１１２が、照明制御部１２０、モノクロ広帯域偏光撮像素子１１５、偏光モザイク処理部２０２を制御して実現する。

　次に、図１２および図１３を参照して、偏光撮像モードの動作を説明する。

　図１２および図１３は、それぞれ、偏光撮像モードにおける照明と撮像の動作概要を示す図およびタイミングチャートである。この例では、図７（ａ）の偏光撮像用カラーホイールを使用する。

　図１２の左段は、面順次照明の分光スペクトルを示している。このＢ色とＧ色の照明は、被写体となる消化器などの粘膜の特性を考慮して決められている。Ｂ、Ｇ帯域は、Ｒ帯域に比べて短波長のため表面散乱されやすく、表面テクスチャでの光散乱を観察するのに適している。また、Ｂ、Ｇ帯域には、生体粘膜の反射特性に強い吸収が存在するため、コントラストが高くなり、表面凹凸テクスチャの観察に適している。

　本実施形態では、偏光撮像用カラーホイールの回転により、Ｐ偏光であるＢ１Ｇ１とＳ偏光であるＢ２Ｇ２が交互に被写体に照射される。照明光が被写体に照射され、被写体から反射された戻り光は、モノクロ広帯域偏光撮像素子１０５にて観察される。偏光モザイクの基本単位８０１で異なる偏光成分が測定される。Ｐ偏光照明における直交ニコル（Ｐ⊥）および平行ニコル（Ｐ∥）、ならびに、Ｓ偏光照明における直交ニコル（Ｓ⊥）および平行ニコル（Ｓ∥）の合計４通りの画素情報が得られる。ただし、画素情報として空間的に不足している★で表示した画素の値は、その周囲に位置する画素の値に基づいて補間する必要がある。この補間処理は、周囲４画素からの簡単な平均化処理で実現できる。

　図１３は、以上の動作を示すタイミングチャートである。図１３の上段から照明の発光動作、撮像動作、そしてモザイク処理部において処理されるカラー成分画像が示されている。このタイミングの動作は、同期回路１１２が制御する。Ｐ偏光とＳ偏光の交互照射のタイミングで、それぞれに対応する直交ニコル（Ｐ⊥）（Ｓ⊥）画像と平行ニコル（Ｐ∥）（Ｓ∥）画像とがモノクロ画像として出力される。ここで「モノクロ画像」とは、ＢおよびＧの波長帯における偏光情報を示す輝度画像である。直交ニコル（Ｐ⊥）（Ｓ⊥）を交互に連続的に表示することにより、図５に示されたような不可視な表面凹凸を明瞭化した画像を得ることができる。

　図１４および図１５は、それぞれ、図７（ｃ）の偏光撮像用カラーホイールを使用した場合の偏光撮像モードにおける照明と撮像の動作概要を示す図およびタイミングチャートである。この場合は、ＢＧＲの面順次カラー照明が行われる。このような撮像は、粘膜表面を、鏡面反射などを除去しつつ目視で観察する場合に特に有効である。また、生体粘膜内部の偏光特性を狭帯域の波長域として観察したい用途にも適する。

　照明光は、図７（ｃ）の偏光撮像用カラーホイールの回転により、Ｐ偏光であるＢ１Ｇ１Ｒ１とＳ偏光であるＢ２Ｇ２Ｒ２が順番に被写体に照射される。被写体で反射された戻り光は、モノクロ広帯域偏光撮像素子１０５にて観察され、偏光モザイクの基本単位８０１で異なる成分が撮像される。得られる撮像画像は、Ｐ偏光照明においてＲＧＢフルカラーの直交ニコル（Ｐ⊥）、平行ニコル（Ｐ∥）、Ｓ偏光照明においてＲＧＢの各波長域について直交ニコル（Ｓ⊥）、平行ニコル（Ｓ∥）の合計１２通りの画像情報となる。この場合も画素情報として不足分があるため、★で表示した画素は周囲から補間する必要がある。このような構成を採用すれば、内視鏡でのリアルタイムの観察時に、粘膜表面から鏡面反射等を除去して粘膜状態を観察しやすい。この例では、動画として高速再現を可能にするため、ホイール上の円周上のフィルタ並びの順番が、Ｂ１－Ｇ２－Ｒ１－Ｂ２－Ｇ１－Ｒ２となるようにし、ＲＧＢのカラーと偏光のＰとＳの種類が交番になる。

　図１５は、以上の動作を示すタイミングチャートで示ある。図１５の上段から照明の発光動作、撮像動作、そしてモザイク処理部において処理されるカラー成分画像が示されている。このタイミングの動作は同期回路１１２が制御する。Ｐ偏光とＳ偏光の交互照射のタイミングでそれぞれに対応する直交ニコル（Ｐ⊥）（Ｓ⊥）画像と平行ニコル（Ｐ∥）（Ｓ∥）画像とが出力される。ただし直交ニコル（Ｐ⊥）または（Ｓ⊥）のＲＧＢフルカラー画像を得るためには、偏光照明を固定状態でＢ、Ｇ、Ｒの面順次光が照射される期間であるＴｐｓの時間が必要になる。従って、この時間を動画として表示できない。これは、偏光とカラーの両方の照明を面順次にて実現しているため、全ての種類の照明を照射し終わるのに時間がかかるのが原因である。内視鏡での観察では、動作の再現にリアルタイム性が要求される。そこで、実施形態では、直交ニコル画像の動画表示の目的のため、（Ｐ⊥）と（Ｓ⊥）をなるべく混合した画像をパイプライン方式に処理・表示をする。たとえば、図１５のＲＧＢフルカラー直交ニコル画像１５１０は、Ｂ１（Ｐ）照明下での画像１５０１、Ｇ２（Ｓ）照明下での画像１５０２、Ｒ１（Ｐ）照明下での画像１５０３というＰ偏光とＳ偏光が混在した直交ニコル画像で、次のタイミングで処理・表示される画像１５１１は、Ｇ２（Ｓ）照明下での画像１５０２、Ｒ１（Ｐ）照明下での画像１５０３、Ｂ２（Ｓ）照明下での画像１５０４というＰ偏光とＳ偏光とが混合した直交ニコル画像である。

　このような処理を行うと、直交ニコル画像の照明にＰ⊥とＳ⊥がバランスよく含まれ、後段の凹領域検出に対して有利である。また、ＢＧＲのカラー面順次の変化を偏光の変化よりも早く変化させることにより、人間が観察する動画とした場合にカラー画像としての認識が崩れない。

　図１６は、凹領域検出部２０４、および画像合成部２０６での処理を説明するための図である。図１７は、凹領域検出部２０４において、中心画素値と周辺画素平均値との差分に用いる周辺部の画素位置のマスクパターンを示す図である。凹領域検出部２０４には、以上の処理で生成された直交ニコル画像が入力される。

　以下、図１４および図１５を参照しながら説明したフルカラーの直交ニコル画像が毎フレーム取得される場合の処理を例に説明する。フルカラーであるＲ、Ｇ、Ｂ成分からなる直交ニコル画像は、ここでは、Ｇ成分を抜き出し、図１６に示す平滑化処理、微分処理、および青色強調処理の順に処理される。

（１）平滑化処理
　入力された画像は、次段の微分処理を実行する前に、画像から強調したいテクスチャの周波数より高域の雑音成分を除去する。具体的には、雑音成分を除去するため、平滑化フィルタ処理が実行される。本実施形態では、一般的なガウス型フィルタを用いる。フィルタのマスクサイズを、後述する微分マスクフィルタのマスクサイズと同一にすることにより、細かい粒状ノイズの強調を回避できる。

（２）微分処理
　平滑化フィルタ処理がなされたＧ成分画像に対して、周囲よりも明るい画素領域を検出するため以下のような微分マスク処理を行う。周囲より明るい画素領域を検出する理由は、図３～図５を参照しながら説明したとおり、偏光照明の偏光方向が被写体の表面溝と平行に近い場合、輝度が周囲よりも明るくなるためである。実際には、被写体の表面凹凸の向きは未知である。しかし、本開示の実施形態では、偏光照明の偏光方向が、直交する２つの方向の間で交互に変わり、（Ｐ⊥）と（Ｓ⊥）の２種類の直交ニコル画像を交互に取得できるため、問題はない。微分処理は、平滑化処理後の画像に、図１７に示すような中心画素と周辺画素とを指定するマスク（ここでは３×３、５×５、７×７画素の例を示す）を設定し、周辺の周囲Ｎ＝８画素、Ｎ＝１６画素、もしくはＮ＝２４画素の画素値Ｖｋｌの平均値と中心画素値Ｃｉｊとの差分値Δを算出する。こうして得られる差分値Δは、以下の数１の式で示される。

　次に、中心画素値が周囲より明るい場合、以下の数２に示すように、差分値Δをｋ倍に増幅した値をΔＣとする。もし暗い場合にはΔＣは０とする。
（数２）
　Ｉｆ　（Δ＞０）　ΔＣ＝ｋ*Δ
　ｅｌｓｅ　ΔＣ＝０

（３）青色成分の強調
　ΔＣ値をＲ、Ｇ成分から減算することにより、青色を強調する。ここで、Ｒ、Ｇ成分が０以下になる場合、その不足分を他の色成分から減算して連続性を維持する。このため、Δの大きさで色相は変化するが、滑らかに接続されるようにすることができる。Ｒ、Ｇ成分のうちで値が小さいものをＣ１、大きいものをＣ２とおいて、以下のように３種類に場合分けをする。

　図１８は、以下の３通りの場合を示している。

　まず、１）ΔＣが小さい場合には、Ｒ、Ｇ信号から減算する処理を実行する。次に、２）でΔＣがＣ１を超える値になった場合には、最も小さい信号がゼロになり、残りが中間となる信号から減算される。次に、３）でＲ、Ｇ信号からの減算がゼロになった場合には、Ｂ信号から残りの信号が減算される。以上の処理で、中心画素が周辺画素よりも明るい画素領域のカラー信号が、その程度に応じて青色強調され、インジゴカルミン撒布に類似したカラー画像が生成される。
（数３）
　１）ΔＣ≦Ｃ１の場合
　　　Ｃ１＝Ｃ１－ΔＣ
　　　Ｃ２＝Ｃ２－ΔＣ

　２）Ｃ１＜ΔＣ≦（Ｃ１＋Ｃ２）／２の場合
　　　Ｃ１＝０　Ｃ２＝（Ｃ１＋Ｃ２）－（２ΔＣ）

　３）（Ｃ１＋Ｃ２）／２＜（ΔＣ）の場合
　　　Ｃ１＝０Ｃ２＝０
　　　Ｂ＝Ｂ－（（２ΔＣ）－Ｃ１－Ｃ２）

（４）画像合成部の処理
　画像合成部２０６は、図１５に示すように、面順次照明で取得される画像をＲ、Ｇ、Ｂ３枚分蓄積する。そして、Ｒ、Ｇ、Ｂの３枚の画像を１フレーム毎に合成してリアルタイム表示可能なフルカラー画像を合成する。更に、表面テクスチャの凹部に青色成分強調を施したフルカラー画像を、１フレーム時間ごとに遅延なく動画表示する。

　図１９は、本実施形態の画像処理装置によって得られた画像の例を示す図である。被写体はラットを解剖して胃を開いて、コルク板上に伸展固定した粘膜である。図１９（Ａ）および図１９（Ｂ）は、それぞれ、この被写体の平行ニコル画像および直交ニコル画像を示す。図１９（Ｃ）は、本実施形態に示した凹部検出処理を実行した画像を示す。図１９（Ｃ）では、モノクロ画像が表示されているが、実際に得られる画像はフルカラー画像であり、胃の表面粘膜上に存在する表面凹凸テクスチャを検出して擬似的に青く着色している状態を示す。

（第２の実施形態）
　図２０は、本開示の実施形態２における画像処理装置の全体構成を模式的に示す図である。本実施形態では、白色（ホワイト）光を照射して単板カラー撮像素子１１９にてカラー撮像を行う。本実施形態では、白色光を被写体に照射する際、偏光回転照明を実現する。この目的のため、本実施形態では、光源装置１０４には照明制御部のみを配置し、内視鏡の先端部に配置したＬＥＤ、あるいは有機ＥＬ面光源などで照明光を生成する。

　本実施形態においては、例えば図２１に示すように、内視鏡の先端に偏光面が０°（Ｐ）、９０°（Ｓ）の照明光の照射口が交互に多数（ここでは１６分割で）配列されている。この例では、交互に隣接しない同種の８個のＬＥＤが選択されて点灯することによってＰ偏光とＳ偏光の交互の偏光照明が実現される。

　図２２（Ａ）は、偏光回転照明の別の例を示している。この例では、順次点灯する照明画素単位を十分小さく、数量を多くすることにより、点灯する光源位置の変動が撮像側で１画素以内に抑制され得る。図２２（Ｂ）は、この面照明の全体構成を示す図であり、面照明のＸ軸とＹ軸の各軸に順次点灯を制御するためのデータドライバが用意されており、Ｘ軸とＹ軸でアドレスされる画素が一斉に点灯する。たとえば、ここではＸ軸とＹ軸の両方が偶数の画素（Ｘ_2mとＹ_2m）が一斉に点灯すると、それは偏光面が０°の照明光となる。そしてＸ軸とＹ軸のデータドライバの偶数、奇数の組みあわせによって、０°（Ｐ）、９０°（Ｓ）の偏光透過面を有する照明光が得られることになる。

　このような面照明を使う利点は、全体の照度や配光状態が一定のまま照明の偏光状態だけが変化できることである。照明に面光源を使用することにより、照明光の均一性が良くなる。その結果、臓器の表面粘膜における非常に強い正反射輝度を低下させ、撮像を良好に行うことができる。

　図２３は、本実施形態で用いるカラー偏光撮像素子１１９の断面構造の例を示す図である。図１０に示したモノクロ広帯域偏光画像撮像素子１１５と異なるのは、カラーフィルタ２４０がワイヤグリッド層２２４からＰＤ（フォトダイオード）２３２までの間に配置されることである。このカラーフィルタ２４０は、有機物から形成されても良いし、フォトニック結晶または金属から形成されてもよい。光の入射側からＰＤ２３２までの光の進行方向からみた場合、マイクロレンズ２２０、第１ワイヤグリッド層２２２、第２ワイヤグリッド層２２４、カラーフィルタ２４０の配置の取りえる順序は計６通りあり、各々でその利点が異なる。ワイヤグリッド２２４とＰＤ２３２との間の距離ＤＥＰＴＨは、カラーフィルタ２４０が入る分長くなるため、典型的には４～６μｍである。

　図２４の構成（最上層からマイクロレンズ２２０・第１ワイヤグリッド層２２２・第２ワイヤグリッド層２２４・カラーフィルタ２４０）では、マイクロレンズ２２０が最上層に位置するため、ワイヤグリッドに垂直に光を入射させやすい。

　図２４は、図２３のカラー偏光撮像素子１１９の平面構造を示す図である。図２４（Ａ）はカラー単板撮像素子と同じ平面構造を示す。図２４（Ａ）の構成例では、４×４画素領域を拡大し、直上から観察して、図２４（Ｂ）のカラーモザイク構造と図２４（Ｃ）の偏光モザイク構造とが、画素ごとに重なった状態にある。

　図２４（Ｂ）は、カラーモザイクフィルタの１例を示しているが、本開示の実施形態で使用され得るカラーモザイクフィルタは、この例に限定されない。ベイヤーモザイク以外の他のモザイク構造でも構わない。この例では、カラーモザイクに含まれる１色のフィルタが、２行2列に配置された４個の画素（４個のフォトダイオード）の領域をカバーする。２×２画素領域は、図２４（Ｃ）の４種類の偏光モザイク領域に相当する。すなわち、サブ画素を基準にすると、イメージセンサの解像度は本来の画素の１／２×１／２となって画素数は低下するが、１画素内で偏光処理をすることにより偏光処理の結果発生するアーティファクトを低減させることができる。

　次に図２５を参照して、本実施形態における通常撮像モードの動作を説明する。被写体には、Ｗｈｉｔｅ（白色）のＰ偏光とＷｈｉｔｅ（白色）のＳ偏光とが交互に照射され、その都度、偏光カラーモザイク画像が取得される。Ｐ偏光の照射時には、偏光モザイク２５０２によって偏光画素パターン２５０３が、Ｓ偏光の照射時には、偏光画素パターン２５０４が取得される。ここで、Ｐ∥およびＰ⊥は、それぞれ、Ｐ偏光の照射時における平行ニコル状態および直交ニコル状態の画素を示している。同様に、Ｓ∥およびＳ⊥は、それぞれ、Ｓ偏光照射時における平行ニコル状態および直交ニコル状態の画素を示す。偏光モザイク処理部２０２では、この偏光画素パターン２５０３と偏光画素パターン２５０４の画像を画素毎に加算平均を実行する。偏光画素パターン２５０３と偏光画素パターン２５０４において、各カラー画素での加算平均処理を行うと、平行ニコル状態の画素値と直交ニコル状態の画素値とが以下のように均等に混合される。
（数４）
（ＮＰ）＝（Ｐ∥＋Ｐ⊥＋Ｓ∥＋Ｓ⊥）／４

　加算平均の結果Ｖは、元々の解像度からは１／２×１／２に低下した非偏光（ＮＰ）のカラーモザイク画像２５０５が得られる。この非偏光カラーモザイク画像２５０５からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。

　図２６は、以上の動作を示すタイミングチャートである。図２６の上段から照明の発光動作、撮像動作、そして偏光モザイク処理部２０２において処理されるカラー成分画像を示している。このタイミングの動作は、同期回路１１２が制御する。Ｐ偏光とＳ偏光の交互照射のタイミングでそれぞれに対応する偏光画素パターン２５０３、２５０４が撮像される。偏光モザイク処理部２０２では、図２５に示された偏光画素パターン２５０３、２５０４の加算平均処理を実行して非偏光カラーモザイク画像２５０５が得られる。次に、カラーモザイク補間処理にて、ＲＧＢフルカラー画像を得る。したがって、Ｐ偏光照明とＳ偏光照明とが照射されて１枚のＲＧＢフルカラー画像を得ることが可能になる。実際には、図２６に示すように、時間的に隣接するＰ偏光照明およびＳ偏光照明の処理を連続することによって１フレーム時間毎に画像が遅延なく動画として生成される。

　図２７は、本実施形態における偏光撮像モードの動作を説明するための図である。偏光撮像モードでは、Ｐ偏光とＳ偏光が交互に被写体に照射され、その都度、偏光のカラーモザイク画像が取得される。ここで得られる偏光画素パターン２５０３、２５０４は、図２５の偏光画素パターン２５０３、２５０４と同一である。偏光モザイク処理部２０２では、画素パターン２５０３、２５０４の両方を使って、該当する画素ごとに、Ｐ∥とＳ∥、およびＰ⊥とＳ⊥を選択・集積処理する。こうすることによって、ＰＳ偏光混合の平行ニコル画像２７０１とＰＳ偏光混合の直交ニコル画像２７０２を分離して生成する。そして同一カラー画素内の４画素を以下のように加算平均する。
（数５）
（ＰＳ∥）＝（Ｐ∥＋Ｓ∥＋Ｐ∥＋Ｓ∥）／４
（ＰＳ⊥）＝（Ｐ⊥＋Ｓ⊥＋Ｐ⊥＋Ｓ⊥）／４

　この処理の結果得られる偏光画像は、元々の解像度からは１／２×１／２に低下したカラーモザイク画像２７０３、２７０４である。カラーモザイク画像２７０３および２７０４内の同一カラー画素は、Ｐ偏光照明とＳ偏光照明を均等に含んだ状態での平行ニコル画像ＰＳ∥と直交ニコル画像ＰＳ⊥を構成している。直交ニコル画像ＰＳ⊥について、カラーモザイク補間が実行され、フルカラーの直交ニコル画像が生成される。この直交ニコル画像に対しては、凹領域検出部２０４および画像合成部２０６で第１の実施形態について説明した処理と同様の処理が行われる。

　図２８は、以上の動作を示すタイミングチャートである。図２８は、上段から照明の発光動作、撮像動作、そして偏光モザイク処理部２０２、カラーモザイク補間部２０８、凹領域検出部２０４、画像合成部２０６において処理されるカラー画像を示している。照明と撮像の動作までは、図２６の通常撮像モードのタイミングチャートと同一である。偏光モザイク処理部２０２での動作では、Ｐ偏光照明とＳ偏光照明の撮像画像をフレームごとに用いてＰＳ混合偏光での平行ニコル画像２７０１とＰＳ偏光混合の直交ニコル画像２７０２を生成する。すなわち、フレームごとに同時に２種の偏光画素パターン２７０１、２７０２が生成される。また、それらを加算平均したカラーモザイク画像２７０３とカラーモザイク画像２７０４も同時に生成される。カラーモザイク画像２７０３、２７０４の解像度は１／２×１／２に低下している。直交ニコル画像２７０４は、第１の実施形態に関する図１６を参照しながら説明したように、凹領域検出部２０４と画像合成部２０６において表面テクスチャの凹部で青色成分強調を施したフルカラー画像として毎フレームごとに表示部１１４で動画表示される。

（第２の実施形態の変形例１）
　図２９は、本開示の実施形態２の変形例１を示す図である。図２９（Ａ）は、図２３に示された第２の実施形態におけるカラー偏光撮像素子１１９の平面構造を示す図である。図２９（Ａ）は、カラー単板撮像素子と同じ平面構造を示している。図２９（Ｂ）は、カラーモザイクにおける４×４個のカラーフィルタの配置例を示し、図２９（Ｃ）は、偏光モザイクにおける８個の偏光子の配置例を示している。これらのカラーモザイクおよび偏光モザイクは、４×４個の画素（ＰＤ：フォトダイオード）をカバーするように積層されている。

　本実施形態では、カラーモザイクの２色のカラーフィルタと１個の長方形の偏光子とが対応している。他の構成は、第２の実施形態の構成と変わらない。

　図２９（Ｃ）における角度表示の０°の偏光子が位置する画素が、Ｐ偏光の透過画素であり、９０°の偏光子が位置する画素がＳ偏光の透過画素である。０°の偏光子と９０°の偏光子とが市松配列を形成していない。すなわち、撮像面内において垂直方向または水平方向に隣接する２個の画素に同一の偏光が入射するように偏光モザイクが構成されている。これは、ＲＧＢ画素のうち２画素を占めるＧ画素に必ず０°の偏光子と９０°の偏光子が割り当てられるようにするためである。このような構成によれば、０°の偏光子が、ＲＧの２画素とＢＧの２画素に割り当てられ、９０°の偏光子がＧＢの２画素とＧＲの２画素に割り当てられている。

　図３０は、本実施形態における通常撮像モードの動作を示す図である。通常撮像モードでは、Ｗｈｉｔｅ（白色）のＰ偏光とＳ偏光とが交互に照射され、その都度画像が取得され、偏光のカラーモザイク画像が取得される。偏光モザイクが３００１のような配列であるため、Ｐ偏光の照射時には、３００２で示す偏光画素パターンが、Ｓ偏光の照射時には３００３で示す偏光画素パターンが取得される。ここで、Ｐ∥、Ｐ⊥はＰ偏光照射時における平行ニコル状態と直交ニコル状態の画素を示し、同様に、Ｓ∥、Ｓ⊥はＳ偏光照射時における平行ニコル状態と直交ニコル状態の画素を示す。偏光モザイク処理部２０２では、この偏光画素パターン３００２、３００３を画素毎に加算平均をする。加算平均処理は、平行ニコルと直交ニコル状態の画素が以下のように均等に混合されると考えられる。

　その場合、３００４には、異なる色画素で直交ニコルと平行ニコルの画素が混在するが、あまり問題にはならない。これは内視鏡では被写体に対して照明角度と撮像角度がほぼ等しいため非偏光の照明が反射して大きく偏光することがあまり無く通常観察では色の違いがほぼ無いためである（表面凹凸の場合を除く）。
（数６）
（ＮＰ）＝（Ｐ⊥＋Ｓ∥）／２
（ＮＰ）＝（Ｐ∥＋Ｓ⊥）／２

　加算平均の結果Ｖは、非偏光のカラーモザイク画像３００４が得られる。この際に第２の実施形態にあったような解像度の低下がない。この非偏光カラーモザイク画像３００４からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。

　図３１は、本実施形態における偏光撮像モードの動作を説明する図である。偏光照明はＰ偏光とＳ偏光が交互照射され、その都度画像が取得され、偏光画像パターン３１０２、３１０３が取得される。偏光モザイク処理部２０２では、この偏光画素パターン３１０２、３１０３を両方使って、該当する画素ごとに、Ｐ∥とＳ∥、およびＰ⊥とＳ⊥を収集し埋め込み処理をする。こうすることによって、ＰＳ偏光混合の平行ニコル画像３１０４とＰＳ偏光混合の直交ニコル画像３１０５とを分離生成する。この処理の結果得られる偏光画像は、カラーモザイク画像３１０６、３１０７であり、それぞれ、Ｐ偏光照明とＳ偏光照明を均等に含んだ状態での平行ニコル画像ＰＳ∥と直交ニコル画像ＰＳ⊥である。直交ニコル画像ＰＳ⊥について、カラーモザイク補間が実行されフルカラーの直交ニコル画像が生成される。この直交ニコル画像は、凹領域検出部２０４、画像合成部２０６において第１の実施形態について説明した処理と同様の処理が行われる。なお、この実施形態に関するタイミングチャートは、第２の実施形態に関するタイミングチャートと同様である。

（第２の実施形態の変形例２）
　図３２は、本開示の実施形態２の変形例２を示す図である。図３２（Ａ）は、図２３のカラー偏光撮像素子１１９の平面構造を示す図である。図３２（Ｂ）は、カラーモザイクにおける４×４個のカラーフィルタの配置例を示し、図３２（Ｃ）は、偏光モザイクにおける４個の偏光子の配置例を示している。これらのカラーモザイクおよび偏光モザイクは、４×４個の画素（ＰＤ：フォトダイオード）をカバーするように積層されている。

　本実施形態では、カラーベイヤ・モザイクの１単位の４画素と偏光モザイクの１単位とが対応している。他の構成は、第２の実施形態と変わらない。図３２（Ｃ）における角度表示の０°の偏光子が位置する画素がＰ偏光の透過画素であり、９０°の偏光子が位置する画素がＳ偏光の透過画素である。偏光モザイクの０°の偏光子と９０°の偏光子とは市松配列を形成している。各々に同一のカラーベイヤ・モザイクが包含される配列としている。

　図３３は、本実施形態における通常撮像モードの動作を示す図である。通常撮像モードでは、Ｗｈｉｔｅ（白色）のＰ偏光とＳ偏光とが交互に照射され、その都度、画像が取得され、偏光のカラーモザイク画像が取得される。偏光モザイクが配列３３０１を有するため、Ｐ偏光の照射時には、偏光画素パターン３３０２が、Ｓ偏光の照射時には偏光画素パターン３３０３が取得される。ここで、Ｐ∥、Ｐ⊥、Ｓ∥、Ｓ⊥は既出の意味を持つ。偏光モザイク処理部２０２では、この偏光画素パターン３３０２、３３０３を有する画像について、画素毎に加算平均を実行する。加算平均処理では、平行ニコルと直交ニコル状態の画素が均等に混合される（数６）。

　加算平均の結果Ｖは、非偏光のカラーモザイク画像３３０４が得られる。この際に第２の実施形態にあったような解像度の低下がない点が特徴である。この非偏光カラーモザイク画像からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。

　図３４は、本実施形態における偏光撮像モードの動作を説明する図である。偏光照明はＰ偏光とＳ偏光が交互照射され、その都度画像が取得され、偏光画素パターン３４０２、３４０３が取得される。

　偏光モザイク処理部２０２では、偏光画素パターン３４０２、３４０３を両方使って、該当する画素ごとに、Ｐ∥とＳ∥、およびＰ⊥とＳ⊥を収集し埋め込み処理することによってＰＳ偏光混合の平行ニコル画像３４０４とＰＳ偏光混合の直交ニコル画像３４０５を分離生成する。この処理の結果得られる偏光画像は３４０６と３４０７のようなカラーモザイク画像であり、それぞれ、Ｐ偏光照明とＳ偏光照明を均等に含んだ状態での平行ニコル画像ＰＳ∥、と直交ニコル画像ＰＳ⊥である。直交ニコル画像ＰＳ⊥について、カラーモザイク補間が実行されフルカラーの直交ニコル画像が生成される。この直交ニコル画像は、凹領域検出部２０４、画像合成部２０６において第１の実施形態について説明した処理と同様の処理が行われる。なお、この実施形態に関するタイミングチャートは第２の実施形態のタイミングチャートと同様である。

（第３の実施形態）
　図３５は本発明の第３の実施形態の構成を示す図である。本実施形態も、白色（ホワイト）光を被写体に照射して単板カラー撮像素子にてカラー撮像を行う。第２の実施形態と異なるのは、レンズ開口部に偏光板とカラーフィルタが配置されている点、撮像面上にマイクロレンズアレイが配置されたマイクロレンズアレイ型カラー偏光撮像部３５０１を備えている点、および、マイクロレンズアレイ型素子特有の画像処理を行うための画素選択再集積部２１０を備えている点である。

　図３６は、本実施形態における内視鏡先端部を正面から拡大した図である。内視鏡先端には偏光面が０°（Ｐ）、９０°（Ｓ）の異なる照明光の照射口が交互に多数（ここでは１６分割で）配置されている。この照明にて交互に隣接しない同種の８個のＬＥＤが選択されて点灯し、撮像をすることによってＰとＳの交互の偏光照明が実現される。開口部となる対物レンズ３５０２上には、図で示すように２×２合計４種類のカラーと偏光の複合フィルタ領域が配置されている。これらはＲとＢの非偏光カラーフィルタ領域とＧの０°（Ｐ）および、Ｇの９０°（Ｓ）の２種類の直交したカラー偏光フィルタ領域である。

　図３７は、このマイクロレンズアレイ型カラー偏光撮像部３５０１の構成例を示す図である。図３７では、説明図の都合上、対物レンズ３５０２上の４領域のうち、図３６におけるＧフィルタの２領域、すなわち、Ｇフィルタと０°（Ｐ）偏光フィルタを配置した領域３７０１とおなじくＧフィルタと９０°（Ｓ）偏光フィルタを配置した領域３７０２の２つの領域のみを記載している。

　図３７に示されるように、被写体上の１点３７００から発散した光は、対物レンズ３５０２上の２領域３７０１、３７０２をそれぞれ透過しアレイ状光学素子３７０３を経由してモノクロ撮像素子の撮像面３７０４に到達する。この際対物レンズ上の領域の像が異なる２個の画素３７０５に到達するため、撮像面３７０４上に形成される像は、全体としては被写体の像であるが、詳細には異なる２領域の像から成立する画像となる。ここから画素を選択して集積するデジタル画像処理を行うことによって、２領域を透過した画像を分離生成することができ、同時にモノクロ撮像素子を用いながらカラー画像を得ることができる。

　図３８は、開口部のカラー偏光フィルタ領域３７０１、３７０２の断面構造を示す図である。この例では、偏光フィルタとして金属ワイヤグリッド層３８０１が用いられている。ワイヤグリッド層３８０１は、例えばピッチが１００ｎｍ程度の金属ワイヤが透明基盤３８０２上に形成され得る。その下層にはカラーフィルタ３８０３が配置されている。カラーフィルタ３８０３の次の段に対物レンズ３５０２が配置される。ここでカラーフィルタ、ワイヤグリッド層、対物レンズの配置順番、レンズとの間隙の有無は任意である。また、偏光板としてはワイヤグリッド以外のポリマー系偏光板、フォトニック結晶を用いた偏光板、構造複屈折を用いた偏光板など既存の技術を利用可能である。

　図３９は、このマイクロレンズアレイ型カラー偏光撮像素子を用いた撮像結果からカラー偏光画像を生成する画素選択再集積部２１０での処理を説明するための図である。撮像素子３７０４上のイメージから２×２の画素ユニットごとにそれぞれ左上、右上、左下、右下の画素を全画像にわたって選択し再度集積することによって、解像度は１／２×１／２に低下するが、それぞれＧのＰ（０°）偏光画像３９０１、Ｒの非偏光画像３９０２、Ｂの非偏光画像３９０３、ＧのＳ（９０°）偏光画像３９０４とを分離することができる。ここから、ＲＧＢの非偏光カラー画像、およびＧ波長領域におけるＰ／Ｓ偏光画像を得ることができる。

　図４０は、本実施形態における内視鏡において通常撮像モードと偏光撮像モードで取得される画像を示している。通常撮像モードでも偏光撮像モードにおいてもＷｈｉｔｅ（白色）の偏光照明はＰ偏光とＳ偏光が交互に照射され、その都度画像が取得され、図３９の処理を得て１回の同一シーン撮像につき４種のカラー偏光画像が分離取得される。この分離取得される４種のカラー偏光画像を４００１のように表示する。この表示方法は従来のように個々の画素を表現するものではなく４枚の画像全体を表現している。Ｐ偏光の照射時には、偏光画像４００２が、Ｓ偏光の照射時には偏光画像４００３が取得される。ここで、Ｐ∥、Ｐ⊥、Ｓ∥、Ｓ⊥は前述の意味を持つが、ＰまたはＳは、Ｐ偏光照明またはＳ偏光照明下にて特別な偏光フィルタなしに非偏光で撮像された画像という意味を持つ。通常撮像モードでは、この画像４００２、４００３について、画素毎に加算平均をする。加算平均処理は、平行ニコルと直交ニコル状態の画素が以下のように均等に混合されると考えられ、この結果は近似的には非偏光画像になる。
（数７）
（ＮＰ）＝（Ｐ⊥＋Ｓ∥）／２
（ＮＰ）＝（Ｐ∥＋Ｓ⊥）／２
（ＮＰ）＝Ｐ＋Ｓ

　加算平均の結果Ｖは、非偏光カラーモザイク画像４００４が得られる。この非偏光カラーモザイク画像からフルカラー画像を生成する処理は、通常のカラーモザイク補間によって行われ得る。

　偏光撮像モードにおいても画像４００２と画像４００３とが交互に取得される段階までは同様であるが、Ｇ画像のみで平行ニコルと直交ニコル画像を集めることによりＧ波長域においてＰＳ∥４００５とＰＳ⊥４００６の２種類の偏光画像を生成することができ、第１の実施形態における図１３のように出力画像はモノクロ画像となる。

　本実施形態のようなマイクロレンズアレイ型偏光撮像素子の利点は、レンズ開口部に偏光板を配置できるため、個々の偏光モザイク素子のサイズが撮像素子上へ配置するよりもサイズ的に大きくできることである。たとえば、実施形態１、２で用いた偏光モザイク型の撮像素子では、偏光モザイク単位を形成する金属ワイヤ長は撮像素子の画素サイズに等しく２～３μｍである。このような微細サイズではたとえワイヤグリッド個々の金属線のピッチは微細であってもワイヤグリッド長さや繰り返し本数が制限されるため偏光板としての消光比性能は１０：１程度に低下するとされている。本実施形態では、レンズ開口部のサイズである０．５ｍｍ＝５００μｍ程度の比較的大判のワイヤグリッド偏光板を用いることができ、１００：１程度の高い消光比を実現することができ、内視鏡における表面微細パターンの観察の明瞭化で極めて有利となる。

　（第４の実施形態）
　図４１は、本発明の第４の実施形態の構成を示す図である。本実施形態も第２の実施形態と同様、白色（ホワイト）光を照射して単板カラー撮像素子にてカラー撮像を行う。第２の実施形態とは、マイクロレンズアレイ型カラー偏光撮像部４１０１を用いている点が異なる。本実施形態におけるマイクロレンズアレイ型カラー偏光撮像部４１０１は、以下の構成において第３の実施形態に用いられたマイクロレンズアレイ型カラー偏光撮像部から異なる。

　図４２Ａは、このマイクロレンズアレイ型カラー偏光撮像部４１０１の構成例を示す図である。レンズ開口部には、広帯域型の０°（Ｐ）透過軸と９０°（Ｓ）透過軸を有する偏光フィルタ４１０３のみを配置し、カラー化はベイヤーモザイク４１０５を有する単板カラー撮像素子４１０４で実行する。こうすることにより、偏光とカラーの動作を分離している。これによってＲＧＢのフルカラーの平行・直交ニコル画像を得ることができる。後述するように、マイクロレンズアレイ（アレイ状光学素子）３７０３の作用によって、偏光フィルタ４１０３の４種の領域（ＵＬ）（ＵＲ）（ＤＬ）（ＤＲ）を透過した光線は、カラーモザイクフィルタ４１０５の（ＵＬ１）（ＵＲ１）（ＤＬ１）（ＤＲ１）の４領域にそれぞれ結像する。

　図４２Ｂは、マイクロレンズアレイ型カラー偏光撮像部４１０１の断面構成の例を模式的に示している。図４２Ｂでは、対物レンズ３５０２上の４領域のうち図４１における９０°偏光フィルタを配置した領域４２０１とおなじく０°偏光フィルタを配置した領域４２０２の２つの領域のみを記載している。被写体上の１点３７００から発散した光は、対物レンズ３５０２上の２領域４２０１、４２０２をそれぞれ透過し、アレイ状光学素子３７０３を経由してカラーモザイクを配置したカラー撮像素子面４２０３に到達する。この際、対物レンズ上の２つの領域４２０１、４２０２を通過する光線による像が、異なる画素４２０４に到達する。このため、撮像面４２０３上に形成される像は、全体としては被写体の像であるが、詳細には異なる０°と９０°の偏光領域の像から成立する。各領域４２０１、４２０２の像は、カラー撮像素子４２０３上のカラーモザイク２画素に対応している。

　図４３は、本実施形態における開口部の偏光フィルタ領域４２０１、４２０２の断面構造を示す図である。この例では、偏光フィルタとして金属ワイヤグリッド層３８０１が用いられている。ワイヤグリッド層３８０１は、例えばピッチが１００ｎｍ程度の金属ワイヤが透明基盤３８０２上に形成され得る。このようなワイヤグリッド層３８０１によれば、可視光範囲の広帯域で偏光動作を実現できる。

　次の段には対物レンズ３５０２が配置される。ここで、ワイヤグリッド層３８０１と対物レンズ３５０２の配置順番、ワイヤグリッド層３８０１と対物レンズ３５０２との間隙の有無は任意である。偏光板は、可視光帯域の広い範囲にて偏光動作を実現するものであれば、ワイヤグリッド偏光板以外のポリマー系偏光板であっても良い。

　図４４は、画素選択再集積部２１０の処理を説明する図である。撮像素子４２０３上のイメージから２×２の画素単位ごとにそれぞれ左上、右上、左下、右下の画素を全画像にわたって選択し、再度集積することによって、解像度は１／２×１／２に低下するが、それぞれＰ（０°）偏光カラー画像４４０１、Ｓ（９０°）偏光カラー画像４４０２、Ｓ（９０°）偏光カラー画像４４０３、Ｐ（０°）偏光カラー画像４４０４とを分離することができる。これ以降はカラーモザイク補間部２０８の処理を行う。

　本実施形態では、１種の偏光フィルタ内にＲＧＢＧという２×２カラーベイヤモザイク単位が含まれるため、第２の実施形態の変形例２と同様の情報が得られる。さらにマイクロレンズアレイ型偏光撮像素子の利点として、レンズ開口部に偏光板を配置できるため、サイズが大判のワイヤグリッド偏光素子を用いることができ、１００：１程度の高い消光比を実現することができる利点を有する。

　本開示の実施形態は、消化器内科向け医療用内視鏡、皮膚科、歯科、眼科、外科などのメディカル用途のカメラ、工業用内視鏡、指紋撮像装置、さらに工場などにおける表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。本開示の実施形態によれば、なめらかな透明物体または半透明物体の表面の凹凸を正しく検出でき、人間に判別しやすい形での強調表示をすることができる。このため、本開示の実施形態は、輝度観察では困難な凹凸の検査に最適である。

　また、本開示の画像処理装置は、デジタルカメラやビデオカメラ、監視カメラなどに適用でき、水面や空撮影におけるコントラスト向上やガラス越しの撮影等に広く利用可能である。

１０１　　内視鏡
１０２　　制御装置
１０３　　挿入部
１０４　　光源装置
１０５　　ライトガイド
１０６　　先端部
１０７　　照明レンズ
１０８　　映像信号線
１０９　　対物レンズ
１１０　　画像プロセッサ
１１１　　内臓粘膜表面（凹凸あり）
１１２　　同期装置
１１３　　反射光
１１４　　表示部
１１５　　モノクロ広帯域偏光撮像素子
１１６　　カラーホイール
１１７　　偏光または非偏光照明光
１１８　　光源
１１９　　カラー偏光撮像素子
１２０　　照明制御部
２００　　照明用フィルタ
２０２　　偏光モザイク処理部
２０４　　凹領域検出部
２０６　　画像合成部
２０８　　カラーモザイク補間部
２１０　　画素選択再集積部
２２０　　マイクロレンズ
２２２　　第１ワイヤグリッド層
２２４　　第２ワイヤグリッド層
２２６　　平坦化層
２２８　　平坦化層
２３０　　配線
２３２　　ＰＤ（フォトダイオード）
２４０　　カラーフィルタ

Claims

　偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、
　偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、および、各偏光子を透過した光を受けて信号を出力する光検知素子アレイとを有する撮像素子と
　前記偏光撮像モードにおいては、前記第１の照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得て、前記非偏光撮像モードにおいては、前記非偏光照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得る、偏光モザイク処理部と、
　前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、
　前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部と、
を備える画像処理装置。
　前記第１の照明光の波長域は、Ｂ（ブルー）およびＧ（グリーン）の少なくとも一方の波長域に含まれ、
　前記第２の照明光の波長域は、Ｂ（ブルー）およびＧ（グリーン）の少なくとも一方の波長域に含まれている、請求項１に記載の画像処理装置。
　前記第１の照明光の波長域は、Ｂ（ブルー）の波長域の一部およびＧ（グリーン）の波長域の一部に含まれ、
　前記第２の照明光の波長域は、Ｂ（ブルー）の波長域の他の一部およびＧ（グリーン）の波長域の他の一部に含まれる、請求項１に記載の画像処理装置。
　前記第１の照明光の波長域は、Ｂ（ブルー）の波長域の一部、Ｇ（グリーン）の波長域の一部、およびＲ（レッド）の波長域の一部に含まれ、
　前記第２の照明光の波長域は、Ｂ（ブルー）の波長域の他の一部、Ｇ（グリーン）の波長域の他の一部、およびＲ（レッド）の波長域の他の一部に含まれる、請求項１に記載の画像処理装置。
　前記照明部は、前記第１の照明光として、Ｂ（ブルー）の波長域の一部に含まれる光、Ｇ（グリーン）の波長域の一部に含まれる光、およびＲ（レッド）の波長域の一部に含まれる光を、それぞれ異なるタイミングで出射し、また、前記第２の照明光として、Ｂ（ブルー）の波長域の他の一部に含まれる光、Ｇ（グリーン）の波長域の他の一部に含まれる光、およびＲ（レッド）の波長域の他の一部に含まれる光を、それぞれ異なるタイミングで出射する、請求項４に記載の画像処理装置。
　前記照明部は、前記第１の照明光および第２の照明光を交互に出射し、かつ、Ｒ（レッド）、Ｇ（グリーン）、およびＢ（ブルー）の各波長域に含まれる光を順次出射する、請求項５に記載の画像処理装置。
　前記偏光モザイク処理部は、前記偏光撮像モードにおいて、Ｒ（レッド）、Ｇ（グリーン）、およびＢ（ブルー）の各波長域に含まれる光で前記被写体が照明されているときに得られる前記第１および第２の偏光画像に基づいて非偏光フルカラー画像を形成する、請求項６に記載の画像処理装置。
　偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
　偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、
　前記偏光撮像モードにおいては、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを得て、前記非偏光撮像モードにおいては、前記非偏光白色照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得る、偏光モザイク処理部と、
　前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、
　前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部と、
を備える画像処理装置。
　前記カラーモザイクフィルタは、Ｒ（レッド）フィルタ、Ｇ（グリーン）フィルタ、およびＢ（ブルー）フィルタの３種類のカラーフィルタを含む、請求項８に記載の画像処理装置。
　前記３種類のカラーフィルタの各々は、偏光透過軸の方向が異なる前記複数の偏光子に対応している、請求項９に記載の画像処理装置。
　前記３種類のカラーフィルタの各々は、前記複数の偏光子の各々に対応している、請求項１０に記載の画像処理装置。
　前記カラーモザイクフィルタにおける前記３種類のカラーフィルタはベイヤ配列を構成し、
　前記ベイヤ配列に含まれる２個のＧ（グリーン）フィルタは、それぞれ、偏光透過軸の方向が異なる前記複数の偏光子に対応している、請求項１１に記載の画像処理装置。
　前記複数の偏光子の各々は、前記３種類のカラーフィルタに対応している、請求項１０に記載の画像処理装置。
　偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
　偏光透過軸の方向が異なる複数の偏光子、および、光透過特性が異なるカラーフィルタが設けられた開口領域を有し、前記開口領域を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、複数の光検知素子を覆うマイクロレンズアレイを有する撮像素子と、
　前記偏光撮像モードにおいては、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを、前記マイクロレンズアレイに覆われた前記複数の光検知素子から選択した一部の光検知素子からの信号に基づいて形成し、前記非偏光撮像モードにおいては、前記非偏光白色照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得る、画像分離部と、
　前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、
　前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部と、
を備える画像処理装置。
　偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
　偏光透過軸の方向が異なる複数の偏光子が設けられた開口領域と、
　光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、前記開口領域の各偏光子を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、複数の光検知素子を覆うマイクロレンズアレイを有する撮像素子と、
　前記偏光撮像モードにおいては、前記第１の白色照明光で前記被写体が照射されているときに前記第１の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第１の偏光画像と、前記被写体が前記第２の白色照明光で照射されているときに前記第２の方向に交差する方向に前記偏光透過軸を有する偏光子を透過した光の信号によって構成される第２の偏光画像とを、前記マイクロレンズアレイに覆われた前記複数の光検知素子から選択した一部の光検知素子からの信号に基づいて形成し、前記非偏光撮像モードにおいては、前記非偏光白色照明光で前記被写体が照射されているときに各偏光子を透過した光の信号によって構成される非偏光画像を得る、画像分離部と、
　前記第１および第２の偏光画像の少なくとも一方に基づいて前記被写体の表面における凹領域を検出する凹領域検出部と、
　前記被写体の表面における前記凹領域を強調して示す画像を形成する画像形成部と、
を備える画像処理装置。
　請求項１から７の何れかに記載の画像処理装置に用いられる内視鏡であって、
　偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光照明光で前記被写体を照射する照明部であって、前記第１の照明光の波長域が前記第２の照明光の波長域に重複しない部分を有するように前記第１および第２の照明光を順次出射する照明部と、
　偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、および、各偏光子を透過した光を受けて信号を出力する光検知素子アレイとを有する撮像素子と、
を備える内視鏡。
　請求項８から１３のいずれかに記載の画像処理装置に用いられる内視鏡であって、
　偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
　偏光透過軸の方向が異なる複数の偏光子が配列された偏光モザイクアレイ、光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、各偏光子および各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子と、
を備える内視鏡。
　請求項１４に記載の画像処理装置に用いられる内視鏡であって、
　偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
　偏光透過軸の方向が異なる複数の偏光子、および、光透過特性が異なるカラーフィルタが設けられた開口領域を有し、前記開口領域を透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、複数の光検知素子を覆うマイクロレンズアレイを有する撮像素子と、
を備える内視鏡。
　請求項１５に記載の画像処理装置に用いられる内視鏡であって、
　偏光撮像モードにおいて、第１の方向に偏光した状態にある第１の白色照明光、および、前記第１の方向と交差する第２の方向に偏光した状態にある第２の白色照明光で、順次、被写体を照射し、非偏光撮像モードにおいては、非偏光白色照明光で前記被写体を照射する照明部と、
　偏光透過軸の方向が異なる複数の偏光子が設けられた開口領域と、
　光透過特性が異なるカラーフィルタが配列されたカラーモザイクフィルタ、および、前記開口領域の各偏光子を透過した後、更に各カラーフィルタを透過した光を受けて信号を出力する光検知素子アレイを有する撮像素子であって、複数の光検知素子を覆うマイクロレンズアレイを有する撮像素子と、
を備える内視鏡。