WO2012073414A1 - 画像処理装置 - Google Patents

Abstract

　本発明の画像処理装置は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部１２０と、３種類以上の直線偏光の各々によって被写体が照射されているときに、順次、被写体を撮像する撮像部１４０と、画像処理部１５０とを備えている。画像処理部１５０は、撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部１３０２と、変動輝度処理部１３０２の出力に基づいて凹領域で２回反射して戻り光となる多重反射領域と、被写体表面で１回反射して戻り光となる１回反射領域とを判別する反射判定部１３０５と、被写体表面の凹領域で２回反射によって戻り光となる多重反射領域の対を決定する鏡像探索部１３０６とを有する。画像処理部１５０は、多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する。

Description

画像処理装置

　本発明は、撮像素子によって取得される２次元輝度画像から得られる情報を超えた表面凹凸情報を得ることができる画像処理装置に関する。

　内視鏡は、粘膜で覆われた、生体の臓器器官の壁表面に対して照明を照射して撮像する。このような内視鏡の分野では、表面の色の変化と同時に、表面の微細な凹凸のテクスチャを確認する必要がある。しかし内視鏡では、被写体上に影の発生がなくなるように照明の光軸と撮像の光軸とのなす角はほぼ０°としているため、表面の微細な凹凸構造を陰影でとらえることが難しい。この課題に対して既存のカラー輝度による内視鏡撮像系のまま画像処理の工夫で、画像の濃淡情報から表面凹凸を識別しようとする従来技術が提案されている。また、偏光照明と偏光撮像とを用いた偏光内視鏡も提案されている。

　前者の技術は、例えば特許文献１に開示されている。この技術は、撮影された、カラー画像の特定画素の信号レベル値とその周囲８ 画素の平均信号レベル値とを比較する。そして、特定画素の信号レベル値が低い場合は、被写体の対応部位は周囲から凹（窪んでいる）と判断する。そして、周囲から窪んでると判断された領域では、赤色画素信号および緑色画素信号の信号レベル値を低減することにより青色成分を強調する。これにより、モニタ装置に再現されるカラー画像は、あたかも通常の内視鏡検査で医師により実施される青色系色素溶液撒布に類似した色コントラストを呈し、臓器表面の凹凸が明瞭になる。

　後者の技術は、特許文献２、および特許文献３がある。ここでは、特定の偏光成分の光を物体に照射する偏光照射部と、前記物体からの戻り光における、前記特定の偏光成分の光、および前記戻り光における前記特定の偏光成分と異なる偏光成分の光とを受光し、偏光撮像する偏光モザイク型の受光部とを備え、前記物体の表面の形状変化を示す形状変化画像を生成する内視鏡が開示されている。特に観察者が粘膜の表面凹凸を視認しやすくするため、偏光特性算出部が偏光方位を算出し表面の傾斜情報の２次元分布を生成できる、としている。

　特許文献４、特許文献５および非特許文献１は、偏光面を回転させることが可能なデバイスを開示している。

特許３８６９６９８号公報 特開２００９－２４６７７０号公報 特開２０１０－１０４４２４号公報 特開平１１－３１３２４２号公報 ＵＳ２００９／００７９９８２ Ａ１ 特許第４２３５２５２号

Ｎｉｃｏｌａｓ Ｌｅｆａｕｄｅｕｘ， ｅｔ．ａｌ :"Ｃｏｍｐａｃｔ ａｎｄ ｒｏｂｕｓｔ ｌｉｎｅａｒ Ｓｔｏｋｅｓ ｐｏｌａｒｉｚａｔｉｏｎ ｃａｍｅｒａ"  ，Ｐｒｏｃ． ＳＰＩＥ， Ｖｏｌ． ６９７２， ６９７２０Ｂ， Ｐｏｌａｒｉｚａｔｉｏｎ: Ｍｅａｓｕｒｅｍｅｎｔ， Ａｎａｌｙｓｉｓ， ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ＶＩＩＩ（２００８） 池内克史：「反射率地図に基づき、二次元濃淡画像より三次元形状を再構成する２手法」、電子情報通信学会誌'８２／７，Ｖｏｌ．Ｊ６５－Ｄ　Ｎｏ．７，ＰＰ８４２－８４９

　従来技術では、表面の凹部（溝）の明瞭化のため、通常の輝度画像処理において「凹部は隣接画素より暗い」という特徴を使っていることが多い。しかし、実際には、それが成り立たない形状の凹部も多い。本発明者の経験では、たとえば平坦な底面を有する凹部や、隣接する傾斜面で相互に光を反射しあうような形状を有する凹部においては、底部や斜面を形成する画素が、周囲の画素よりむしろ明るく反射する事実が判明している。このような形状の凹部では、従来の輝度画像処理は有効ではなく、判定誤りが多発してしまう。

　また偏光を使う従来技術は、円偏光成分の光を物体に照射し、物体からの戻り光に関する楕円偏光の方位に基づいて表面の傾きを算出できる。しかしながら、上記生体で見られるような定型のない一般的凹部においてその表面法線を求めることは困難であった。

　一方、推定された凹凸情報の表示について、従来技術は凹部（溝）の明瞭化を実施する表示技術として「擬似色素撒布処理」など凹部領域の２次元表示をしているが、これは表面凹凸の実感（リアリティ）が感じられないという課題があった。

　本発明は、上記の課題を解決するものであり、その目的は、輝度のみならず被写体表面の微細凹凸をリアリティ高く再現できる小型で実現可能な画像処理装置を提供することにある。

　本発明の画像処理装置は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部とを備える。前記画像処理部は、前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、前記変動輝度処理部の出力に基づいて前記凹領域で２回反射して戻り光となる前記多重反射領域と、前記被写体表面で１回反射して戻り光となる１回反射領域とを判別する反射判定部と、前記被写体表面の凹領域で２回反射によって戻り光となる多重反射領域の対を決定する鏡像探索部とを有する。前記画像処理部は、前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する。

　ある実施形態において、前記画像処理部は、前記多重反射領域の各対からグルーブセグメントを生成し、前記グルーブセグメントを接続して前記凹領域の位置を推定する凹領域接続部と、前記凹領域の断面形状を決定する断面形状モデル化部とを有する。

　ある実施形態において、前記画像処理部は、前記多重反射領域における表面法線と前記１回反射領域における表面法線とを統合して法線画像を生成する法線再現部を備える。

　ある実施形態において、光源位置を設定する光源方向設定部と、前記光源位置を仮想的に動かしたときの光源変動画像を生成する光源変動画像生成部と、前記光源変動画像と輝度画像とを重ねあわせ合成して表示する画像表示部とを有する。

　ある実施形態において、前記光源変動画像生成部は、前記法線画像および物理反射モデルを用いて前記被写体の輝度画像を生成する。

　ある実施形態において、前記偏光照明部および前記撮像部は、内視鏡に取り付けられている。

　ある実施形態において、前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が３種類以上に順次変化する直線偏光を照射する。

　ある実施形態において、前記偏光照明部は、非偏光の光を前記偏光面変換素子に導くライトガイドを有している。

　ある実施形態において、前記撮像部はモノクロ撮像素子またはカラー撮像素子を有している。

　ある実施形態において、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射しながら前記撮像部によって取得された複数の輝度画像の加算平均を行うことにより、非偏光照明下での画像に相当する平均輝度画像を生成する輝度加算平均部を有する。

　ある実施形態において、前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する。

　ある実施形態において、前記輝度最大角画像、前記輝度変調度画像のいずれかと、輝度画像とを重ねあわせ合成して表示する画像表示部を有する。

　ある実施形態において、前記反射判定部は、前記輝度最大角画像および前記輝度変調度画像に基づき、前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像において、あらかじめ設定された値以上の輝度変調度を持つ画素を、前記多重反射領域を構成する画素として抽出する。

　ある実施形態において、前記凹領域接続部は、前記凹領域の表面法線のＡｚｉｍｕｔｈ（方位）角を推定する。

　ある実施形態において、前記断面形状モデル化部は、前記凹領域の断面形状を特定の関数にてモデル化し、前記多重反射領域における表面法線のＡｚｉｍｕｔｈ角が概略４５度になる性質を利用して、前記凹領域における任意の位置における表面法線のＺｅｎｉｔｈ（天頂）角を推定する。

　ある実施形態において、前記偏光照明部は、偏光面が３種類以上に順次変化する偏光面変換素子を透過させた光を、リレーレンズ光学系を経由して前記被写体に照射する。

　ある実施形態において、前記偏光照明部は、同心円状態の複数のリング照明または面照明光源を偏光面変換素子と組み合わせた光学系を有する。

　ある実施形態において、前記偏光照明部は、撮像系の光軸よりも内側向きの照明系光軸を有する面照明光源と偏光面変換素子とを組み合わせた光学系を有する。

　ある実施形態において、前記偏光照明部は、無偏光広帯域ビームスプリッタと面照明光源と偏光面変換素子とを組み合わせた光学系を有する。

　本発明の画像処理方法は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明工程と、前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像工程と、画像処理工程とを含む画像処理方法である。前記画像処理工程は、前記撮像工程で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理工程と、前記変動輝度処理工程の結果に基づいて前記凹領域で２回反射して戻り光となる前記多重反射領域と、前記被写体表面で１回反射して戻り光となる１回反射領域とを判別する反射判定工程と、前記被写体表面の凹領域で２回反射によって戻り光となる多重反射領域の対を決定する鏡像探索工程と、前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する工程とを含む。

　本発明の内視鏡装置は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、画像処理部と、画像処理部の出力に基づいて画像を表示する表示部とを備える。前記画像処理部は、前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、前記変動輝度処理部の出力に基づいて疑似カラー画像を生成する疑似カラー画像変換部と、を備える。前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成し、前記疑似カラー画像変換部は、前記輝度最大角画像および前記輝度変調度画像に基づき、前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像を生成し、前記擬似カラー画像と輝度画像とを合成して前記表示部に表示させる。

　本発明の画像処理装置では、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、３種類以上の直線偏光の各々によって被写体が照射されているときに、順次、被写体を撮像する撮像部とを備えているため、特別な偏光撮像素子を新たに開発する必要なしにカラー画像と同時に表面の凹凸形状に応じた反射偏光状態に関する情報を取得することができる。こうして、本発明では、反射偏光状態から表面凹凸の情報を得る。通常のカラー撮像素子をそのまま利用することができるので、高コストの偏光撮像素子を使う必要もなく、表面凹凸を視認するための情報を取得することができる。

本発明による画像処理装置の基本構成を示す図 偏光面の角度が異なる３種類の直線偏光の偏光方向を模式的に示す斜視図 本発明の実施形態１に関する画像処理装置の構成を示す図 偏光面制御素子の動作を示す図 偏光面角度の定義図 （ａ）および（ｂ）は、本発明の実施形態１に関する撮像素子における光感知セル配置例を示す図 （ａ）および（ｂ）は、入射光が被写体表面に対して直上から入射して１回反射をする図 横軸を入射角とした際のＰ波とＳ波のエネルギーのフレネル反射率を示すグラフ （ａ）および（ｂ）は、偏光照明の偏光面回転による画素ごとの輝度変動を示すグラフ （ａ）および（ｂ）は２回反射による偏光反射光の輝度変動の説明図 （ａ）最も単純なグルーブ（溝）の形状と（ｂ）入射光の反射の様子を示す図 （ａ）底面と斜面とを有するグルーブ（溝）形状と（ｂ）入射光の反射の様子を示す図 （ａ）隆起（凸部）が密集している形状と（ｂ）入射光の反射の様子を示す図 （ａ）穴（凹部）形状と（ｂ）入射光の反射の様子を示す図 本発明の実施形態１に関する画像処理プロセッサの構成を示すブロック図 ４種類の偏光照明に対応する偏光輝度サンプルから余弦関数フィッティングをする図 １回・２回反射判定部の処理を説明するフロ－チャート 撮影シーンとしての図１１の形状を示す図 分離された１回反射領域ＲＥＦ１を模式的に示す図 分離された２回反射領域ＲＥＦ２を模式的に示す図 鏡像探索部の処理を説明する図 鏡像探索部の処理を説明する図 鏡像探索部の処理を説明するフローチャート １つの反射領域におけるデータを示す図 被探索領域の探索の詳細を説明する図 実被写体の輝度画像を示す図 輝度最大角画像ＹＰＨと輝度変調度画像ＹＤを１つの擬似カラー画像にした図 量子化処理にて２回反射と判定された微小反射領域を示す図 鏡像探索部の処理でグルーブセグメントが抽出された結果を示す図 複数の鏡像対の発生原因を説明する図（断面図） 複数の鏡像対の発生原因を説明する図（反射領域の図） 凹領域接続部の処理を説明するフローチャート 凹領域接続部におけるグルーブセグメントの設定処理結果を示す図 凹領域接続部におけるグルーブセグメントの膨張処理結果を示す図 凹領域拡張部における細線化の化理結果を示す図 凹領域拡張部における法線決定の処理結果を示す図 穴の場合における凹領域接続の処理結果を示す図（グルーブセグメントの設定） 穴の場合における凹領域接続の処理結果を示す図（グルーブセグメントの膨張） 穴の場合における凹領域接続の処理結果を示す図（細線化） 穴の場合における凹領域接続の処理結果を示す図（法線推定） カメラ座標系における法線ベクトルのＡｚｉｍｕｔｈ（方位）角、Ｚｅｎｉｔｈ（天頂）角を説明する図 法線推定部の処理を説明するフローチャート 推定されたグルーブの平面図と断面図 １回反射領域における法線推定の原理図 繰り返し法によって推定された表面法線と被写体断面図 推定された法線画像を模式的に表現した図 表面法線と光源、視点の幾何学的関係 光源変動画像の例を示す図 輝度画像と光源変動画像との合成部の構成例を示す図 輝度画像と光源変動画像との合成を示す図 輝度画像と擬似カラー画像の合成部の構成例を示す図 輝度画像と擬似カラー画像の合成を示す図 本発明の実施形態１の変形例に関する画像処理プロセッサの構成を示すブロック図 ＲＥＦ１領域が凸領域である場合を示す図 ＲＥＦ１領域が凹領域である場合を示す図 本発明の第２の実施形態を示す図 本発明の第１、２の実施形態の変形例を示す図 本発明の第１、２の実施形態の変形例を示す図 本発明の第１、２の実施形態の変形例を示す図 本発明の第１、２の実施形態の変形例を示す図 本発明の第１、２の実施形態の変形例を示す図

　本発明による画像処理装置の例は、図１Ａに示すように、偏光照明部１２０と、撮像部１４０と、変動輝度処理部１３０２と、反射判定部１３０５と、鏡像探索部１３０６とを備えている。変動輝度処理部１３０２、反射判定部１３０５、および鏡像探索部１３０６は、画像処理部１５０に含まれている。

　偏光照明部１２０は、偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体１００に照射する。本発明が撮像の対象とする被写体１００の表面には、複数の凹領域１００ａが存在する。被写体１００が例えば生体の臓器表面には、複数の凹領域が観察される。直線偏光は、被写体１００の表面に存在する凹領域１００ａと、凹領域１００ａ以外の領域とによって反射され、撮像部１４０に入射する。撮像部１４０は、３種類以上の直線偏光の各々によって被写体１００が照射されているときに、順次、被写体１００を撮像する。

　図１Ｂは、偏光面の角度が異なる３種類の直線偏光の偏光方向を模式的に示す斜視図である。図示されている３つの偏光状態１０、１２、１４は、それぞれ、角度の異なる偏光面を有している。図１Ｂの各偏光状態１０、１２、１４を模式的に示すサークルの内部には、双方向の矢印が記載されている。この矢印は、直線偏光の偏光面を規定する電場ベクトルの振動方向を示している。

　図１Ｂには、右手系のＸＹＺ座標を示している。本明細書では、撮像部１４０によって取得される画像面内にＸ軸およびＹ軸を設定し、Ｚ軸の負の向きを視線（光軸）方向に設定する。直線偏光の偏光面は、振動する電場ベクトルに平行な、光軸を含む平面である。上記の座標系を採用する場合、直線偏光の電場ベクトルの振動方向はＸＹ平面に平行である。このため、偏光面の角度（ΨＩ）は、Ｘ軸の正方向に対して偏光方向（電場ベクトルの振動方向）が形成する角度によって規定される。この角度ΨＩについては、後に図３を参照して、より詳しく説明する。

　本発明では、偏光照明部１２０から、偏光面の角度が異なる３種類以上の直線偏光が、順次、被写体１００に照射され、撮像部１４０が、３種類以上の直線偏光の各々によって被写体１００が照射されているときに、順次、被写体１００を撮像する。

　再び図１Ａを参照する。変動輝度処理部１３０２は、撮像部１４０から出力される画素信号に基づいて、偏光面の角度と各画素の輝度値との関係を求め、「輝度最大角画像」および「輝度変調度画像」を生成する。本明細書において、「輝度最大角画像」とは、撮像によって得られた画像を構成する各画素について、輝度値が最大となる偏光面の角度によって定義される画像である。例えば、ある座標（ｘ、ｙ）によって特定される画素Ｐ（ｘ、ｙ）の輝度値が、角度４５°の偏光面を有する直線偏光によって被写体１００が照射されたときに最大になる場合、その画素Ｐ（ｘ、ｙ）に対して、輝度最大角である４５°の値が設定される。１つの「輝度最大角画像」は、このような輝度最大角の値を各画素に設定することによって構成される。一方、「輝度変調度画像」とは、各画素について偏光面の変化にともなう輝度値の変動の振幅と輝度平均値との比率によって定義される画像である。ある画素Ｐ（ｘ、ｙ）における輝度変調度が０．３であるならば、この画素Ｐ（ｘ、ｙ）に対して０．３の値が設定される。１つの「輝度変調度画像」は、このような輝度変調度の値を各画素に設定することによって構成される。

　このように、本明細書における「画像」とは、人間の視覚によって直接的に認識される輝度画像を意味するだけではなく、複数の画素の各々に与えられた数値の配列を広く含むものとする。例えば１つの「輝度最大角画像」を表示する場合、「輝度最大角画像」の各画素に設定されている輝度最大角の値に応じた明度で画像を表示することができる。このようにして表現された「輝度最大角画像」は、人間の視覚によって認識できる明暗のパターンを含んでいるが、これは、被写体の輝度を示す通常の輝度画像とは異なるものである。また、本明細書では、簡単のため、各種の「画像」を示すデータそのものを「画像」と称する場合がある。

　図１Ａに示される反射判定部１３０５は、変動輝度処理部１３０２の出力に基づいて、凹領域で２回反射して戻り光となる多重反射領域と、被写体表面で１回反射して戻り光となる１回反射領域とを判別する。後述するように、被写体表面の凹領域と、凹領域以外の領域との間には、偏光反射状態に差異があるため、これらの領域を判別することができる。凹領域では、多重反射（典型的には２回反射）が生じるため、多重反射領域は、同様の偏光反射状態を示す対（ペア）を構成する。このような多重反射領域の典型的な一例は、断面がＶ字状のグルーブ（溝）であり得る。このようなグルーブの最も簡単な構造を有する例は、後述の図９に示すように、一方向に直線的に延びるグルーブである。しかし、多重反射領域を有する凹領域は、断面が概略的にＶ字状またはＵ字状に傾斜・湾曲する表面を有していればよく、他の形態を有し得る。後に説明するように、図１０から図１２に例示されるような形態でも、その断面には概略的にＶ字状またはＵ字状に傾斜または湾曲する面が存在する。したがって、そのような面では多重反射が生じ、同様の偏光反射状態を示す領域の対が観察され得る。

　このような、同様の偏光反射状態を示す多重反射領域の対は、被写体の表面において連なり、より広い凹領域を形成している。この凹領域の典型例は、グルーブであるため、本明細書では、多重反射領域の対を含む凹領域を「グルーブ」と称する場合がある。しかし、本明細書における「グルーブ」は、被写体の表面において一方向に延長した溝状の凹領域に限定されない。本明細書における「グルーブ」は、厳密にはグルーブとは言えない形状（例えば、図１１や図１２に示されるような形状）を有する凹領域であり得る。

　鏡像探索部１３０６は、被写体表面の凹領域で２回反射によって戻り光となる多重反射領域の対を決定する。この対の決定方法については、後に詳しく説明する。画像処理部１５０は、多重反射領域の対に基づいて被写体表面の凹領域を示す画像を生成する。

　図１Ｃは、本発明の実施形態１における画像処理装置の全体構成を模式的に示す図である。

　本画像処理装置は、内視鏡１０１と制御装置１０２とを備える。内視鏡１０１は、撮像素子１１０を有する先端部１１３、ライトガイド１０５と映像信号線１１１を有する挿入部１０３とを有している。内視鏡１０１の挿入部１０３は、図示されているように左右に長く、フレキシブルに曲がり得る構造を有している。ライトガイド１０５は曲がった状態でも光を伝達することができる。

　制御装置１０２は、光源１０４と画像プロセッサ１０８とを備える。光源１０４から発した白色非偏光の光は、ライトガイド１０５を経由して先端部１１３の偏光面制御素子１０６に導かれ、被写体に照射される直線偏光の光１２１となる。偏光面制御素子１０６は、たとえば偏光板と液晶素子から構成されており、電圧により非偏光を任意の偏光面の直線偏光へと変換できる。

　偏光面制御素子１０６は、液晶を用いた偏光面を回転させることが可能なデバイスである。その構成例は、特許文献４、特許文献５ならびに非特許文献１等に既に開示されている。偏光面制御素子１０６は、例えば強誘電性液晶と、偏光フィルムと、１／４波長板などを組み合わせた電圧印加型液晶デバイスで構成され得る。そしてこの偏光照明は、照明レンズ１０７を通って被写体に照射される。

　同期装置１１２は、偏光面制御素子１０６に偏光面回転の指示信号を送り、照明の偏光面を回転させるとともに、撮像素子１１０に撮影開始信号を送って映像を取得し、以上の処理を複数回実施する。

　被写体からの戻り光１２２は、撮影レンズ１０９を通って撮像素子１１０上に結像する。撮像素子１１０は、モノクロ撮像素子、あるいはカラーモザイクを有する単板カラー撮像素子であってよい。撮像された映像信号は、映像信号線１１１を経由して画像プロセッサ１０８に到達する。

　本実施形態では、光源１０４、ライトガイド１０５、偏光面制御素子１０６、および照明レンズ１０７によって図１Ａの偏光照明部１２０が実現されている。また、撮影レンズ１０９および撮像素子１１０によって図１Ａの撮像部１４０が実現されている。図１Ａの変動輝度処理部１３０２、反射判定部１３０５、および鏡像探索部１３０６は、画像プロセッサ１０８によって実現されている。

　次に、図２を参照して、偏光面制御素子１０６の動作を説明する。

　偏光面が０°状態２０３で第１の画像を撮像し、偏光面が４５°状態２０４で第２の画像を撮像し、偏光面が９０°状態２０５で第３の画像を撮像し、偏光面が１３５°状態２０６で第４の画像を撮像する。各偏光面が４５°ずつずれている必要はなく、１８０°を３以上の整数で除算した角度ずれていればかまわない。撮像素子が高感度である場合、あるいは照明の照度が高い場合には露光時間が短縮できるので、回転角をより細かく設定できる。

　偏光面の回転に要する時間は、上記文献によれば、動作速度は２０（ｍｓ）程度から４０～１００（μｓｅｃ）程度の高速型まで存在する。高速型の液晶を用いてかつこの時間での撮像が可能な程度まで撮像素子の感度を上げれば４方向の偏光回転を実施して撮影しても、動画映像の撮影に十分な性能を持たせることが可能である。また画像処理は最低４フレームの画像撮像単位について実施されるが、処理をパイプライン処理にすることで実際かかる処理時間を１フレーム時間内に収めることが可能である。

　図１Ｃから明らかなように、照明レンズ１０７の光軸と撮影レンズ１０９の光軸は略等しい。これは内視鏡での観察時に被写体上になるべく影を発生させないためである。

　なお、内視鏡の通常の使い方では、非偏光を被写体に照射したい場合が多い。本発明では、例えば上記第１の画像から第４の画像までの別々の偏光画像を加算することによって非偏光の平均輝度画像を生成することができる。本発明者らの実験によると、偏光面の角度ΨＩが等間隔の複数の偏光を被写体に照射したときの戻り光の画像を加算すると、偏光の効果が打ち消されるため、結果的に非偏光照明を用いたのと同様の効果が得られることが判明している。

　図３は、偏光照明における偏光面の角度ΨＩの定義を示す図である。前述したように、被写体に向かってＸ－Ｙ座標系を設定している。偏光面の角度ΨＩは、Ｘ軸の方向を０°として図３に示すように定義するものとする。角度ΨＩが反射において保存される場合には、反射光の偏光面の角度と入射光の偏光面の角度は同一となる。偏光面の角度ΨＩを増加または減少させていくと、１８０°の周期で同一の偏光状態が繰り返される。すなわち、偏光面の角度ΨＩを変数とする関数は、１８０°の周期を有する周期関数である。なお、本明細書において、偏光照明における偏光面の角度ΨＩを、「入射偏光面角度」と称する場合がある。

　図４（ａ）および（ｂ）は、それぞれ、撮像素子１１０の撮像面の構成例を示す図である。図４（ａ）に示すように撮像面には、複数の光感知セル（フォトダイオード）が行および列状（Ｘ－Ｙ方向）に規則的に配列されている。カラー撮像の場合には、図４（ｂ）に示すようＲＧＢ３種の波長の光を透過するカラーモザイクフィルタが設置される。個々の光感知セルは、光電変換により、入射した光の量に応じて電気信号を生成する。この部分は一般的な単板カラー撮像素子を用いることができる。このように撮像素子１１０としては、従来の輝度画像用のものを利用できる。本実施形態では、照明光を直線偏光として、その偏光面を回転させながら撮像することによって被写体の表面情報を取得することが可能になる。このため、特許文献２および特許文献３に開示されているような偏光撮像をするための偏光モザイク形の受光素子などを使うと、偏光画像上にモアレなどのアーティファクトが発生することがよくあるが、本実施形態によれば、このような画質劣化要因がなくなる利点がある。

　次に、偏光照明の偏光面を回転した時の輝度の変動の性質について説明する。

　図５は、表面８０１に対して入射角がゼロに近い偏光が入射して直接反射をカメラで観測する様子を示している。図５（ａ）、（ｂ）は、入射する偏光の偏光面が９０°異なっている。しかし、反射光の直線偏光は、光の進行方向が変わるだけでエネルギーである輝度は変動することはない。これは以下の理由による。

　図６は、フレネル理論による鏡面反射率の入射角依存性を示すグラフである。横軸が入射角、縦軸がフレネル反射率を示す。屈折率はｎ＝１．８を想定した。垂直入射とみなせる０°～１５°付近の入射角度は、範囲６０１に相当する。グラフから読み取れるように、この入射角範囲６０１では、Ｐ波もＳ波も反射率がほぼ同一である。したがって、偏光がほぼ垂直に表面に入射した場合には、表面に対するＰ波とＳ波という偏光の区別が無くなって同じ挙動で反射する。すなわち戻り光の偏光状態は入射光と同じになる。従って偏光面変化により戻り光の輝度が変動することは無い。なお、この事実は、屈折率ｎ=１．４～２．０の自然物体において、広く成立する。

　以上のように、滑らかな表面に対して入射角度がほぼゼロで偏光が入射し、それが１回反射して観測される場合、偏光照明の偏光面を角度ΨＩだけ回転させても反射光のエネルギーが変わらないため、観測される輝度Ｙは不変となる。

　図７は、凹凸のある表面に対して偏光照明の偏光面の角度ΨＩが０°、４５°、９０°、１３５°のときに得られる、輝度画像の特定の画素における輝度Ｙの変動を示している。このように凹凸表面では、輝度Ｙは各偏光照明の偏光面の角度ΨＩに対して周期的に変動を示す。以下、この理由を詳述する。

　図８は、凹凸のある表面でグルーブ８０１が形成され、その斜面で２回の反射が発生している様子を示す。この多重反射は、表面の凹凸が多い被写体表面で常に発生していると考えられ、１回目と２回目の反射の性質が重要となる。幾何学的な配置によっては、極めてまれに２回反射とほぼ同じ位置に３回反射が発生することもあるが、その発生頻度はきわめて低いため、以降は２回反射のみに注目する。

　一般に反射の性質を鏡面反射と拡散反射に分離した場合、
１）１回目：拡散反射　２回目： 鏡面反射
２）１回目：拡散反射　２回目： 拡散反射
３）１回目：鏡面反射　２回目： 拡散反射
４）１回目：鏡面反射　２回目： 鏡面反射
の４通りの現象が想定できる。

　しかし実験によると、被写体表面が滑らかな場合、４）の１回目も２回目も鏡面反射という現象を主要な現象として考えればよいことが判明している。

　図８（ａ）に示すように、グルーブの主軸方向８０２に対して垂直に偏光した偏光照明はＰ波である。再び図６を参照すると、被写体グルーブの傾斜角が４５°程度と仮定して、そこに真上から照明が入射すると６０２のフレネル反射率のグラフから読み取れるとおり、この入射角範囲では、Ｓ波にくらべてＰ波の反射率が極めて弱くなる。さらにＰ波は１回および２回反射を経由する間にさらに弱くなる。一方、図８（ｂ）に示すＳ偏光は、２回の反射を経てもそれほど弱まらない。その結果、グルーブに対してＰ波となる入射偏光面においては、反射光はエネルギー的にも極めて弱くなり、輝度が低下する。一方、Ｓ波となる入射偏光面においては、反射光はそれほどエネルギーが減衰せず輝度も高い。

　以上のように表面グルーブを仮定すれば、実験にて得られた、入射光の偏光面の回転による反射光の輝度変化が説明できる。

　グルーブにおける２回反射を偏光現象として検出し、これを、偏光回転照明を使って輝度変動として観測できる。しかし、上記のようなグルーブモデルはやや人工的な溝であった。生体の臓器、粘膜表面における凹凸はさまざまな形状を呈する。図９から図１２は、このような現実の凹凸をモデル化したものである。

　図９は最も単純なグルーブ（溝）を示している。これは２種の斜面９０１のみから形成され略直上から入射した光は、斜面で２回反射（９０２）して戻り光となる。このモデル化では、グルーブにおいて２回反射現象のみが存在する。そこで、ある程度解像度が低い状況では、グルーブ中心は最も暗くなることが多く、従来の輝度による画像処理を用いても凹凸が検出可能である。

　しかし以下の形状では１回反射と２回反射が混在し、輝度による凹凸検出は困難になる。

　図１０はグルーブが底面１００１を有する場合であり、浅く広い陥没部などで見られる形状である。この場合、直上から入射した光は、斜面１００４で２回反射（１００２）して戻り光となるだけでなく、底面にて１回反射（１１０３）する。このため輝度で観測すると、グルーブの中心が最も明るくなり、凹部が周囲より暗くなるという常識に反する状態になり、輝度を用いた画像処理では凹凸判定は困難になる。

　図１１は平坦部上の凸形状１１０５が密集している領域の形状であり、隆起状の腫瘍などが発生している場合に見られる形状である。凸部は簡単のため半球状にモデル化してあるが、凸部１１０５の間隙部１１０１は、凹部と見なすことができ、略直上から入射した光は図１１（ｂ）に示すように隣接する表面で２回反射（１１０２）して戻り光になる。

　隆起した部分では光が１回反射して非常に高い輝度領域となるが、間隙の凹部の底部にも、１回反射光が生じる領域１１０４が存在する。この領域１１０４は、しばしば非常に高輝度になる。したがって、輝度で観測すると凹部が周囲より明るくなるという状態になり、輝度による凹凸判定によっては図１１に示すような凹領域を正確に検出することは困難になる。

　図１２は、平坦部上に穴状の凹部１２０４が単独で存在する形状を示している。凹部１２０４は半球状の穴としてモデル化している。この場合も、対面する斜面の対が存在するため略直上から入射した光は２回反射（１２０１）して戻り光となる。しかし、入射光は底面にて１回反射（１２０２）するため、輝度で観測すると、凹部１２０４の中心１２０３が最も明るい状態となる。その結果、凹部１２０４が周囲より暗くなるという常識に反する状態になるため、輝度による凹凸判定によっては図１２に示すような凹領域を正確に検出することは困難になる。

　輝度による画像処理では凹凸情報を得ることが困難な多様な形状に対して、本実施形態では、回転偏光照明を用いた情報から１回反射と２回反射現象を切りわけて表面凹凸情報を正しく検出することができる。

　図１３は、画像処理プロセッサ１０８の構成を示すブロック図である。本実施形態で実行する画像処理は、偏光面が回転する偏光照明を照射して輝度変動を観測した情報から凹凸を検出する原理を用いている。照明の偏光面角度ΨＩを０°、４５°、９０°、１３５°と変えた場合にそれぞれ撮像された４枚の輝度画像群１３０１が画像処理プロセッサ１０８に入力される。

　偏光照明を回転した場合の輝度変動は周期１８０°の余弦関数になることが判明しているので、変動輝度処理部１３０２は、これを余弦関数に最適フィッティングする。輝度変動は照明の偏光面の角度をΨＩとして以下のように表現される。

　図１４は、この輝度変動の余弦関数を示したもので上記の振幅ＡＩ、位相Ψｏ、平均値ＹΨ_I＿aveを表している。４個のサンプル点は、簡単のため、この余弦関数上にちょうど載るように描かれている。４つの等間隔の角度サンプルから余弦関数をフィッティングして上記の値を推定する手法は、以下のとおりである。まず非偏光照明下での原画像の輝度ＹΨ_I＿aveを以下の式で求める。これは近似的に非偏光照明下での輝度画像を再現しており、この画像は内視鏡の通常観察画像として利用することができる。

　変動輝度処理部１３０２では、サンプルされた輝度から余弦関数への最小２乗誤差を用いた最適フィッティングを行う。ここでは、０°、４５°、９０°、１３５°という４方向のサンプルから実施する。余弦関数は振幅、位相、平均値の３種の情報で決定されるため、これらを決定するためには３点のサンプル以上であれば実際には何点でもかまわない。しかし４５°サンプルの場合には最適フィッティングが簡単になる性質がある。

　まず偏光角度が０°、４５°（＝π／４）、９０°（＝π／２）、１３５°（＝３π／４）における輝度Ｉ₀、Ｉ₁、Ｉ₂、Ｉ₃の２乗誤差Ｅを以下のように定義する。

　この２乗誤差を最小化する余弦関数の位相Ψｏは、以下の式から求められる。

　この式から、解は、次の式で与えられる。

                        

　逆三角関数などの数学関数では一般に以下のような制限が課されている。

　この角度範囲を考慮すると、ａとｃの大小関係からの場合わけを行うことによって、最小値をとる角度と最大値をとる角度は以下のように計算できる。

　この最大値をとるΨ０ｍａｘの値を、そのまま、輝度最大角画像ＹＰＨとすればよい。

　次に、振幅の最大値と最小値を求める。まず、振幅Ａ_Iを求めるため、以下の式を用いて２乗誤差の最小化を行う。

　振幅Ａ_Iを用いて、振幅の最大値と最小値は以下のようになる。

　（式１１）の振幅最大値Ｙｍａｘと最小値Ｙｍｉｎを用いると、輝度変調度画像ＹＤは、以下の式１２によって求められる。

　なお、余弦関数への一般の最適フィッティングは３点以上のサンプルにおいて可能であり、その方法は例えば特許文献６に記載されている。

　以上の処理によって輝度最大角画像ＹＰＨと輝度変調度画像ＹＤが得られる。これらの情報は、図１３に示されるように、反射判定部１３０５に送られる。輝度最大角画像ＹＰＨと輝度変調度画像ＹＤの２種類の画像は、擬似カラー画像として１つにまとめて表現することが多い。その場合、色の色相角を表現するのが輝度最大角画像ＹＰＨであり、色の彩度を表現するのが輝度変調度画像ＹＤである。

　また、図１３に示されるように、異なる偏光照明下で撮影された画像群１３０１は、輝度加算平均部１３１０において加算平均され、非偏光照明下で撮影された画像と等価になる。これが通常のカラー画像として機能する輝度画像Ｙとなる。

　反射判定部１３０５は、輝度最大角画像ＹＰＨ、輝度変調度画像ＹＤ、および、輝度画像Ｙを用いて、被写体表面で発生した反射を１回反射と２回反射に識別判定する。

　図１５は、反射判定部１３０５の処理を説明するフローチャートである。

　ステップＳ１５０１では、輝度変調度画像ＹＤと輝度画像Ｙとを入力する。ステップＳ１５０２では、輝度変調度画像ＹＤの各画素における値（変調度）が、所定の閾値レベルＴＨ_＿ＹＤ以上か否かを判定する。ステップＳ１５０４では、式１３に示すように（i）変調度が所定の閾値レベルＴＨ_＿ＹＤ以上の画素からなる画像領域（ＲＥＦ２＝ＹＥＳ）を、２回反射領域と判定する。一方、（ii）変調度が所定の閾値レベルＴＨ_＿ＹＤより小さい画素からなる画像領域（ＲＥＦ２＝Ｎｏ）を２回反射なしと判定する。こうして、所定の閾値レベルＴＨ_＿ＹＤ以上の輝度変調度が存在する反射領域のみを２回反射領域ＲＥＦ２の画素領域として分離できる。

　ステップＳ１５０３では、ステップＳ１５０２においてＲＥＦ２＝Ｎｏ（２回反射なし）と判定された領域の輝度値Ｙが、所定の閾値ＴＨ＿Ｙよりも大きいかどうかを判定する。画素の輝度値Ｙが所定の閾値ＴＨ＿Ｙ以上の場合（式１４　ＲＥＦ１＝ＹＥＳ）、ステップ１５０５では、そのような画素からなる領域を１回反射領域ＲＥＦ１と判定する。１回反射領域ＲＥＦ１および２回反射領域ＲＥＦ２は、「鏡面反射領域」を構成する。なお、２回反射領域ＲＥＦ２は、２回以上の反射が生じる領域を含み得るため、「多重反射領域」と呼んでもよい。そして、画素の輝度値Ｙが所定の閾値ＴＨ＿Ｙよりも小さい（式１４　ＲＥＦ１＝Ｎｏ）場合、そのような画素からなる領域は、鏡面反射領域ではないとする。

　以上の処理によって１回反射領域ＲＥＦ１と２回反射領域ＲＥＦ２が画像上で分離される。また、１回反射領域ＲＥＦ１および２回反射領域ＲＥＦ２のいずれでもない領域が、「鏡面反射領域」から区別される。

　図１６Ａは、平坦部上に隆起状の腫瘍などが発生しているシーン（図１１）について、反射判定部１３０５の処理を行った結果を模式的に示している。図１６Ｂでは、１回反射領域がハッチングされた円形領域として記載されている。１回反射領域は、隆起部の頂上付近と凹部の底面に存在する高輝度領域である。図１６Ｃに示すように、２回反射領域１６０１、１６０２、１６０３の各対は、隆起部どうしが接する凹部の斜面に位置している。

　図１７Ａ，Ｂは、この処理結果をさらに模式的に表現する図面である。分離抽出された各種の形状を有する微小反射領域１７１，１７２、１７３，１７４、１７５が、属性として輝度最大角Ｈを有する様子を示す。

　輝度最大角Ｈは１８０度周期の角度である。輝度最大角Ｈの等しい領域が図１７Ａ、Ｂでは、パターンテクスチャにて表現されている。図１７Ａに示される領域１７１、１７２は、角度Ｈ１に相当する属性を有し、図１７Ｂに示される領域１７３、１７４、１７５は、角度Ｈ２に相当する属性を有しているとする。言い換えると、領域１７１、１７２の輝度最大角ＨはＨ１、領域１７３、１７４、１７５輝度最大角ＨはＨ２であるとする。

　以下に示す鏡像探索では、まず、図１６Ｃの２回反射領域１６０１、１６０２、あるいは１６０３のような鏡像対となる領域を見つけて凹部を判定する。図１７Ａの領域１７１と領域１７２という対を見つける場合、その２値画像としての形状は信頼性が低く、あまり有用でない。しかしながら２回反射領域が有する角度Ｈ１は大きな手がかりとなる。なぜなら、角度Ｈ１はグルーブ主軸角度を示しているため、対となる領域は必ずグルーブ主軸と直交する方向に存在するからである。探索は、このグルーブ主軸と直交する直線上のみで行えばよい。このグルーブ主軸と直交する直線を探索線１７６と称するものとする。例えば、図１７Ａの領域１７１に対する探索線１７６は、領域１７１の重心１７８を通り、角度Ｈ１に直交する線である。図１７Ｂの例において、領域１７３に対応する鏡像は、領域１７３の重心を通り、角度Ｈ２に直交する直線（探索線１７７）上に位置する。したがって、領域１７３に対応する鏡像は、探索線１７７上のみを探索すればよい。図１７Ｂの例では、角度値Ｈ２に等しい角度値を有する領域１７５が領域１７３の近傍に位置しているが、この領域１７５は探索線１７７上にはない。すなわち、領域１７３と領域１７５とは、２回反射領域の対を構成していない。探索線上を探索する方法によれば、領域１７５を、領域１７３と対を構成する領域であると間違えることはなくなる。

　次に、図１８Ａを参照しながら、鏡像探索部１３０６の処理を説明する。図１８Ａは、鏡像探索部１３０６の処理の一例を示すフローチャートである。

　ステップＳ１８０１において、２回反射領域画像を入力する。これは、図１６Ｃに例示されるような２回反射領域の対を示す２値画像と、輝度最大角画像ＹＰＨと、輝度変調度画像ＹＤとを含むデータである。具体的なデータの例は後述する（図１８Ｂ）。以下、輝度最大角画像ＹＰＨの各画素における輝度最大角の値をＹＰＨ値と称し、輝度変調度画像ＹＤの各画素における変調度をＹＤ値と称する。

　ステップ１８０２では、反射判定部１３０５における（式１３）で説明した２値化処理のために発生した画像上の細かい分散した微小領域をノイズとして除去する。これは通常の２値画像の収縮・膨張処理を使えばよい。

　ステップ１８０３では、２値画像をラベリングして、領域ごとに画素数、重心座標、ＹＤ値，ＹＰＨ値の平均値を計算する。ここで、ＹＤ値とＹＰＨ値の平均計算には、ＹＤ値を色の彩度、ＹＰＨ値を色の色相とすることによって表現される擬似カラー値（Ｒ，Ｇ，Ｂ）を用いる。

　図１８Ｂは、１つの反射領域における擬似カラー値（Ｒ，Ｇ，Ｂ）の例を示している。この領域は、画像上のＸ軸座標２７５－２７８とＹ軸座標１８３－１８６に存在する１１画素よりなる領域である。各画素はＹＤ，ＹＰＨ値を擬似カラー値にて保持しており、これはＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥの各プレーンの同じ座標の画素位置に８ビット値が格納されることで実現されている。たとえば、この領域を構成する（Ｘ，Ｙ）＝（２７８，１８４）の画素には（ＲＥＤ，ＧＲＥＥ，ＢＬＵＥ）＝（２５５，２３１，２２７）が格納されている。上記ステップ１８０３の計算において、重心位置と擬似カラー値の平均値を計算すると、この領域の重心座標は（ＧＣＸ，ＧＣＹ）＝（２７６．５、１８４．６）、平均色は（ＲＥＤ＿ＡＶＥ，ＧＲＥＥ_＿ＡＶＥ，ＢＬＵＥ_＿ＡＶＥ）=（２５５，２２８．０９，２２３．４５）となる。ここからグルーブ主軸角度Ｈは、よく知られたＲＧＢ_＿ＨＳＶ変換などを用いることにより、Ｈ＝０．０２４５、すなわち約８．８２°を得る。この角度は、３６０度周期であるが、グルーブ主軸角度φは１８０度周期であるため、Ｈの１／２の値をグルーブ主軸角度φとすればよい。したがって、図１８Ｂの例におけるグルーブ主軸角度φは約４．４１°となる。この状態で、領域番号ｎｒとして領域がラベリングされた２値画像が得られており、各領域の属性、統計量が確定する。

　次に実際の探索プロセスを説明する。

　図１８ＡのステップＳ１８０４では、初期設定として、探索領域番号ｎｒを１にセットする。ステップＳ１８０５では、探索領域に対して探索線を計算する。この探索線とは前述の説明どおり鏡像を探索するとき使う探索範囲を規定するものである。ステップＳ１８０６では被探索領域番号ｎｒ１を１にセットし、ステップＳ１８０７で実際に探索を行う。

　上記擬似カラー値の意味で「類似色」でかつ探索線との距離Ｄが小さい領域のみを鏡像候補Ｍｒｒｃａｎｄとして、探索線上距離Ｌｅｎをストアするという方法で行う。

　図１９は、この被探索領域の探索の詳細を説明する図である。

　これから２回反射領域の対を構成する他方の領域の探索をする基準となる領域を探索領域１９１と設定し、グルーブ主軸方向は矢印１９２で表現される方向とする。まず探索領域１９１と被探索領域どうしでの主軸角度が類似しているかどうかを判定する式１５を用いて、探索領域１９１と類似色の領域とが判定され、同時に探索線１９３が確定される。

　探索線の方程式は現在の探索領域の重心座標と２回反射グルーブの主軸角度φを用いて以下のようにあらわされる。

　よって探索領域（番号ｎｒ）の探索線に対して被探索領域（番号ｎｒ１）と探索線との垂直距離Ｄの条件は以下のようになる。

　（式１５）と（式１７）の条件を両方満たした場合には、探索線上距離Ｌｅｎを以下のように計算する。

　ステップＳ１８０９で探索領域ｎｒに対する全ての被探索領域の探索が終了したか否かを判定し、未終了であれば、次の被探索領域ｎｒ１をセットする（Ｓ１８０８）。

　ステップＳ１８１０では、探索線上距離Ｌｅｎをソートして短距離から２個を選択する。これが鏡像対になるが、あまりに距離の遠い鏡像対はありえない。そこでステップＳ１８１１にて短距離から２番目までが最大距離ＬＥＮ_＿ＴＨより小さければ、鏡像の対と認定する。

　求めた鏡像対の領域からグルーブに相当する垂直２等分線を生成する。この線分をグルーブセグメントと称し、長さをＧＲＶＬＥＮとして以下のように表現できる。

　ステップＳ１８１２にて全ての領域ｎｒが探索されたことが確認されたら処理が終了し、未終了の場合には次の探索領域に進む（ステップＳ１８１３）。

　以上の処理が終了すれば、反射領域の群にその鏡像対を結びつけ、その中間位置に存在すると想定される、グルーブの局所的な細分化された候補であるグルーブセグメントを設定することができる。

　図２０Ａから図２０Ｄは、実被写体においてグルーブセグメントを抽出した実験画像を示す図である。

　図２０Ａは、被写体を回転偏光照明にて撮影した画像４枚から生成された輝度画像である。臓器表面の凹凸類似の形状と反射特性を有すると想定される魚卵、具体的には「すじこ」の集合体を用いている。表面には照明であるリング照明の１回反射の像および半透明の特性によるリング状の像が多数観察され、これは輝度画像処理においては重大なノイズになる。しかしながら本発明の偏光処理においては、処理結果の図２０Ｂから図２０Ｄのとおり、ほとんど問題にならず正常に処理が可能である。

　図２０Ｂは、変動輝度処理部１３０２の処理を実施した結果を示す図であり、輝度最大角画像ＹＰＨと輝度変調度画像ＹＤとをまとめて１つの擬似カラー画像が示されている。

　図２０Ｃは、反射判定部の結果を示す図であり、量子化処理にて２回反射と判定された微小反射領域が分離・抽出された結果を示す。これらの微小領域が図１６Ｃ、図１７Ａ、１７Ｂの各領域に相当する。

　図２０Ｄは、鏡像探索部１３０６の処理を実施した結果を示す図であり、魚卵の１個１個の輪郭線付近にグルーブセグメントが抽出されている。複数の平行線２００１が抽出される部分は複数の鏡像領域対が発見された部分に相当する。

　図２１Ａと図２１Ｂは、この複数の鏡像対の発生原因を説明する図である。図２１Ａは被写体表面の凹凸の断面図であり、斜面が変曲点を有するカーブを描いているため、（Ａ）点と（Ｄ）点で１つの２回反射、（Ｂ）点と（Ｃ）点で別の２回反射が発生している。そのために図２１Ｂのように４個の２回反射領域が同一探索線上に観測され結果的に３本のグルーブセグメントが抽出される。この場合、別途のアルゴリズムによって本来のグルーブ中心が（Ｂ）と（Ｃ）の中点であることを判定してもよい。

　凹領域接続部１３０７は、推定されたグルーブセグメントどうしを接続することにより、１まとまりの凹領域を生成し法線のＡｚｉｍｕｔｈ（方位）角を確定する。

　次に、図２２を参照しながら、凹領域接続部１３０７の処理を説明する。図２２は、凹領域接続部１３０７の処理の流れを示すフローチャートである。

　図２２に示すステップＳ２２１では、鏡像探索部１３０６でグルーブセグメント化した、画像内の全てのグルーブセグメントＳを対象にする。ステップＳ２２２では、各グルーブセグメントＳの有する方向に依存して２値画像処理の膨張処理を実行する。この膨張処理の方向は、個々のグルーブセグメントの方向に依存して決定され、グルーブセグメントの主軸とその垂直方向に対してほぼ均等に膨張させ、グルーブセグメントをグルーブの底としてグルーブの斜面領域を再生する。

　ステップＳ２２３では上記の膨張領域の近いものどうしを画像処理によって相互に接続し、微小反射領域に依存して離散的だったグルーブセグメントを大きな連続した接続グルーブ領域とする。ステップＳ２２４では、接続グルーブ領域を２値画像処理で細線化することにより、連続した接続グルーブ領域の底に対応する細線を確定する。ステップＳ２２５では、この細線の垂線でかつ細線に向かう向きのベクトルを設定し、これをグルーブの法線ベクトルのＡｚｉｍｕｔｈ（方位）角として推定する。

　ステップＳ２２６では、接続グルーブ領域内における断面形状を２次関数などの既存の関数形にてフィッティングをすることにより、グルーブのＺｅｎｉｔｈ（天頂）角を推定する。この際に微小反射領域の反射強度が拘束条件となる。これは、図１０、図１１、図１２などからわかるように、各断面において強い２回反射を発生する斜面角度は垂線に対して約４５度近傍であることを利用する。これらの処理を実施して接続グルーブ領域を推定し、その場所における表面法線ベクトル、すなわちＡｚｉｍｕｔｈ（方位）角とＺｅｎｉｔｈ（天頂）角とを推定する。以上の処理を実例に即して説明する。

　図２３Ａから図２３Ｄは、湾曲したグルーブの例を示す図であり、このグルーブは、隆起した凸領域の周囲に存在するグルーブと考えてよい。図２３Ａは、微小反射領域１５１，１５２と設定されたグルーブセグメント１７９を示す。図２３Ｂはグルーブセグメント１７９の膨張処理の結果を示す。図２３Ｃは、他のグルーブセグメントと接続し、細線化処理が実施された様子を示す。この段階で接続グルーブ領域は画像の左下を中心に湾曲し、その谷である底面位置が細線で示されている。図２３Ｄは、得られたグルーブに対して法線の方位角が推定された結果を示している。

　図２４Ａから図２４Ｄは、平坦な面内にある窪み（穴）の例を示す図である。穴の形状は、グルーブが点対称になったものと考えられるため２回反射の鏡像対が理論的には無数に存在する。図２４Ａは、微小反射領域２０００と微小反射領域２００１とが鏡像対をなし、グルーブセグメント２００４が推定される。また、微小反射領域２００２と微小反射領域２００３とが鏡像対をなし、グルーブセグメント２００５が推定されている。図２４Ｂは、グルーブセグメントを膨張処理させた結果を示している。その膨張領域が１つの十文字状の閉領域をなすことがわかる。ここから細線化を実施すると底面の１点が推定される。図２４Ｃでは、グルーブセグメントから求められた凹領域である穴と、その穴の底面における１点が図示されている。図２４Ｄは、得られた穴の領域に対して法線の方位角が推定された結果を示している。

　断面形状モデル化部１３０８は、以上の処理によりＡｚｉｍｕｔｈ（方位）角が推定された結果を受けて、凹領域においてＺｅｎｉｔｈ（天頂）角を推定し、法線を表現する２つの角度を確定する。凹領域のＡｚｉｍｕｔｈ（方位）角およびＺｅｎｉｔｈ（天頂）角が決まると、凹領域の法線画像を生成する。

　図２５は、方位角と天頂角につき説明する図である。法線ベクトルは３次元ベクトルであるが長さが１に正規化されているため自由度は２であり、角度で表現する場合には、画面内の方位角Ψと視線に対する天頂角θにて表現する。通常の右手系では、画像内にＸ－Ｙ軸を設定し、Ｚ軸の負の向きが視線（光軸）方向となる。法線の３成分（Ｎｘ，Ｎｙ，Ｎｚ）との関係は図に示すとおりである。すなわち偏光情報により方位角Ψと天頂角θとが求められたならその点での表面法線は以下のようになる。

　図２６は断面形状モデル化部１３０８の処理の流れを示す。ステップＳ２６０１では、すでにＡｚｉｍｕｔｈ（方位）角が推定された状態にて、Ｚｅｎｉｔｈ（天頂）角を推定する。

　グルーブ断面は特定の関数形でフィッティングしてかまわないが、ここでは正規分布関数を用いる。

　図２７は推定されたグルーブを被写体直上からみた平面図と断面を示す。簡単のためにグルーブはＸ=０でＹ軸方向に延びているとする。ここで断面形状をσというパラメータを用いた正規分布関数で表現するものとする。正規分布関数は、パラメータがσ１個だけで表現され簡単であること、生体で一般的な各種のグルーブの形状に類似していることから図１０から図１２の各種断面形状を近似するものとして選定している。

　ここで、断面形状の勾配を計算すると、これは法線の天頂角θを用いて以下のように表現できる。

　そこで最適フィッティングすべき微小反射領域２７０１の位置をｘ軸上でＷとし、そこでのθを最も反射強度が強くなるθ＝４５度と仮定すると、

を得るのでここからパラメータσが求められる。以上のようにグルーブの断面形状が正規分布関数で表現され、同時にグルーブ底面の中心線２７０２からのずれ値Ｗに従ってＺｅｉｎｔｈ（天頂）角が決定する。なお、正規分布関数の値はグルーブ中心から離れるに従い漸近的に平坦部に移行する。したがって、このモデルは、胃などの粘膜表面における凹部のモデルとしては適している。

　一旦この関数形が決定されれば、グルーブ中心線から距離ｘの点における天頂角θは、

として求められる。なお、正規分布関数以外の断面形状モデルを用いてもよいことはいうまでもない。

　ステップＳ２６０２では、求めた方位角Ψと天頂角θから（式２１）を用いてカメラ座標系における被写体表面の法線ベクトル（Ｎｘ，Ｎｙ，Ｎｚ）を求め、これを２次元的な法線画像とする。

　いままでの説明からわかるように本発明では、偏光情報を使ってはいるが、Ａｚｉｍｕｔｈ角、Ｚｅｎｉｔｈ角のいずれについても不定性（Ａｍｂｉｇｕｇｉｔｙ）が発生しない。これは通常の偏光画像処理とは大きく異なる利点であり、もともと凹部のみをモデル化して推定するという立場で考案されているためである。

　以上の処理は被写体表面で２回反射を起こす凹領域における法線の推定処理であったが、次に１回反射を起こす領域の処理を説明する。

　高輝度領域処理部１３１２は、図１６において被写体表面で非常に明るい輝度を有する領域ＲＥＦ１として抽出された部分での法線を確定する。

　図２８は、法線確定の原理を示す図であり、１回反射における鏡面反射で入射角と反射角が等しい性質からＲＥＦ１領域における表面法線Ｎ１は視点ベクトルＶと光源ベクトルＬとの２等分ベクトルとして計算できる。

　以上の処理においてＲＥＦ２（２回反射）領域とＲＥＦ１（１回反射）領域における表面法線が確定できる。しかしこれらの法線は局所的にしか求められていない。そこで被写体表面全域にわたる大域的な法線を決定する。

　法線再現部１３１３は、理論的な表面反射モデルと観測された単一画像の輝度との関係から法線の連続性仮定を用いて法線未決定領域に対して法線を求めて、大域的な法線を決定する。この領域では２回反射はほとんど発生していないため、照明と法線と視線の方向から１回の反射にて輝度が決定されると考えてよく、従来からよく使われているＳＦＳ（ＳｈａｐｅＦｒｏｍＳｈａｄｉｎｇ）における陰影からの形状復元（非特許文献２）の手法を使うことができる。

　この手法ではまず３次元空間内のベクトルである表面法線（Ｎｘ，Ｎｙ，Ｎｚ）を（ｐ、ｑ）勾配空間を経由して被写体の外縁線拘束を表現するのに便利な（ｆ、ｇ）空間で表現しておく。この返還式には（式２６）、（式２７）を使えばよい。

　次に実際にある画素位置（ｘ、ｙ）にて観測された輝度Ｅ（ｘ，ｙ）から法線（ｆ、ｇ）を推定するために（式２８）の関係を仮定する。このため法線と観測輝度との理論的関係Ｒ（ｆ，ｇ）が必要になる。これは、実験的に求めることも可能であるが、光源位置を既知として被写体の反射特性を近似する種々の物理反射モデルの式から得ることができる。たとえば鏡面反射モデルとして後述するクック＝トランスモデルを使うことができる。

　次に、被写体表面が滑らかであるという設定から以下の法線連続性の式を仮定する。

　そこで、（式２８）と（式２９）を両立させるため以下の積分を最小化する。

　この最小化問題は以下のオイラー方程式を解くことに帰着し離散的に繰り返し法を用いて解くことができる。

　最後に求められた（ｆ、ｇ）空間から（ｐ，ｑ）空間を経由して法線ベクトルを逆変換して求める。

　図２９Ａは、この繰り返し法によって次第に表面の凸部分の法線が形作られていく様子を模式的に示す。初期の表面は２９０１のように平坦であるが、繰り返し法を適用すると、２９０２、２９０３のように次第に凸領域が形成されている。なお、グルーブ領域における法線群、ＲＥＦ１領域における法線は拘束条件として用いることができる。以上の処理によって法線画像Ｎが生成できる。

　図２９Ｂは法線画像を模式的に表現した図である。輝度画像の各画素にその場所における表面法線ベクトルのデータが付随している。以下の説明は、このようにして生成された画像を合成表示する部分に関する。

　まず図１Ｃに示すとおり、法線画像Ｎは光源変動画像生成部１１７に送られる。光源変動画像生成部１１７では、求められた法線画像に対して、カメラ視点方向と照明光源方向を与えることによって物理反射モデル式を用いて輝度画像を生成する。ここでは被写体の鏡面反射をよく表現するモデル式としてクック＝トランスモデルを使用する。それによると輝度Ｉｓは以下の式で表される。

　図３０はクック＝トランスモデルを用いる場合のベクトルと角度の関係を示す図であり、表面法線Ｎと、光源ベクトルＬと視点ベクトルＶが描かれている。光源ベクトルＬと視点ベクトルＶの２等分ベクトルＨを用いると、上式におけるαは、２等分ベクトルＨと法線Ｎとのなす角度であり、θｒは視線ベクトルと法線Ｎのなす角度である。フレネル係数Ｆおよび幾何減衰率Ｇは以下の式で表現される。

　また係数Ｋは入射照度に関係する係数である。このクック＝トランスモデルを使えば、表面法線画像から輝度画像を生成することができるが、そのためには屈折率ｎのほかに、視線ベクトルＶ、光源ベクトルＬなどの幾何学的な設定を与える必要がある。

　光源方向設定部１１４は、この光源ベクトルを設定するためのマンマシン・インタフェースであって、内視鏡診断などにおいては観察するユーザである医師が自由に設定する。この設定は照明光源を実際の内視鏡の光源以外の場所、たとえば向かって左側、右側、上側、下側から照射するような仮想的な設定であり、対象の表面凹凸をリアリティ豊かに画像化できる。

　図３１は、このような光源変動された画像を模式的に示す。この画像は推定された法線画像に基づいているために照明変更がコンピュータ上で自在に替えることができ、内視鏡の欠点の１つである照明位置の変更ができないため表面凹凸の観察が困難である、という課題を解決することができる。

　実際にはクックトランスモデルで表現される画像は光沢部のみの鏡面反射画像である。たとえば、カラー画像の場合には、鏡面反射画像は白色光源のみによるためモノクロ画像となってしまい、これだけではリアリティに欠ける。そこで画像合成部１１５において、輝度画像Ｙと合成表示する。

　図３２Ａは、この合成処理を説明する図である。

　輝度画像Ｙと光源変動画像ＳＹは、画像合成部１１５に送られ、まず画像成分分離部３２０２にて拡散反射画像ＤＹが分離される。これは、輝度画像Ｙから、光源を撮影時と同じ状態に設定した鏡面反射画像である光源変動画像ＳＹを減算することによって実施される。前記のカラー成分などは、この拡散反射画像ＤＹに残存する。次に光源を任意の位置に変化させた場合の光源変動画像ＳＹを生成し、これに重み係数設定部３２０４にて重み付けして加算部３２０３で加算合成する。合成画像は表示部へ送られる。

　図３２Ｂは、以上の合成処理にて実現される表示画像の例である。光源３２０６は仮想的に設定される任意の平行光源である。これを図３２Ｂの（Ａ）から（Ｄ）のように方向を自在に設定すると、被写体画像が画像３２０８Ａから３２０８Ｄのように変化する。特に１回反射の鏡面反射部３２０７とシャドウ部３２０９が光源の位置変化と共に移動する点で視覚的に凹凸を感知させることができる。医師は通常の輝度画像に加えて凹凸をリアリティ豊かに強調した画像を見ることができ診断に有効な情報を得ることができる。

　図３３Ａは合成処理の別の形態を示す図である。この場合には法線画像Ｎから生成される輝度画像ではなく、そこまで加工する以前の情報である輝度最大角画像ＹＰＨ、および輝度変調度画像ＹＤから生成される擬似カラー画像を合成している。輝度最大角画像ＹＰＨと輝度変調度画像ＹＤは画像合成部１１５に入力されると、まず擬似カラー変換部３３０１によって擬似カラー画像Ｃに変換される。この変換には、よく知られたＨＳＶ－ＲＧＢ変換などを利用できる。

　次に、この画像は重み付け部３３０３にて重み付けされて、同じく重み付け部３３０２にて重み付けされた輝度画像と共に加算部３３０４に送られて加算合成される。この場合に擬似カラー表示は、その色相が表面のグルーブのＡｚｉｍｕｔｈ（方位）角を示している。

　図３３Ｂは、以上の合成処理にて実現される表示画像の例である。たとえば、各擬似カラー表示３３０５，３３０６、３３０７は、それぞれＡｚｉｍｕｔｈ角＝４５°、９０°、１３５°の方向にグルーブがあることを示す。これによって医師は表面の溝の状態や、どこが穴になっているのかなどを知ることができる。図３１の場合と比較するとやや直感的ではないが、画像処理を行う前の情報を直視できる利点がある。なお、ここでは擬似カラー画像を合成したが、輝度最大角ＹＰＨ画像、および輝度変調度ＹＤ画像をモノクロ画像として合成することも可能である。

　なお、図１Ｃで示す画像処理装置の構成からわかるように、本装置では、観察する照明光を切り替えて別個の情報を観察する構成を採用していないため、処理は全て並列で実行可能である。すなわち通常の内視鏡検査に必須のカラー画像である輝度画像Ｙを観察しながら、同時に光源変動画像ＳＹとの合成画像、あるいは擬似カラー画像Ｃとの合成画像などを表示部１１６に一度に表示することが可能であるという特徴がある。もちろん内視鏡を走査する医師が適宜切りかえて表示することも可能である。

　（第１の実施形態の変形例）
　図３４、図３５Ａ、図３５Ｂを参照しながら、第１の実施形態の変形例を説明する。

　第１の実施形態では、図１６に示す被写体表面で非常に明るい輝度を有するＲＥＦ１（１回反射）領域を凸領域とであると仮定し、法線確定を行っていた（図２８参照）。しかし、図１１および図１２を参照しながら説明したように、ＲＥＦ１（１回反射）領域は凹領域である可能性もある。

　この変形例の装置では、ＲＥＦ１(１回反射)領域が凹領域および凸領域のいずれであるかを判定する凹凸判定部を備えている。以下、被写体の表面が球状領域の集合体であると仮定する。

　図３４を参照する。図３４は、本変形例の構成を示す図である。本変形例の構成と図１３の構成と間の第１の相違点は、本変形例の装置が凹凸判定部１３１４を備えていることにある。この例では、高輝度領域処理部１３１２で検出されたＲＥＦ１領域が凸領域であると判定されたとき、法線再現部１３１３による処理を実行する。なお、ＲＥＦ１領域が凹領域であると判定された場合は、この領域をＲＥＦ１領域から除外して、その後の処理を行う。

　図３５Ａは、ＲＥＦ１領域が凸領域である場合を示している。図３５Ａに示される例では、球状領域１３２０にＲＥＦ１領域１３２４が存在し、その周囲に３箇所のＲＥＦ２領域１３２１、１３２２、１３２３が存在している。ＲＥＦ１領域１３２４を始点とし、ＲＥＦ２領域１３２１、１３２２、１３２３の各々を終点とする２次元的な位置ベクトルをＶとする。ＲＥＦ２領域１３２１、１３２２、１３２３の各々におけるグルーブの軸を表現するベクトルをＴとする。このベクトルＴは、鏡像探索をした結果見出されたグルーブセグメントであってもよいし、鏡像探索なしに単にグルーブ主軸として得られるものであってもよい。このベクトルＴの方向は確定するが、向きは不定である。

　図３５Ａに示されるように、ベクトルＴはＲＥＦ１領域１３２４の周囲を回転するように取り囲んでいるため、ベクトルＴとベクトルＶとは、ほぼ直交している。２つのベクトルの間の角度が直角に近いほど、外積はゼロから離れる。したがって、図３５Ａに示す場合、ベクトルＴとベクトルＶについて、以下の式が成立する。

　ここで、ベクトルＶとベクトルＴの外積の絶対値を用いている理由は、ベクトルＴの向きを考慮していないからである。「Ｅ」は複数の２回反射領域での平均値を示し、「Ｔｈｒｅｓｈ」は、予め設定された一定のしきい値を示す。「Ｔｈｒｅｓｈ」の大きさは、被写体の種類に応じて異なる値が設定され得るが、実験または計算によって決定されていてもよい。

　この変形例では、式３４が成立するとき、凹凸判定部１３１４はＲＥＦ１領域１３２４を凸領域と判定する。

　図３５Ｂは、ＲＥＦ１領域が凹領域である場合を示している。この場合も、複数のＲＥＦ２領域１３２６、１３２７、１３２８に囲まれた領域の中央にＲＥＦ１領域１３２５が存在する。しかし、ＲＥＦ１領域１３２５を始点としてＲＥＦ２領域を終点とする位置ベクトルＴと、ＲＥＦ２領域１３２６、１３２７、１３２８の各々のグルーブ主軸ベクトルＶとを作成すると、ベクトルＴとベクトルＶとは、ほとんど平行になる。このため、ＲＥＦ１領域１３２４を凹領域であるとき、以下の式３６が成立する。

　このように、凹凸判定部１３１４は、ベクトルＴとベクトルＶとの外積の絶対値の大きさに基づいて、１回反射領域が凹領域か凸領域であるかを識別することができる。

　（第２の実施形態）
　第１の実施形態の画像処理装置は、撮像素子が先端部に位置するいわゆる軟性鏡タイプである。本発明における内視鏡は、軟性鏡タイプに限定されず、硬性鏡タイプであってもよい。

　以下、図３６を参照しながら、本発明による画像処理装置の第２の実施形態（硬性鏡タイプ）を説明する。図３６は、本実施形態における内視鏡１０１の構成例を示すブロック図である。本実施形態において、内視鏡１０１以外の構成は、図１Ｃに示す画像処理装置の構成と同様であるため、それらの構成の説明はここでは繰り返さない。

　本実施形態の画像処理装置が備える内視鏡１０１は、撮像用リレーレンズ光学系３４０１および照明用リレーレンズ光学系３３０２を備えている。撮像用リレーレンズ光学系３４０１は、撮影レンズ１０９から得られた被写体の像を内視鏡の根元に位置する撮像素子１１０にまで導くものであり、硬性内視鏡では一般的な構成である。本実施形態では、光源１０４の直前に偏光面制御素子１０６が設置されている。光源１０４から出た非偏光光が回転直線偏光に変換され、この直線偏光が照明用リレーレンズ光学系３３０２を通過する間、偏光状態を維持されて照明レンズ１０７から照射される。本実施形態によれば、内視鏡先端部に図１Ｃの偏光面制御素子１０６を設置する必要がなくなり、先端部の口径を小さくすることができる。また、偏光面を回転させる手段として、上述した偏光面制御素子１０６よりも大きな構成を採用することも可能になる。例えば、偏光面制御素子１０６の代わりに、異なる透過偏光面を複数有する偏光子を回転させる機構を利用することも可能になる。

　照明用リレーレンズ光学系３３０２では、途中で偏光状態が維持される必要があるが、撮像用リレーレンズ光学系３４０１においては輝度自身が維持されればよい。このため、撮像用リレーレンズ光学系３４０１の調整が楽になる。照明用リレーレンズ光学系３３０２は、偏光状態を維持する偏波面保存ファイバーを用いたライトガイドによって代用され得る。

　本実施形態でも、回転偏光照明を用いて輝度画像を撮像し、画像処理プロセッサが行う処理については第１の実施形態と同じである。

　（第１および第２の実施形態の変形例）
　第１の実施形態、第２の実施形態に共通して先端部の偏光回転照明部の構成には種々の変形例が考えられる。被写体の凹凸にて鏡面反射を多く発生させるためには、なるべく均一で広い面積の照明を用いることが望ましい。しかし、内視鏡であることから、先端部口径はなるべく小さく、構造が簡単であることが望ましい。

　図３７から図４１を参照しながら、偏光照明部１２０の先端部における多様な構成例を説明する。これらの図面の左側には先端部１１３の正面図が示され、右側には先端部１１３の断面図が示されている。

　図３７は、第１の実施形態における先端部の構成に近い先端部を備える構成例を示している。この例では、照明レンズ１０７の外側に偏光面制御素子１０６が装着されている。

　図３８は、先端部にリング照明部３０６を有する構成例を示している。リング照明部３０６から出射した光を、中央に孔があいたドーナツ形状の偏光面制御素子１０６に通して変換する。このリング照明部３０６は、ライトガイド１０５から分岐した個々の光ファイバーの複数の端面を円周上に並べることにより構成され得る。

　図３９は、先端部に幅の広い構成幅広のリング照明部３０７を有する構成例を示している。このリング照明部３０７は、幅の広いリング状帯領域内に配置された複数のＬＥＤチップを有しており、全体としてリング状の面発光が得られる。リング照明部３０７から出た光は、中央に孔があいたドーナツ形状の偏光面制御素子１０６を通過するとき、その偏光面が制御される。

　図４０は、撮像の光軸に対して照明の光軸を傾斜させるように先端部の中央が凹んだ構成例を示している。凹んだ中央部には撮影レンズ１０９が位置し、その周りに複数のＬＥＤ光源３０８が配列されている。これによって、被写体部位の周囲を大きな光源にて囲む効果が現れるため、鏡面反射が多く発生するようになる。

　図４１は、照明の光軸と撮影の光軸を同一にできる同軸落射照明を用いた構成例を示している。円形の面発光型のＬＥＤ照明光源３０９から出た非偏光は、円形の偏光面制御素子１０６を透過した後に広帯域無偏光ＢＳ（ビームスプリッタ）に４５度の角度で入射する。広帯域無偏光ＢＳは、可視光の範囲で入射した偏光の１／２を透過し、１／２を反射するが、その際に偏光を維持する特性を有する。このため、直線偏光はそのまま被写体に照射される。また戻り光も同様に１／２が透過されて撮影レンズ１０９に入射する。この構成では、光源から出た光の一部が広帯域無偏光ＢＳを透過した後、装置内部で反射することを最小にするため光吸収板３１０を設置するのが望ましい。ここではプレート形の広帯域無偏光ＢＳを用いているが、キューブ型のものを用いてもよい。その場合には光源の反射はさらに強くなるため対策が必要になる。

　なお、直線偏光を発するＬＥＤ光源を使用し、その偏光面を偏光面制御素子によって回転させるようにしてもよい。

　なお、上記の実施形態の全ては、回転偏光照明と輝度撮像素子の組み合わせで構成されているが、被写体が鏡面反射物体であれば、これを非偏光照明と偏光撮像素子の組み合わせに置き換えることも可能である。この場合、図１Ｃの偏光面制御素子１０６が不要となる代わりに撮像素子１１０が偏光撮像素子に置き換わる。偏光撮像素子としては可視カラー輝度と同時にある波長帯にて偏光撮像が可能な素子を用いることができる。この場合における処理部は、図１３に示す輝度画像群１３０１の代わりに１枚の偏光撮像画像を受け取り、処理を行う。図１３における輝度最大各画像ＹＰＨ、および輝度変調度画像ＹＤは、それぞれ、偏光主軸角（位相）画像と偏光度画像に置き換えればよい。

　本発明は、医療用内視鏡、皮膚科、歯科、眼科、外科などのメディカル用途のカメラ、工業用内視鏡、指紋撮像装置、表面検査装置など被写体の表面凹凸の観察、検査、認識を必要とする画像処理分野に広く適用可能である。

１００　　被写体
１００ａ　被写体の凹領域
１０１　　内視鏡
１０２　　制御装置
１０３　　挿入部
１０４　　光源
１０５　　ライトガイド
１０６　　偏光面制御素子
１０７　　照明レンズ
１０８　　画像プロセッサ
１０９　　撮影レンズ
１１０　　撮像素子
１１１　　映像信号線
１１２　　同期装置
１１３　　先端部
１１４　　光源方向設定部
１１５　　画像合成部
１１６　　表示部
１１７　　光源変動画像生成部
１２０　　偏光照明部
１４０　　撮像部
１５０　　画像処理部
１３０２　変動輝度処理部
１３０５　反射判定部
１３０６　鏡像探索部

Claims (21)

1. 　偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、
   　前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、
   　画像処理部と、
   を備え、
   　前記画像処理部は、
   　前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、
   　前記変動輝度処理部の出力に基づいて前記凹領域で２回反射して戻り光となる前記多重反射領域と、前記被写体表面で１回反射して戻り光となる１回反射領域とを判別する反射判定部と、
   　前記被写体表面の凹領域で２回反射によって戻り光となる多重反射領域の対を決定する鏡像探索部とを有し、
   　前記画像処理部は、前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する、画像処理装置。
2. 　前記画像処理部は、
   　前記多重反射領域の各対からグルーブセグメントを生成し、前記グルーブセグメントを接続して前記凹領域の位置を推定する凹領域接続部と、
   　前記凹領域の断面形状を決定する断面形状モデル化部と、
   を有する請求項１に記載の画像処理装置。
3. 　前記画像処理部は、前記多重反射領域における表面法線と前記１回反射領域における表面法線とを統合して法線画像を生成する法線再現部を備える請求項２に記載の画像処理装置。
4. 　光源位置を設定する光源方向設定部と、
   　前記光源位置を仮想的に動かしたときの光源変動画像を生成する光源変動画像生成部と、
   　前記光源変動画像と輝度画像とを重ねあわせ合成して表示する画像表示部と
   を有する請求項３に記載の画像処理装置。
5. 　前記光源変動画像生成部は、前記法線画像および物理反射モデルを用いて前記被写体の輝度画像を生成する請求項４に記載の画像処理装置。
6. 　前記偏光照明部および前記撮像部は、内視鏡に取り付けられている請求項１から５のいずれかの画像処理装置。
7. 　前記偏光照明部は、非偏光の光を、偏光面変換素子を透過させることによって偏光面が３種類以上に順次変化する直線偏光を照射する請求項１に記載の画像処理装置。
8. 　前記偏光照明部は、非偏光の光を前記偏光面変換素子に導くライトガイドを有している請求項１に記載の画像処理装置。
9. 　前記撮像部はモノクロ撮像素子またはカラー撮像素子を有している請求項１に記載の画像処理装置。
10. 　偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射しながら前記撮像部によって取得された複数の輝度画像の加算平均を行うことにより、非偏光照明下での画像に相当する平均輝度画像を生成する輝度加算平均部を有する、請求項１に記載の画像処理装置。
11. 　前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成する、請求項１から１０のいずれかに記載の画像処理装置。
12. 　前記輝度最大角画像、前記輝度変調度画像のいずれかと、輝度画像とを重ねあわせ合成して表示する画像表示部を有する請求項１１に記載の画像処理装置。
13. 　前記反射判定部は、前記輝度最大角画像および前記輝度変調度画像に基づき、
    　前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像において、あらかじめ設定された値以上の輝度変調度を持つ画素を、前記多重反射領域を構成する画素として抽出する請求項１１に記載の画像処理装置。
14. 　前記凹領域接続部は、前記凹領域の表面法線のＡｚｉｍｕｔｈ（方位）角を推定する請求項２に記載の画像処理装置。
15. 　前記断面形状モデル化部は、前記凹領域の断面形状を特定の関数にてモデル化し、
    　前記多重反射領域における表面法線のＡｚｉｍｕｔｈ角が概略４５度になる性質を利用して、前記凹領域における任意の位置における表面法線のＺｅｎｉｔｈ（天頂）角を推定する請求項２に記載の画像処理装置。
16. 　前記偏光照明部は、偏光面が３種類以上に順次変化する偏光面変換素子を透過させた光を、リレーレンズ光学系を経由して前記被写体に照射する請求項１に記載の画像処理装置。
17. 　前記偏光照明部は、同心円状態の複数のリング照明または面照明光源を偏光面変換素子と組み合わせた光学系を有する請求項１に記載の画像処理装置。
18. 　前記偏光照明部は、撮像系の光軸よりも内側向きの照明系光軸を有する面照明光源と偏光面変換素子とを組み合わせた光学系を有する請求項１に記載の画像処理装置。
19. 　前記偏光照明部は、無偏光広帯域ビームスプリッタと面照明光源と偏光面変換素子とを組み合わせた光学系を有する請求項１に記載の画像処理装置。
20. 　偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明工程と、
    　前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像工程と、
    　画像処理工程と、
    を含む画像処理方法であって、
    　前記画像処理工程は、
    　前記撮像工程で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理工程と、
    　前記変動輝度処理工程の結果に基づいて前記凹領域で２回反射して戻り光となる前記多重反射領域と、前記被写体表面で１回反射して戻り光となる１回反射領域とを判別する反射判定工程と、
    　前記被写体表面の凹領域で２回反射によって戻り光となる多重反射領域の対を決定する鏡像探索工程と、
    　前記多重反射領域の対に基づいて前記被写体表面の前記凹領域を示す画像を生成する工程と
    を含む、画像処理方法。
21. 　偏光面の角度が異なる３種類以上の直線偏光を、順次、被写体に照射する偏光照明部と、
    　前記３種類以上の直線偏光の各々によって前記被写体が照射されているときに、順次、前記被写体を撮像する撮像部と、
    　画像処理部と、
    　画像処理部の出力に基づいて画像を表示する表示部と、
    を備え、
    　前記画像処理部は、
    　前記撮像部で撮影した画像の輝度を処理して被写体表面における反射偏光状態を算出する変動輝度処理部と、
    　前記変動輝度処理部の出力に基づいて疑似カラー画像を生成する疑似カラー画像変換部と、
    を備え、
    　前記変動輝度処理部は、前記撮像部から出力される画素信号に基づいて、前記偏光面の角度と各画素の輝度値との関係を求め、各画素について前記輝度値が最大となる前記偏光面の角度によって定義される輝度最大角画像、および各画素について前記偏光面の変化にともなう前記輝度値の変動の振幅と輝度平均値との比率によって定義される輝度変調度画像を生成し、
    　前記疑似カラー画像変換部は、前記輝度最大角画像および前記輝度変調度画像に基づき、前記輝度最大角を色相角、前記輝度変調度を彩度とする擬似カラー画像を生成し、前記擬似カラー画像と輝度画像とを合成して前記表示部に表示させる、内視鏡装置。

Images