JP6822475B2 - 内視鏡装置及び内視鏡装置の作動方法 - Google Patents

Description

本開示は、内視鏡装置及び内視鏡装置の画像合成方法に関する。

内視鏡観察における明暗差の大きさに起因する視認性の低さを改善する技術として、例えば下記の特許文献１には、距離情報に応じて照射光量や配光パターンを変え、ゲイン補正によって配光ムラを調整し、適正露出の映像を提示することが記載されている。

また、下記の特許文献２には、鏡面反射画像を取り除くイメージングの技術として、第１光源からの照明光である第１照明光が第１偏光板で偏光化されて対象物に当たり、対象物からの像光からは、第１偏光板とその偏光の方向が直行する偏光板を通過する際に、表面反射光が遮断されるようにした構成が記載されている。

特開２０１５−８７８５号公報 特開２０１４−１８４３９号公報

しかしながら、特許文献１に記載された方法では、被写体への照度を適正にすることは出来ても、被写体からの鏡面反射成分によって観察に適した映像を提示できないという問題がある。

また、特許文献２に記載された技術においては、取得される表面反射波（鏡面反射成分）の無い無反射像は、鏡面反射成分のある通常画像に対して被写体の質感や印象が異なるため、通常の観察用途で利用することが困難である。

更に、特許文献２に記載された技術においては、鏡面反射成分を除去するための構成として、照射光と反射光に対してそれぞれ偏光子を介在させているため、偏光板を介さない場合に比べて、照射光量に対して撮像部へ入射する光量が１/４未満となってしまう。このため、映像のＳ／Ｎが大きく損なわれるという問題がある。

そこで、輝度を低下させることなく、鏡面反射成分を最適に調整することが望まれていた。

本開示によれば、被写体から鏡面反射成分を含む有反射像を取得する有反射像取得部と、前記被写体から前記鏡面反射成分を含まない無反射像を取得する無反射像取得部と、前記有反射像と前記無反射像を合成する合成処理部と、を備える、内視鏡装置が提供される。

また、本開示によれば、被写体から鏡面反射成分を含む有反射像を取得することと、前記被写体から前記鏡面反射成分を含まない無反射像を取得することと、前記有反射像と前記無反射像を合成することと、を備える、内視鏡装置の画像合成方法が提供される。

以上説明したように本開示によれば、輝度を低下させることなく、鏡面反射成分を最適に調整することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るシステムの概略構成について説明するための模式図である。 図１におけるＣＣＵのハードウェア構成の一例を示す説明図である。 自然環境下のように、太陽光線によって均一な照度で被写体が照らされている状態を示す模式図である。 内視鏡下観察のように外光の遮断された状態で単一の光源によって被写体を照らす状態を示す模式図である。 内視鏡装置の構造を示す模式図である。 通常撮影時における内視鏡観察時の照射光と入射光の関係を示す模式図である。 通常撮影時における内視鏡観察時の照射光と入射光の関係を示す模式図である。 通常撮影時における内視鏡観察時の照射光と入射光の関係を示す模式図である。 空間分割方式を用いた手法を示す模式図である。 偏光画素と通常画素の空間的な配置の例を示す模式図である。 空間分割方式で取得された有反射像と無反射像を合成する手法を示す模式図である。 時間分割方式を用いた手法を説明するための模式図である。 時間分割方式を用いた手法を説明するための模式図である。 時間分割方式における有反射像、無反射像の取得のため、第１偏光子と第２偏光子の切り替えをカラーフィルタ（Ｒ，Ｇ，Ｂ）の切り替えとともに行う例を示す模式図である。 光線分割方式を用いた手法を説明するための模式図である。 光線分割方式を用いた手法を説明するための模式図である。 位相差板を利用して偏光の方向を変える例を示す模式図である。 無反射像と有反射像から合成像を生成する合成像生成部を説明するための模式図である。 無反射像と有反射像から合成像を生成する合成像生成部を説明するための模式図である。 合成の際の有反射像の使用率係数α１を示す特性図である。 合成の際の有反射像の使用率係数α２を示す特性図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システムの全体構成
２．本実施形態に係る内視鏡の構成
３．空間分割方式の例
４．時間分割方式の例
５．光線分割方式の例
６．無反射像と有反射像の合成

［１．システムの全体構成］
まず、図１を参照して、本開示の一実施形態に係るシステムの概略構成について説明する。近年では、医療現場において従来の開腹手術に代わって内視鏡による手術が行われている。例えば、腹部の手術を行う場合、図１に示すような手術室に配置される内視鏡手術システム１０を用いる。従来のように腹壁を切って開腹する代わりに、トロッカ１２ａ,１２ｂと称される開孔器具が腹壁に数か所取り付けられ、トロッカ１２ａ,１２ｂに設けられている孔から腹腔鏡（以下、内視鏡とも称する）２、エネルギ処置具３や鉗子４等が体内に挿入される。そして、内視鏡２によってビデオ撮像された患部（腫瘍等）１６の画像をリアルタイムに見ながら、エネルギ処置具３等によって患部１６を切除するなどの処置が行われる。内視鏡２、エネルギ処置具３や鉗子４は、術者、助手、スコピスト、またはロボット等が保持している。なお、本実施形態では内視鏡２として硬性内視鏡を例示するが、内視鏡２は軟性内視鏡であっても良い。また、本開示に係るシステムは、図１に示す内視鏡システムのような、環境光などの外光が遮断された暗環境化において画像を取得する撮像装置と照明装置を備えるイメージング機器に関するもので、工業用内視鏡装置や医用内視鏡装置、または顕微鏡装置といった観察装置を含む。

このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート１４、患者が横たわる患者ベッド１３、フットスイッチ１５等が配置される。カート１４は、医療機器として例えばカメラコントロールユニット(ＣＣＵ)５、光源装置６、処置具用装置７、気腹装置８、表示装置９、レコーダ１７及びプリンタ１１等の装置類を搭載している。

内視鏡２の観察光学系を通じて撮像された患部１６の画像像信号がカメラケーブルを介してＣＣＵ５に伝送され、ＣＣＵ５内で信号処理された後に、表示装置９に出力され、患部１６の内視鏡画像が表示される。ＣＣＵ５は、カメラケーブルを介して内視鏡２に接続される他、無線で接続してもよい。光源装置６は、ライトガイドケーブルを介して内視鏡２に接続され、患部１６に対してさまざまな波長の光を切り替えて照射することができる。処置具用装置７は、電気熱を用いて患部１６を切断するエネルギ処置具３に対して高周波電流を出力する高周波出力装置である。気腹装置８は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。フットスイッチ１５は、術者や助手等のフット操作をトリガ信号として、ＣＣＵ５や処置具用装置７等を制御する。

図２は、図１におけるＣＣＵ５のハードウェア構成の一例を示す説明図である。ＣＣＵ５は、例えば、ＦＰＧＡボード２１と、ＣＰＵ２２と、ＧＰＵボード２３１,２３２と、メモリ２４と、ＩＯコントローラ２５と、記録媒体２６と、インタフェース２７とを備える。また、ＦＰＧＡボード２１、ＣＰＵ２２、およびＧＰＵボード２３１，２３２は、例えばバス２８で接続される。ＦＰＧＡボード２１は、例えば、ＦＰＧＡ（Field Programmable Gate Array）と、図１の内視鏡２から入力画像信号が入力される入力インタフェース（入力ＩＦ）と、図１の表示装置９に出力画像信号を出力する出力インタフェース（出力ＩＦ）を含む。入力インタフェース（入力ＩＦ）には、内視鏡２が備える撮像素子から入力画像信号が入力される。

ＣＰＵ２２と、ＧＰＵボード２３１,２３２とは、例えば関連するソフトフェアなどの各種ソフトウェアを実行して様々な処理を行う。ＣＰＵ２２は、プロセッサを備えている。ＧＰＵボード２３１,２３２のそれぞれは、ＧＰＵ（Graphics Processing Unit）とＤＲＡＭ（Dynamic Random Access Memory）を備えている。

メモリ２４には、例えば、内視鏡２から入力画像信号に対応するデータや、表示装置９への出力画像信号に対応するデータなど様々なデータが記憶される。ＣＰＵ２２は、メモリ２４への各種データの書き込みや読み出しを制御する役目を果たす。

ＣＰＵ２２は、メモリ２４に記憶させたデータと、ＧＰＵボード２３１，２３２の処理能力と、処理内容に応じて、メモリ２４に記憶された画像データを分割する。そして、ＧＰＵボード２３１，２３２のそれぞれのＧＰＵは、分割されて供給されてくるデータに所定の処理を施し、処理結果をＣＰＵ２２に出力する。

ＩＯコントローラ２５は、例えば、ＣＰＵ２２と、記録媒体２６およびインタフェース２７との間の信号の伝達を制御する役目を果たす。

記録媒体２６は、記憶部（図示せず）として機能し、画像データや各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体２６としては、例えば、ソリッドステートドライブなどが挙げられる。また、記録媒体２６は、ＣＣＵ５から着脱可能であってもよい。

インタフェース２７としては、例えば、ＵＳＢ（Universal Serial Bus）端子および処理回路や、ＬＡＮ（Local Area Network）端子および送受信回路などが挙げられる。

なお、ＣＣＵ５のハードウェア構成は、図２に示す構成に限られない。例えば、図２では、ＧＰＵボード２３１，２３２が２枚である例が示されているが、２枚以上の枚数であってもよい。また、ＣＰＵ２２がＧＰＵの機能を有している場合には、ＣＣＵ５は、ＧＰＵボード２３１，２３２を備えていなくてもよい。以上のような内視鏡手術システム１０を用いることで、外科手術における大きなデメリットである侵襲性を抑えた手術手技を実現することが可能となっている。

以上のような内視鏡観察を含め、外光（環境光）の遮断された閉空間を単一の照明装置によって動的に観察する装置全般における普遍的な第１の課題として、被写体の広大なダイナミックレンジ（ＤＲ）を確保することが挙げられる。図３Ａは、自然環境下のように、太陽光線によって均一な照度で被写体が照らされている状態を示す模式図である。また、図３Ｂは、内視鏡下観察のように外光の遮断された状態で単一の光源によって被写体を照らす状態を示す模式図である。図３Ａ及び図３Ｂにおいて、上段の図は物体Ａ，Ｂ，Ｃを視線方向から見た状態を示しており、下段の図は視線方向を上から見た状態を示している。図３Ａに示す状態では、太陽光線で均一に照らされる反射率の同じ物体であれば、距離によらず同じ明るさで目に映る。一方、図３Ｂに示す状態では、光源装置と被写体までの距離によって照度が大きく変化するために、視野全体を適正な露出状態にすることが困難となる。

この第１の課題に対する既存の技術として、例えば前述した特許文献１のように、距離情報に応じて適正露出の映像を提示する技術がある。しかし、この方法では、被写体への照度を適正にすることは出来ても、被写体からの鏡面反射成分によって観察に適した映像を提示できない。

また、図１に示すようなシステムを用いた観察における第２の課題として、鏡面反射成分による照り返しがある。図４は、内視鏡装置の構造を示す模式図である。例えば図４に示すような内視鏡装置を具体例として挙げると、光源からの入射光ベクトルｖ１と撮像部への像光ベクトルｖ２のなす角度（光軸）が平行になり易く、構造的な理由から鏡面反射が生じやすい。この時、被写体の色情報を有する拡散反射成分の強度に対する鏡面反射成分の強度は非常に大きく、撮像部に入射する像光の光線（被写体からの反射光）に鏡面反射成分が混じると、画素値は容易に飽和してしまい、被写体の情報を取得できなくなる。仮に鏡面反射成分が飽和しないように露光量を調整すると、観察において重要な情報となる被写体色情報等を含む拡散反射成分の強度が小さくなり過ぎ、拡散反射成分を取得できない。また、鏡面反射が高い頻度で生じると観察の妨げになるだけではなく、視聴者の眼にも大きなストレスとなる。そのため、適正な観察環境を提供するに当たって、鏡面反射成分についても考慮する必要がある。

第２の課題に対する既存の技術として、例えば前述した特許文献２のように偏光板を利用して鏡面反射成分が遮断する技術がある。しかし、特許文献２に記載された技術においては、取得される鏡面反射成分の無い無反射像は、鏡面反射成分のある通常撮影の像（有反射像）に対して被写体の質感や印象が異なるため、通常の観察用途で利用することは困難である。また、特許文献２に記載された技術においては、鏡面反射成分を除去するための構成として、照射光と反射光に対してそれぞれ偏光板を介在させているため、照射光量に対して撮像部へ入射する光量が１/４未満となってしまい、映像のＳ／Ｎが大きく損なわれるという問題がある。

上記の点に鑑み、本実施形態では、被写体からの像光を、鏡面反射成分と拡散反射成分から構成される第１の反射光、及び鏡面反射成分を遮断して拡散反射成分のみで構成される第２の反射光に分解し、第１反射光からは有反射像を、第２反射光からは無反射像をそれぞれ取得し、有反射像及び無反射像から観察に適した合成像を生成する。

以下では、被写体からの像光を第１及び第２反射光に分解してそれぞれ有反射像及び無反射像として取得する構成例について説明する。

［２．本実施形態に係る内視鏡の構成］
図５Ａ〜図５Ｃは、通常撮影時における内視鏡観察時の照射光と入射光の関係を示す模式図である。図５Ａは内視鏡装置５００の場合を示しており、導光部１００から被写体３００に向けて照射された入射光は、被写体３００で反射し、反射による像光が撮像部２００にて撮像される。撮像部２００は、ＣＭＯＳセンサ等の撮像素子から構成される。図５Ｂは、図５Ａの内視鏡装置５００を被写体側から見た状態を示している。図５Ｂに示すように、内視鏡装置５００の鏡筒５１０には、入射光が照射される照射窓５１２と像光が入射する観察窓５１４が設けられている。図５Ｃは、顕微鏡手術装置６００の例を示しており、導光部１００と撮像部２００を有するユニットが複数設けられている。

図５Ａ、図５Ｂに示す通常の撮影では、入射光は偏光されていない光（非偏光）である。照射光が被写体３００に当たって生じた像光は、物体内部で乱反射して偏光が解消された拡散反射成分（非偏光、図５Ａ、図５Ｃ中に一点鎖線で示す）と、物体表面で直ちに反射した鏡面反射成分（非偏光、図５Ａ、図５Ｃ中に二点鎖線で示す）とを含む。

前提として、図５Ａ〜図５Ｂにおいて、撮像に際して被写体を照明する光源に外光（環境光）は含まれない。また、図４に示したように、照射光と入射光の光軸方向は平行である。本実施形態は内視鏡装置５００の構成に限定されるものではなく、このような条件を満たす観察装置であれば、図５Ｃに示したような顕微鏡手術装置６００やその他の装置構成においても同様に適用できる。以下では、内視鏡装置５００の構成を例に挙げて説明を行う。

［３．空間分割方式の例］
第１反射光及び第２反射光を取得する手法として、空間分割方式を用いた方法、時間分割方式を用いた方法、が挙げられる。図６は、空間分割方式を用いた手法を示す模式図である。まず、第１光源からの照明光である入射光（非偏光、図６中に太い破線で示す）が導光部１００から照射される。この入射光は、第１偏光角度を有する第１偏光子（偏光板）４００で偏光化されて、第１偏光角度を有する入射光（偏光、図６中に細い破線で示す）となる。入射光は、被写体３００に当たり、被写体３００からの像光が生じる。この時生じた像光は、物体内部で乱反射し偏光が解消された拡散反射成分（非偏光、図６中に太い一点鎖線で示す）と、物体表面で直ちに反射し第１の偏光角度を保った偏光で構成される鏡面反射成分（偏光、図６中に太い二点鎖線で示す）とを含む。このように、画像の色情報を有する拡散反射成分は、物体内部で乱反射することで偏光状態が解消される。一方、鏡面反射成分は、偏光状態が保たれ、入射光と同じ第１偏光角度を有している。

続いて、像光は鏡筒５１０の先端の観察窓５１４に到達するが、この際に鏡筒５１０の内部に設置された撮像部２００に、図６に示すように第２偏光角度を有する第２偏光子２０２を備える偏光画素２０４と、第２偏光子２０２を備えない通常画素２０６とが空間的に分散して配置されている。第２偏光子２０２は、第１偏光角度に直交する第２偏光角度を有する。

第２偏光子２０２を備える偏光画素２０４では、拡散反射成分（非偏光、図６中に太い一点鎖線で示す）が透過して拡散反射成分（非偏光、図６中に細い一点鎖線で示す）となる。また、鏡面反射成分（偏光、図６中に太い二点鎖線で示す）は第２偏光子２０２によって遮断される。一方、偏光子を備えない通常画素２０６では、拡散反射成分（非偏光、図６中に太い一点鎖線で示す）と鏡面反射成分（偏光、図６中に太い二点鎖線で示す）はそのまま通常画素２０６に到達する。以上により、偏光画素２０４に到達する光線からは鏡面反射成分が遮断され、通常画素２０６に到達する光線には鏡面反射成分が含まれる。

従って、偏光画素２０４のみから生成された画像は無反射像となり、通常画素２０６のみから生成される画像は有反射像となる。図７は、偏光画素２０４と通常画素２０６の空間的な配置の例を示す模式図である。偏光画素２０４と通常画素２０６の配置は、図６に示す様にジグザグ状に配置しても良いし、図７に示すように、より単純に水平、垂直に分割して配置しても良い。

図６に示すように、撮像部２００で取得された画像情報は、有反射像取得部６５０と無反射像取得部６６０に送られる。有反射像取得部６５０では、通常画素２０６から生成された有反射像が取得される。また、無反射像取得部６６０では、偏光画素２０４から無反射像が取得される。取得された有反射像及び無反射像は、合成処理部７００において合成される。合成処理部７００の処理については、後述する。

図８は、空間分割方式で取得された有反射像と無反射像を合成する手法を示す模式図である。空間分割方式で有反射像、無反射像を取得する場合、それぞれの信号で位相（画素）が不足する状態になるため、デモザイク処理によって位相を補間する必要がある。また、無反射像については、第２偏光子２０２を通過することにより有反射像よりも輝度が低下するため、露光比倍のゲインを乗算し、輝度低下分を増加させる。そして、有反射像、輝度を増加させた無反射像のそれぞれについて、ローパスフィルタを通した後、合成部にて合成を行う。なお、合成の際の有反射像と無反射像の利用率については後述する。図８では、ローパスフィルタによって補間画素を生成するフローを記しているが、ＩＧＶやＬＭＭＳＥなどのより高等なアルゴリズムを適用し、補間画素を生成しても良い。また、解像度を補償する目的で、有反射像と無反射像を混ぜて全ての位相に情報を持った状態から、デモザイクを行った結果に対し、有反射像＋無反射像のデモザイクを併せ、有反射像と無反射像と併せて合成した結果を出力画像としても良い。

［４．時間分割方式の例］
図９Ａ及び図９Ｂは、時間分割方式を用いた手法を説明するための模式図である。時間分割方式は大別して、図９Ａに示す第１方式と図９Ｂに示す第２方式の２方式に分かれる。

まず、第１方式においては、図９Ａに示すように、第１光源からの照明光である入射光（非偏光、図９Ａ中に太い破線で示す）が導光部１００から照射される。この入射光は、第１偏光角度を有する第１偏光子４００で偏光化されて、第１偏光角度を有する入射光（偏光、図９Ａ中に細い破線で示す）となる。入射光は、被写体３００に当たり、被写体３００からの像光が生じる。この時生じた像光は、物体内部で乱反射し偏光が解消された拡散反射成分（非偏光、図９Ａ中に太い一点鎖線で示す）と、物体表面で直ちに反射し第１の偏光角度を保った偏光で構成される鏡面反射成分（偏光、図９Ａ中に太い二点鎖線で示す）とを含む。第１方式では、第１偏光子４００は常に設けられている。

続いて、像光は鏡筒５１０の先端の観察窓５１４に到達するが、シャッターのタイミングに合わせて、２ｎフレーム（偶数フレーム）の際にのみ撮像部２００の被写体側に第２偏光子２０２が出現し、２ｎ＋１フレーム（奇数フレーム）では第２偏光子２０２は出現しない。このため、２ｎフレームでは、像光の鏡面反射成分が第２偏光子２０２を通過しないため、無反射像が取得される。一方、２ｎ＋１フレームでは、鏡面反射成分が撮像部２００に到達し、有反射像が取得される。

一方の第２方式では、図９Ｂに示すように、第１光源からの照明光である入射光が照射窓５１２に到達し、この際にシャッターのタイミングに合わせて、２ｎフレーム（偶数フレーム）の際にのみ第１偏光子４００が出現する。第２偏光子２０２は常に設けられている。２ｎフレームでは第１偏光子４００で偏光化された照明光が被写体３００に当り、偏光状態を保持した鏡面反射成分を含む像光が生じ、この鏡面反射成分は第２偏光子２０２で遮断される。一方、２ｎ＋１フレーム（奇数フレーム）では第１偏光子４００が出現しないため、非偏光の鏡面反射成分を含む像光が生じ、この非偏光の鏡面反射成分は第２偏光子２０２を通過する。像光の鏡面反射成分が第２偏光子２０２を通過しない２ｎフレームでは無反射像が取得され、像光の鏡面反射成分が第２偏光子２０２を通過する２ｎ＋１フレームでは有反射像が取得される。この時、シャッタータイミングに合せて第１偏光子４００が出現するのではなく、第１光源からの照明光が第１偏光子４００と同じ偏光角度を有する直線偏光を照射する第２光源に切り替わっても良い。なお、第１偏光子４００、第２偏光子２０２は機械的なシャッターを設けることで、その出現、退避を制御することができる。

図１０は、時間分割方式における有反射像、無反射像の取得のため、第１偏光子４００と第２偏光子２０２の切り替えをカラーフィルタ（Ｒ，Ｇ，Ｂ）の切り替えとともに行う例を示す模式図である。時間分割方式の場合、偏光フィルタのＩＮ／ＯＵＴではなく、カラーフィルタ（Ｒ,Ｇ,Ｂ，偏光Ｒ，偏光Ｇ，偏光Ｂ）を面順次に変えることで、反射像×３と無反射像×３を取得しても良い。図１０に示す形式１は、６つのカラーフィルタをＲ→Ｇ→Ｂ→偏光Ｒ→偏光Ｇ→偏光Ｂ→、のように切り換えるフィールドシーケンシャルを示している。カラーフィルタの面順次の順列は図１０に示す形式１でもよいし、形式２の様に、Ｒ→偏光Ｒ→Ｇ→偏光Ｇ→Ｂ→偏光Ｂとしても良い。

［５．光線分割方式の例］
図１１Ａ及び図１１Ｂは、光線分割方式を用いた手法を説明するための模式図である。図１１Ａは、ビームスプリッターとして通常のプリズムを用いた場合を示しており、図１１Ｂは、偏光ビームスプリッターを用いた場合を示している。図１１Ａに示す例では、最初に、第１光源からの入射光（非偏光、図１１Ａ中に太い破線で示す）が導光部１００から照射される。この入射光は、第１偏光角度を有する第１偏光子４００で偏光化されて、第１偏光角度を有する入射光（偏光、図１１Ａ中に細い破線で示す）となる。入射光は、被写体３００に当たり、被写体３００からの像光が生じる。この時生じた像光は、物体内部で乱反射し偏光が解消された拡散反射成分（非偏光、図１１Ａ中に太い一点鎖線で示す）と、物体表面で直ちに反射し第１の偏光角度を保った偏光で構成される鏡面反射成分（偏光、図１１Ａ中に太い二点鎖線で示す）とを含む。

続いて、像光は鏡筒５１０の先端の観察窓５１４に到達するが、鏡筒５１０の内部に設置されたビームスプリッター２１０によって像光は均等に二分割され、一方の光線はそのまま第１撮像部２１２に入射して有反射像が取得され、もう一方の光線はビームスプリッター２１０の直後に配置された第２偏光子２１６を通過した後に第２撮像部２１４へ入射する。第２偏光子２１６は第１偏光角度と直交する偏光角度を有するため、無反射像を取得することができる。

ビームスプリッター２１０は通常のプリズムでも良いが、図１１Ｂに示すように、第１偏光子４００の第１偏光角度に対して直交する水平または垂直な偏光角度を有する偏光ビームスプリッター２１８であっても良い。この場合、一方の光線が含む鏡面反射成分は偏光ビームスプリッター２１８の偏光角度に対して平行なため素通りして第１撮像部２１２または第２撮像部２１４の一方へ到達して有反射像が取得される。また、もう一方の光線が有する鏡面反射成分は偏光ビームスプリッター２１８の偏光角度に対して垂直となるため遮断され第１撮像部２１２又は第２撮像部２１４の他方へ到達して無反射像が取得される。なお、無反射像と有反射像を取得する方法の一形態として上記手法を説明したが、上記以外の方法で無反射像と有反射像を取得しても良い。

図１２は、偏光子を２枚（例えば、０°と９０°）を用意するのではなく、第１偏光子４０の代わりに位相差板４０１を利用して偏光の方向を変える例を示す模式図である。液晶を位相差板として利用する場合、有反射像を取得する場合は液晶に電荷を与えない。これにより、偏光は第２偏光子２０２を素通りし、有反射像を取得できる。無反射像を取得する場合は、液晶に電荷を加え、偏光方向を９０°だけ動かす。これにより、偏光は第２偏光子２０２で遮断される。反射像の光量（拡散反射成分）は偏光子の減光率に応じて低下する。原理としては、光線分割方式で偏光ビームスプリッターを利用する方式と同等の光量を取得する。

［６．無反射像と有反射像の合成］
次に、図１３及び図１４に基づいて、無反射像と有反射像から合成像を生成する合成処理部７００について説明する。図１３では、観察目的に適応的な鏡面反射制御像を合成像として表示する方法を説明する。撮像部２００にて取得された有反射像及び無反射像は、有反射像取得部６５０、無反射像取得部６６０にて取得され、合成処理部７００へ入力される。図１３に示すように、合成処理部７００は、鏡面反射分離部７０２、鏡面反射制御部７０４、輝度補正部７０６、を有して構成される。

図１３に示すように、有反射像は鏡面反射分離部７０２に入力され、無反射像は輝度補正部７６０に入力される。先ず、取得した無反射像の輝度レベルを有反射像に合わせる目的で、輝度補正部７０６によって無反射像の大局的な輝度を調整する。ここでは、例えば無偏光の光線が偏光子を透過する際の減光率から、無反射像の輝度レベルを有反射像に合わせる。この際に調整する輝度は、画面均一に行っても良いし、領域または画素毎に決定して適用しても良い。領域または画素毎に決定する方法としては、例えば有反射像と無反射像の注目画素（位相）または注目領域の比率を用いるのが好ましい。この際、有反射像の画素または領域が鏡面反射成分を含む場合は画素値が極端に高くなるため除外し、比率を算出する際の画素または領域が鏡面反射成分を含まないようにする。輝度が調整された無反射像は、鏡面反射分離部７０２及び鏡面反射制御部７０４へ入力される。

続いて、鏡面反射成分を抽出する目的で、鏡面反射分離部７０２が、有反射像と輝度を調整した無反射像の差分を算出し、鏡面反射像として抽出する。抽出した鏡面反射像は、鏡面反射制御部７０４に入力される。

次に、観察目的に応じた画像を生成する目的で、鏡面反射制御部７０４が、抽出した鏡面反射像に第１係数Ａを乗算し、輝度レベルが調整された無反射像へ加算することで、合成像を出力する。この時、鏡面反射像に乗算する第１係数Ａが０．０以上１．０未満であれば、鏡面反射が減弱または喪失した画像となり、画像情報の飽和を抑えるとともに、視認性を高めることができる。一方、第１係数Ａが１．０以上になると、鏡面反射が強調され質感や立体感の強い画像を得ることができる。

次に、図１４に基づいて、無反射像を短露光画像、有反射像を長露光画像として扱い、ＨＤＲ合成を行うことで暗部（低輝度領域）Ｓ／Ｎの高い合成像を提供する方法を説明する。図１４に示す合成画像生成部７００は、輝度補正部７１２と画像合成部７１４を有して構成されている。図１４に示すように、有反射像は画像合成部７１４に入力され、無反射像は輝度補正部７１２に入力される。先ず、原理的な露光量を無反射像と合せる目的で、輝度補正部７１２によって無反射像の輝度レベルを調整する。この際、調整する輝度のゲインとして加わる第２係数は画面均一に一意の値とする。第２係数は例えば無偏光の光線が偏光子を透過する際の減光率から求める。

次に、画像合成部７１４によって、輝度を調整した無反射像と有反射像を合成する。合成に際しては、鏡面反射の無い部分に関しては、有反射像の方がＳ／Ｎ比が高いため、有反射像を使う。一方、反射があって被写体が見えない部分に関しては、Ｓ／Ｎ比が低くても無反射像の方が画像情報を持っているため、無反射像を使う。このような観点で合成を行うことで、高いＳ／Ｎ比を有する無反射像を得ることができる。

図１５Ａ及び図１５Ｂは、合成の際の有反射像の使用率係数α１，α２を示す特性図である。上記の観点から、図１５Ａに示すように、有反射像または無反射像の利用率α１は、例えば有反射像の輝度によって決定することができる。有反射像の輝度が高い部分では、鏡面反射が大きいため、有反射像の使用率係数α１を低くし、無反射像の使用率を高くする。一方、有反射像の輝度が低い部分では、鏡面反射が小さいため、有反射像の使用率係数α１を高くし、無反射像の使用率を低くする。このような合成は、画像の領域毎又は画素毎に行うことができる。

一方、通常の長短露光撮影画像の合成とは異なり、無反射像と有反射像の両反射像は、含んでいる反射成分が異なるため、輝度補正部７０６によって調整された無反射像の輝度は必ずしも有反射像と一致しない。このため、両反射像の合成は図１５Ａに示すような考え方だけでは達成できない場合がある。

そこで、図１５Ｂに示すように、合成比を求める係数として、両反射像の差分を重みにした係数α２を用いることができる。輝度を調整した無反射像と有反射像の差分が大きい場合は、鏡面反射成分に起因して差分が生じていると考えることができる。両反射像の差分は鏡面反射成分に由来する差異だと考えられるので、差分が大きくなる程、鏡面反射成分の少ない画像、即ち無反射像の使用率が高くなるように、係数α２によって合成比の重み付けをする。係数α２を算出する際、差分ではなく比率を使用しても良い。但し、その際に暗部での無反射像の利用率が高くならないように工夫をする方が好ましい。

本実施形態では、有反射像と無反射像を合成することにより、通常の長短露光撮影画像の合成（ＨＤＲ合成）とは異なり、鏡面反射成分を最適に調整することができる。これにより、特に鏡面反射成分が大きい場合に、画素値が飽和してしまうことを抑止できる。一方、通常の長短露光撮影画像の合成では、鏡面反射成分により画素値が飽和してしまうと画像情報が得られなくなり、また、画素値が飽和しない場合であっても十分な画像情報を得ることが困難となる。従って、本実施形態によれば、通常の長短露光撮影画像の合成よりも画像のＳ／Ｎを高くすることができ、鏡面反射成分による画質の劣化を確実に抑止することが可能となる。

以上説明したように本実施形態によれば、有反射像と無反射像を取得し、両反射像を合成することで、被写体の鏡面反射成分の強度を目的に応じて調整することで、観察に適した画像を提示できる。これにより、鏡面反射成分が強い場合であっても、鏡面反射成分を抑えることで、画質の劣化を確実に抑えることが可能となる。また、目的に応じて鏡面反射成分の利用率を高くすることで、画像の質感を高めることも可能となる。また、両反射像を合成することで、暗部においてＳ／Ｎが高く視認性の高い画像を提示できる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 被写体から鏡面反射成分を含む有反射像を取得する有反射像取得部と、
前記被写体から前記鏡面反射成分を含まない無反射像を取得する無反射像取得部と、
前記有反射像と前記無反射像を合成する合成処理部と、
を備える、内視鏡装置。
（２） 前記合成処理部は、前記有反射像と前記無反射像の差分を前記無反射像に加算することで、前記有反射像と前記無反射像を合成する、前記（１）に記載の内視鏡装置。
（３） 前記合成処理部は、前記有反射像の輝度に基づいて、前記有反射像の輝度が高いほど前記有反射像の利用率を下げて前記合成を行う、前記（１）に記載の内視鏡装置。
（４） 前記合成処理部は、前記有反射像の輝度と前記無反射像の輝度の差分に基づいて、前記差分が大きいほど前記有反射像の利用率を下げて前記合成を行う、前記（１）に記載の内視鏡装置。
（５） 前記合成処理部は、前記無反射像の輝度を前記有反射像の輝度に合わせる輝度補正部を有する、前記（１）〜（４）のいずれかに記載の内視鏡装置。
（６） 前記合成処理部は、画像の領域毎又は画素毎に前記合成を行う、請求項１〜（５）のいずれかに記載の内視鏡装置。
（７） 光源部から出射された光を直線偏光にして前記被写体へ入射させる第１の偏光子と、
前記被写体から反射した光線が透過し、前記第１の偏光子と異なる偏光角度を有する第２の偏光子と、
を備える、前記（１）〜（６）のいずれかに記載の内視鏡装置。
（８） 前記第２の偏光子は、前記第１の偏光子の偏光角度と直交する偏光角度を有する、前記（７）に記載の内視鏡装置。
（９） 前記有反射像取得部は、時間分割された第１の所定フレームで前記有反射像を取得し、
前記無反射像取得部は、時間分割された第２の所定フレームで前記無反射像を取得し、
前記第１の所定フレームでは前記第１の偏光子及び前記第２の偏光子の一方が出現し、
前記第２の所定フレームでは前記第１の偏光子及び前記第２の偏光子の双方が出現する、前記（７）又は（８）に記載の内視鏡装置。
（１０） 前記第２の偏光子は複数の画素のうち偏光画素に配置され、
前記有反射像取得部は、前記第２の偏光子が配置されていない通常画素から前記有反射像を取得し、
前記無反射像取得部は、前記第２の偏光子が配置された前記偏光画素から前記無反射像を取得する、前記（７）又は（８）に記載の内視鏡装置。
（１１） 前記被写体から反射した光線を２つに分光するビームスプリッターを備え、
前記第２の偏光子は２つに分光された光線の一方が透過し、
前記有反射像取得部は、２つに分光された光線のうち前記第２の偏光子を通過していない光線から前記有反射像を取得し、
前記有反射像取得部は、２つに分光された光線のうち前記第２の偏光子を通過した光線から前記無反射像を取得する、前記（７）に記載の内視鏡装置。
（１２） 光源部から出射された光を直線偏光にして前記被写体へ入射させる第１の偏光子と、
前記被写体から反射した光線を２つに分光する偏光ビームスプリッターと、
を備え、
前記偏光ビームスプリッターは、２つに分光された光線の一方の偏光状態を変化させ、
前記有反射像取得部は、２つに分光された光線のうち前記偏光ビームスプリッターによって偏光状態が変化されていない光線から前記有反射像を取得し、
前記有反射像取得部は、２つに分光された光線のうち前記偏光ビームスプリッターによって偏光状態が変化された光線から前記無反射像を取得する、前記（１）〜（５）のいずれかに記載の内視鏡装置。
（１３） 前記被写体へ入射する光線の光軸と前記被写体から反射する光線の光軸が平行である、前記（１）〜（１２）のいずれかに記載の内視鏡装置。
（１４） 被写体から鏡面反射成分を含む有反射像を取得することと、
前記被写体から前記鏡面反射成分を含まない無反射像を取得することと、
前記有反射像と前記無反射像を合成することと、
を備える、内視鏡装置の画像合成方法。

２０２ 第２偏光子
２０４ 偏光画素
２０６ 通常画素
２１０ ビームスプリッター
２１８ 偏光ビームスプリッター
４００ 第１偏光子
６５０ 有反射像取得部
６６０ 無反射像取得部
７００ 合成処理部
７０６，７１２ 輝度補正部

Claims (12)

1. 被写体から鏡面反射成分を含む有反射像を取得する有反射像取得部と、
   前記被写体から前記鏡面反射成分を含まない無反射像を取得する無反射像取得部と、
   前記有反射像と前記無反射像を合成する合成処理部と、
   を備え、
   前記合成処理部は、
   前記無反射像の輝度を前記有反射像の輝度に合わせる輝度補正部と、
   前記無反射像の輝度が前記有反射像の輝度に合った前記無反射像と前記有反射像との差分を算出し、鏡面反射像として抽出する鏡面反射分離部と、
   抽出した前記鏡面反射像に１．０以上の係数を乗算し、前記無反射像の輝度が前記有反射像の輝度に合った前記無反射像に加算する鏡面反射制御部と、
   を有する、内視鏡装置。
2. 被写体から鏡面反射成分を含む有反射像を取得する有反射像取得部と、
   前記被写体から前記鏡面反射成分を含まない無反射像を取得する無反射像取得部と、
   前記有反射像と前記無反射像を合成する合成処理部と、
   を備え、
   前記合成処理部は、前記有反射像の輝度に基づいて、前記有反射像の輝度が高いほど前記有反射像の利用率を下げて前記合成を行う、内視鏡装置。
3. 被写体から鏡面反射成分を含む有反射像を取得する有反射像取得部と、
   前記被写体から前記鏡面反射成分を含まない無反射像を取得する無反射像取得部と、
   前記有反射像と前記無反射像を合成する合成処理部と、
   を備え、
   前記合成処理部は、前記有反射像の輝度と前記無反射像の輝度の差分に基づいて、前記差分が大きいほど前記有反射像の利用率を下げて前記合成を行う、内視鏡装置。
4. 前記合成処理部は、画像の領域毎又は画素毎に前記合成を行う、請求項１から３のいずれか一項に記載の内視鏡装置。
5. 光源部から出射された光を直線偏光にして前記被写体へ入射させる第１の偏光子と、
   前記被写体から反射した光線が透過し、前記第１の偏光子と異なる偏光角度を有する第２の偏光子と、
   を備える、請求項１から４のいずれか一項に記載の内視鏡装置。
6. 前記第２の偏光子は、前記第１の偏光子の偏光角度と直交する偏光角度を有する、請求項５に記載の内視鏡装置。
7. 前記有反射像取得部は、時間分割された第１の所定フレームで前記有反射像を取得し、
   前記無反射像取得部は、時間分割された第２の所定フレームで前記無反射像を取得し、
   前記第１の所定フレームでは前記第１の偏光子及び前記第２の偏光子の一方が出現し、
   前記第２の所定フレームでは前記第１の偏光子及び前記第２の偏光子の双方が出現する、請求項５又は６に記載の内視鏡装置。
8. 前記第２の偏光子は複数の画素のうち偏光画素に配置され、
   前記有反射像取得部は、前記第２の偏光子が配置されていない通常画素から前記有反射像を取得し、
   前記無反射像取得部は、前記第２の偏光子が配置された前記偏光画素から前記無反射像を取得する、請求項５又は６に記載の内視鏡装置。
9. 前記被写体から反射した光線を２つに分光するビームスプリッターを備え、
   前記第２の偏光子は２つに分光された光線の一方が透過し、
   前記有反射像取得部は、２つに分光された光線のうち前記第２の偏光子を通過していない光線から前記有反射像を取得し、
   前記有反射像取得部は、２つに分光された光線のうち前記第２の偏光子を通過した光線から前記無反射像を取得する、請求項５に記載の内視鏡装置。
10. 光源部から出射された光を直線偏光にして前記被写体へ入射させる第１の偏光子と、
    前記被写体から反射した光線を２つに分光する偏光ビームスプリッターと、
    を備え、
    前記偏光ビームスプリッターは、２つに分光された光線の一方の偏光状態を変化させ、
    前記有反射像取得部は、２つに分光された光線のうち前記偏光ビームスプリッターによって偏光状態が変化されていない光線から前記有反射像を取得し、
    前記有反射像取得部は、２つに分光された光線のうち前記偏光ビームスプリッターによって偏光状態が変化された光線から前記無反射像を取得する、請求項１から３のいずれか一項に記載の内視鏡装置。
11. 前記被写体へ入射する光線の光軸と前記被写体から反射する光線の光軸が平行である、請求項１から１０のいずれか一項に記載の内視鏡装置。
12. 被写体から鏡面反射成分を含む有反射像を取得することと、
    前記被写体から前記鏡面反射成分を含まない無反射像を取得することと、
    前記有反射像の輝度に基づいて、前記有反射像の輝度が高いほど前記有反射像の利用率を下げて前記有反射像と前記無反射像を合成することと、
    を備える、内視鏡装置の作動方法。