JPWO2019244248A1 - 内視鏡装置、内視鏡装置の作動方法及びプログラム - Google Patents

Abstract

内視鏡装置１は、第１の光及び第２の光を照射する照明部３と、照明部３の照射に基づく被検体からの戻り光を撮像する撮像部１０と、撮像された画像を用いて画像処理を行う画像処理部１７を含む。第１の光は、生体粘膜の吸光度が最大値となる波長を含む第１の波長範囲にピーク波長を有する光である。第２の光は、筋層の吸光度が極大値となる波長を含む第２の波長範囲にピーク波長を有し、且つ、筋層の吸光度に比べて脂肪の吸光度が低い光である。

Description

本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。

内視鏡装置を用いた生体内の観察及び処置においては、画像処理によって特定の被写体を強調する手法が広く知られている。例えば特許文献１は、特定の波長帯域の光の照射によって撮像される画像信号に基づいて、特定の深さにある血管の情報を強調する手法を開示している。また特許文献２は、βカロテンの吸光特性を考慮した複数の波長帯域の照明光を照射することによって、脂肪層を強調する手法を開示している。

また内視鏡装置を用いて、経尿道的に膀胱腫瘍を切除する手技（経尿道的膀胱腫瘍切除術：ＴＵＲ−Ｂｔ）が広く知られている。

特開２０１６−６７７７５号公報 国際公開第２０１３／１１５３２３号

ＴＵＲ−Ｂｔでは、膀胱内に灌流液を満たした状態で腫瘍の切除が行われる。灌流液の影響によって、膀胱壁は薄く引き伸ばされた状態となる。この状態で手技が行われるため、ＴＵＲ−Ｂｔでは穿孔のリスクが伴う。膀胱壁は、内側から粘膜層、筋層、脂肪層の３層で構成されている。そのため、各層の識別が容易となる形態を用いて表示を行うことによって、穿孔を抑制することが可能と考えられる。

しかし特許文献１及び特許文献２は、血管の強調又は脂肪層単体の強調を行う手法を開示するのみであり、粘膜層、筋層及び脂肪層から構成される被写体の撮像において、各層の視認性を向上させる手法を開示していない。なお、ここではＴＵＲ−Ｂｔを例示したが、粘膜層、筋層及び脂肪層の３層が、識別容易な態様を用いて表示されないという課題は、膀胱を対象とした他の手技においても同様であるし、生体の他の部位に対する観察や手技においても同様である。

本発明の幾つかの態様によれば、粘膜層、筋層及び脂肪層の識別に好適な画像を提示する内視鏡装置、内視鏡装置の作動方法及びプログラム等を提供できる。

本発明の一態様は、第１の光及び第２の光を含む複数の照明光を照射する照明部と、前記照明部の照射に基づく被検体からの戻り光を撮像する撮像部と、前記撮像部によって撮像された前記第１の光及び前記第２の光に対応する第１の画像及び第２の画像を用いて画像処理を行う画像処理部と、を含み、前記照明部は、生体粘膜の吸光度が最大値となる波長を含む第１の波長範囲にピーク波長を有する光である前記第１の光を照射し、筋層の吸光度が極大値となる波長を含む第２の波長範囲にピーク波長を有し、且つ、前記筋層の吸光度に比べて脂肪の吸光度が低い光である前記第２の光を照射する内視鏡装置に関係する。

本発明の他の態様は、生体粘膜の吸光度が最大値となる波長を含む第１の波長範囲にピーク波長を有する光である第１の光、及び、筋層の吸光度が極大値となる波長を含む第２の波長範囲にピーク波長を有し、且つ、前記筋層の吸光度に比べて脂肪の吸光度が低い光である第２の光を含む複数の照明光を照射し、前記複数の照明光の照射に基づく被検体からの戻り光を撮像し、撮像された前記第１の光及び前記第２の光に対応する第１の画像及び第２の画像を用いて画像処理を行う内視鏡装置の作動方法に関係する。

本発明のさらに他の態様は、生体粘膜の吸光度が最大値となる波長を含む第１の波長範囲にピーク波長を有する光である第１の光、及び、筋層の吸光度が極大値となる波長を含む第２の波長範囲にピーク波長を有し、且つ、前記筋層の吸光度に比べて脂肪の吸光度が低い光である第２の光を含む複数の照明光を照明部に照射させ、前記照明部の照射に基づく被検体からの戻り光を撮像し、撮像された前記第１の光及び前記第２の光に対応する第１の画像及び第２の画像を用いて画像処理を行う、ステップをコンピュータに実行させるプログラムに関係する。

図１（Ａ）、図１（Ｂ）はＴＵＲ−Ｂｔの説明図。 内視鏡装置の構成例。 図３（Ａ）本実施形態の照明光の分光特性の例、図３（Ｂ）は粘膜層、筋層及び脂肪層の吸光度の説明図、図３（Ｃ）は白色光観察時の照明光の分光特性の例。 画像処理を説明するフローチャート。 構造強調処理の具体的な流れを説明する模式図。 構造強調処理を説明するフローチャート。 色強調処理を説明するフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。なお、以下ではＴＵＲ−Ｂｔを例にとって説明を行うが、本実施形態の手法は、粘膜層、筋層及び脂肪層を識別する必要がある他の場面にも適用可能である。即ち、本実施形態の手法は、ＴＵＲ−ＢＯ（経尿道的膀胱腫瘍一塊切除術）等の膀胱を対象とした他の手技に適用してもよいし、膀胱とは異なる部位を対象とした観察や手技に適用してもよい。

図１（Ａ）、図１（Ｂ）はＴＵＲ−Ｂｔの説明図である。図１（Ａ）は腫瘍が発生している状態の膀胱壁の一部を例示する模式図である。膀胱壁は内側から粘膜層、筋層、脂肪層の３層で構成される。腫瘍は、比較的初期の段階では粘膜層に留まるが、進行するにつれて筋層や脂肪層等の深い層に浸潤していく。図１（Ａ）では、筋層に浸潤していない腫瘍を例示している。

図１（Ｂ）は、ＴＵＲ−Ｂｔによって腫瘍が切除された後の膀胱壁の一部を例示する模式図である。ＴＵＲ−Ｂｔでは、少なくとも腫瘍周辺の粘膜層が切除される。例えば、粘膜層、及び筋層のうちの粘膜層に近い一部が切除対象となる。切除された組織は、病理診断の対象となり、腫瘍の性質、及びどの深さまで腫瘍が達しているかが調べられる。また、図１（Ａ）に例示したように腫瘍が筋層非浸潤性がんの場合、病態によってはＴＵＲ−Ｂｔを用いて腫瘍を完全に切除可能である。即ち、ＴＵＲ−Ｂｔは診断と治療を兼ねた手技である。

ＴＵＲ−Ｂｔにおいては、筋層に浸潤していない比較的早期の腫瘍を完全に切除することを考慮すれば、膀胱壁をある程度深い層まで切除することが重要である。例えば、腫瘍周辺の粘膜層を残さないために、筋層の途中まで切除対象とすることが望ましい。一方で、ＴＵＲ−Ｂｔにおいては、灌流液の影響によって膀胱壁が薄く引き伸ばされた状態となっている。そのため、過剰に深い層まで切除することによって、穿孔のリスクが増大してしまう。例えば、脂肪層は切除対象としないことが望ましい。

ＴＵＲ−Ｂｔにおいて、適切な切除を実現するためには、粘膜層と筋層と脂肪層の識別が重要となる。特許文献１は、血管の視認性を向上させる手法であり、粘膜層、筋層、脂肪層の各層に対応する領域を強調する手法ではない。また特許文献２は、脂肪層を強調表示する手法を開示するものの、粘膜層及び筋層を含む３層を互いに識別するものではない。

本実施形態に係る内視鏡装置１は、図２に例示するように、照明部３と、撮像部１０と、画像処理部１７を含む。照明部３は、第１の光及び第２の光を含む複数の照明光を照射する。撮像部１０は、照明部３の照射に基づく被検体からの戻り光を撮像する。画像処理部１７は、撮像部１０によって撮像された第１の光及び第２の光に対応する第１の画像及び第２の画像を用いて画像処理を行う。

ここで、第１の光及び第２の光は、以下の特性を満たす光である。第１の光は、生体粘膜の吸光度が最大値となる波長を含む第１の波長範囲にピーク波長を有する光である。第２の光は、筋層の吸光度が極大値となる波長を含む第２の波長範囲にピーク波長を有し、且つ、筋層の吸光度に比べて脂肪の吸光度が低い光である。ここで第１の光のピーク波長とは、第１の光の強度が最大となる波長を表す。他の光のピーク波長についても同様であり、当該光の強度が最大となる波長がピーク波長である。

粘膜層（生体粘膜）及び筋層は、いずれもミオグロビンを多く含む被写体である。ただし、含まれるミオグロビンの濃度は、粘膜層が相対的に高く筋層が相対的に低い。この濃度の差に起因して、粘膜層と筋層の吸光特性に差異が生じる。そして、吸光度の差は生体粘膜の吸光度が最大値となる波長の近傍において最大となる。即ち、第１の光とは、他の波長帯域にピーク波長を有する光に比べて、粘膜層と筋層の差が大きく現れる光となる。具体的には、第１の光の照射によって撮像される第１の画像は、他の光の照射によって撮像される画像に比べて、粘膜層が撮像される領域の画素値と、筋層が撮像される領域の画素値の差が大きくなる。

また第２の光は、筋層の吸光度に比べて脂肪の吸光度が低いため、第２の光の照射によって撮像される第２の画像において、筋層が撮像される領域の画素値が、脂肪層が撮像される領域の画素値に比べて小さくなる。特に、第２の光は筋層の吸光度が極大値となる波長に対応する光であるため、筋層と脂肪層の差異、即ち第２の画像における筋層領域の画素値と脂肪層領域の画素値の差が、識別可能な程度に大きくなる。

以上のように、本実施形態の手法によれば、第１の光を用いることによって粘膜層と筋層を識別でき、且つ、第２の光を用いることによって筋層と脂肪層を識別できる。このようにすれば、粘膜層、筋層及び脂肪層の３層を含む構造の被写体を撮像する際に、各層の識別が容易な態様を用いた表示が可能になる。本実施形態の手法をＴＵＲ−Ｂｔに適用する場合、穿孔のリスクを低減しつつ、適切な深さまで切除を行うことが可能になる。なお膀胱壁では、内側から粘膜層、筋層、脂肪層の順に３層が重なって構成される。そのため、中間に位置する筋層を基準として、筋層と粘膜層の識別、及び筋層と脂肪層の識別を行うことで３層の識別が可能である。

２．システム構成例
図２は、内視鏡装置１のシステム構成例を示す図である。内視鏡装置１は、挿入部２と、本体部５と、表示部６を含む。本体部５は、挿入部２に接続される照明部３と、処理部４を含む。

挿入部２は、生体内へ挿入される部分である。挿入部２は、照明部３から入力された光を被写体に向けて照射する照明光学系７と、被写体からの反射光を撮像する撮像部１０を含む。撮像部１０とは、具体的には撮像光学系である。

照明光学系７は、照明部３から入射された光を挿入部２の先端まで導光するライトガイドケーブル８と、光を拡散させて被写体に照射する照明レンズ９を含む。撮像部１０は、照明光学系７によって照射された光のうち、被写体の反射光を集光する対物レンズ１１と、対物レンズ１１によって集光された光を撮像する撮像素子１２を含む。撮像素子１２は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary MOS）センサ等の種々のセンサによって実現できる。撮像素子１２から順次出力されるアナログ信号は、不図示のＡ／Ｄ変換部によってデジタルの画像に変換される。なおＡ／Ｄ変換部は、撮像素子１２に含まれてもよいし、処理部４に含まれてもよい。

照明部３は、異なる波長帯域の光を射出する複数の発光ダイオード（ＬＥＤ：light emitting diode）１３ａ〜１３ｄと、ミラー１４と、ダイクロイックミラー１５を含む。複数の発光ダイオード１３ａ〜１３ｄのそれぞれから照射される光は、ミラー１４及びダイクロイックミラー１５によって同一のライトガイドケーブル８に入射する。なお、図２では発光ダイオードが４個の例を示したが、発光ダイオードの数はこれに限定されない。例えば、照明部３は第１の光と第２の光のみを照射する構成であってもよく、その場合の発光ダイオードは２個である。また発光ダイオードは３個であってもよいし、５個以上であってもよい。照明光の詳細については後述する。

また照明光の光源として、発光ダイオードに変えてレーザーダイオードを用いることも可能である。特に、後述するＢ２及びＧ２等の狭帯域光を照射する光源を、レーザーダイオードに置き換えてもよい。また、照明部３は、キセノンランプ等の白色光を照射する白色光源と、各照明光に対応する波長帯域を透過する色フィルタを有するフィルタターレットとを用いて、異なる波長帯域の光を順次照射してもよい。この場合、キセノンランプは、蛍光体と、当該蛍光体を励起するレーザーダイオードとの組み合わせに置き換えてもよい。

処理部４は、メモリ１６と、画像処理部１７と、制御部１８を含む。メモリ１６は、撮像素子１２によって取得された画像信号を、照明光の波長ごとに記憶する。メモリ１６は、例えばＳＲＡＭ又はＤＲＡＭ等の半導体メモリであるが、磁気記憶装置や光学記憶装置を用いてもよい。

画像処理部１７は、メモリ１６に記憶された画像信号に対する画像処理を行う。ここでの画像処理は、メモリ１６に記憶された複数の画像信号に基づく強調処理と、複数の出力チャンネルの各チャンネルに画像信号を割り当てることによって表示画像を合成する処理と、を含む。複数の出力チャンネルとは、Ｒチャンネル、Ｇチャンネル、Ｂチャンネルの３チャンネルであるが、Ｙチャンネル、Ｃｒチャンネル、Ｃｂチャンネルの３チャンネルを用いてもよいし、他の構成のチャンネルを用いてもよい。

画像処理部１７は、構造強調処理部１７ａと、色強調処理部１７ｂを含む。構造強調処理部１７ａは、画像中の構造情報（構造成分）を強調する処理を行う。色強調処理部１７ｂは、色情報の強調処理を行う。また画像処理部１７は、複数の出力チャンネルの各チャンネルに画像データを割り当てることによって、表示画像を生成する。表示画像とは、処理部４の出力画像であり、表示部６において表示される画像である。また画像処理部１７は、撮像素子１２から取得した画像に対して、他の画像処理を行ってもよい。例えば、ホワイトバランス処理や、ノイズ低減処理等の公知の処理を、強調処理の前処理或いは後処理として実行してもよい。

制御部１８は、撮像素子１２による撮像タイミングと、発光ダイオード１３ａ〜１３ｄの点灯タイミングと、画像処理部１７の画像処理タイミングと、を同期させる制御を行う。制御部１８は、例えば制御回路又はコントローラである。

表示部６は、画像処理部１７から出力される表示画像を順次表示する。即ち、表示画像をフレーム画像とする動画を表示する。表示部６は、例えば液晶ディスプレイやＥＬ（Electro-Luminescence）ディスプレイ等である。

外部Ｉ／Ｆ部１９は、ユーザが内視鏡装置１に対して入力等を行うためのインターフェースである。即ち、内視鏡装置１を操作するためのインターフェース、或いは内視鏡装置１の動作設定を行うためのインターフェース等である。例えば、外部Ｉ／Ｆ部１９は、観察モードを切り替えるためのモード切り替えボタン、画像処理のパラメータを調整するための調整ボタン等を含む。

なお、本実施形態の内視鏡装置１は以下のように構成されてもよい。即ち、内視鏡装置１（狭義には処理部４）は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムや各種のデータである。プロセッサは、強調処理を含む画像処理、及び照明部３の照射制御を行う。

プロセッサは、例えば各部の機能が個別のハードウェアを用いて実現されてもよいし、或いは各部の機能が一体のハードウェアを用いて実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子を用いて構成することができる。回路装置は例えばＩＣ等である。回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部４の各部の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

また、本実施形態の処理部４の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、画像処理部１７は画像処理モジュールとして実現される。制御部１８は、照明光の発光タイミングと撮像素子１２の撮像タイミングの同期制御等を行う制御モジュールとして実現される。

また、本実施形態の処理部４の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリーカード、ＨＤＤ、或いは半導体メモリなどを用いて実現できる。半導体メモリは例えばＲＯＭである。ここでの情報記憶装置は、図２のメモリ１６であってもよいし、メモリ１６と異なる情報記憶装置であってもよい。処理部４は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、処理部４の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。プログラムは、処理部４の各部の処理をコンピュータに実行させるためのプログラムである。

換言すれば、本実施形態の手法は、第１の光及び第２の光を含む複数の照明光を照明部３に照射させ、照明部３の照射に基づく被検体からの戻り光を撮像し、撮像された第１の光及び第２の光に対応する第１の画像及び第２の画像を用いて画像処理を行う、ステップをコンピュータに実行させるプログラムに適用できる。プログラムが実行するステップとは、図４、図６、図７のフローチャートに示す各ステップである。第１の光及び第２の光は、上述した通り、以下の特性を有する。即ち、第１の光は、生体粘膜の吸光度が最大値となる波長を含む第１の波長範囲にピーク波長を有する光であり、第２の光は、筋層の吸光度が極大値となる波長を含む第２の波長範囲にピーク波長を有し、且つ、筋層の吸光度に比べて脂肪の吸光度が低い光である。

３．照明部の詳細
図３（Ａ）は、複数の発光ダイオード１３ａ〜１３ｄから照射される複数の照明光の特性を表す図である。図３（Ａ）の横軸は波長を表し、縦軸が照射光の強度を表す。本実施形態の照明部３は、青色の波長帯域の光Ｂ２、Ｂ３、緑色の波長帯域の光Ｇ２、及び赤色の波長帯域の光Ｒ１を射出する４つの発光ダイオードを含む。

例えば、Ｂ２は４１５ｎｍ±２０ｎｍにピーク波長を有する光である。Ｂ２は、狭義には４００〜４３０ｎｍ程度の波長帯域において所定閾値以上の強度を有する光である。Ｂ３はＢ２に比べてピーク波長が長い光であり、例えば４３０ｎｍ〜５００ｎｍ程度の波長帯域において所定閾値以上の強度を有する光である。Ｇ２は、５４０ｎｍ±１０ｎｍにピーク波長を有する光である。Ｇ２は、狭義には５２０〜５６０ｎｍ程度の波長帯域において所定閾値以上の強度を有する光である。Ｒ１は６００ｎｍ〜７００ｎｍ程度の波長帯域において所定閾値以上の強度を有する光である。

図３（Ｂ）は、粘膜層、筋層及び脂肪層の吸光特性を示す図である。図３（Ｂ）の横軸は波長を表し、縦軸は吸光度の対数を表す。粘膜層（生体粘膜）及び筋層は、いずれもミオグロビンを多く含む被写体である。ただし、含まれるミオグロビンの濃度は、粘膜層が相対的に高く筋層が相対的に低い。この濃度の差に起因して、粘膜層と筋層の吸光特性に差異が生じる。そして、図３（Ｂ）に示すように、吸光度の差は生体粘膜の吸光度が最大となる４１５ｎｍの近傍において最大となる。また、筋層の吸光度は複数の極大値を有する。極大値に対応する波長は、４１５ｎｍ、５４０ｎｍ、５８０の近傍の波長である。

また、脂肪層はβカロテンを多く含む被写体である。βカロテンは、５００ｎｍ〜５３０ｎｍの波長帯域で吸光度が大きく低下し、５３０ｎｍよりも波長が長い帯域において平坦な吸光特性を有している。図３（Ｂ）に示すように、脂肪層はβカロテンに起因する吸光特性を有する。

図３（Ａ）、図３（Ｂ）からわかるとおり、Ｂ２は、生体粘膜の吸光度が最大値となる波長に対応するピーク波長を有する光であり、Ｇ２は、筋層の吸光度が極大値となり、且つ、筋層の吸光度に比べて脂肪の吸光度が低い光である。つまり本実施形態における第１の光はＢ２に対応し、第２の光はＧ２に対応する。第１の光のピーク波長を含む第１の波長範囲は、４１５ｎｍ±２０ｎｍの範囲である。第２の光のピーク波長を含む第２の波長範囲は、５４０ｎｍ±１０ｎｍの範囲である。

Ｂ２及びＧ２を図３（Ａ）に示した波長に設定した場合、Ｂ２の波長帯域での粘膜層の吸光度と筋層の吸光度の差が、２つの被写体を識別可能な程度に大きくなる。具体的には、Ｂ２の照射により取得されるＢ２画像のうち、粘膜層を撮像した領域は、筋層を撮像した領域に比べて画素値が小さく、暗くなる。即ち、Ｂ２画像を表示画像の生成に用いることによって、当該表示画像の表示態様を、粘膜層と筋層を識別が容易な態様とすることが可能になる。例えばＢ２画像を出力のＢチャンネルに割り当てた場合、粘膜層は青色の寄与度が低い色味で表示され、筋層は青色の寄与度が高い色味で表示される。

また、Ｇ２の波長帯域での筋層の吸光度と脂肪層の吸光度の差が、２つの被写体を識別可能な程度に大きくなる。具体的には、Ｇ２の照射により取得されるＧ２画像のうち、筋層を撮像した領域は、脂肪層を撮像した領域に比べて画素値が小さく、暗くなる。即ち、Ｇ２画像を表示画像の生成に用いることによって、当該表示画像の表示態様を、筋層と脂肪層を識別が容易な態様とすることが可能になる。例えばＧ２画像を出力のＧチャンネルに割り当てた場合、筋層は緑色の寄与度が低い色味で表示され、脂肪層は緑色の寄与度が高い色味で表示される。

なお図３（Ｃ）は、広く用いられている白色光画像を表示する場合に用いられる３つの照明光Ｂ１、Ｇ１、Ｒ１の特性を表す図である。図３（Ｃ）の横軸は波長を表し、縦軸が照射光の強度を表す。Ｂ１は青色の波長帯域に対応する光であり、例えば４００ｎｍ〜５００ｎｍの波長帯域の光である。Ｇ１は緑色の波長帯域に対応する光であり、例えば５００ｎｍ〜６００ｎｍの波長帯域の光である。Ｒ１は赤色の波長帯域に対応する光であり、例えば図３（Ａ）と同様に６００ｎｍ〜７００ｎｍの波長帯域の光である。

図３（Ｂ）、図３（Ｃ）からわかるとおり、脂肪層はＢ１の吸収が大きく、Ｇ１及びＲ１の光の吸収が小さいため、黄色調で表示される。粘膜層はＢ１及びＧ１の吸収が大きく、Ｒ１の吸収が小さいため、赤色調で表示される。筋層は、粘膜層に比べて吸光特性がフラットに近く白色調で表示される。吸光特性がフラットとは、波長変化に対する吸光度の変化が小さいことを表す。このように白色光観察モードにおいても、粘膜層、筋層及び脂肪層はある程度異なる色味で表示される。

本実施形態に係る第１の光及び第２の光は、白色光観察モードに比べて、粘膜層、筋層及び脂肪層の色分離を向上させるものである。そのためＢ２は、青色に対応する波長帯域のうち、粘膜層と筋層の吸光特性の差異が大きい波長帯域の寄与度が高く、粘膜層と筋層の吸光特性の差異が小さい波長帯域の寄与度が低い光であることが望ましい。具体的には、Ｂ２の波長帯域は、粘膜層と筋層の吸光特性の差異が大きい４１５ｎｍ近傍の波長帯域を含み、且つ、粘膜層と筋層の吸光特性の差異が低い４５０〜５００ｎｍの波長帯域を含まない。換言すれば、Ｂ２は白色光観察モードで用いられる光（Ｂ１）に比べて、波長帯域が狭い狭帯域光である。例えばＢ２の半値幅は数ｎｍ〜数１０ｎｍである。このようにすれば、画像処理部１７は、図３（Ｃ）に示した照明光を用いる白色光観察モードに比べて、粘膜層と筋層の色味の差が強調された表示画像を生成することが可能になる。

同様にＧ２は、緑色に対応する波長帯域のうち、筋層と脂肪層の吸光特性の差異が大きい一部の波長帯域の光である。換言すれば、Ｇ２は白色光観察モードで用いられる光（Ｇ１）に比べて、波長帯域が狭い狭帯域光である。例えばＧ２の半値幅は数ｎｍ〜数１０ｎｍである。このようにすれば、画像処理部１７は、図３（Ｃ）に示した照明光を用いる白色光観察モードに比べて、筋層と脂肪層の色味の差が強調された表示画像を生成することが可能になる。

粘膜層、筋層及び脂肪層の３層を識別が容易な態様を用いて表示するという観点からすれば、照明部３は第１の光Ｂ２と第２の光Ｇ２を照射すれば足りる。即ち、本実施形態の照明部３は、例えば第１の光Ｂ２と第２の光Ｇ２を照射し、且つ、他の光を照射しない構成によって実現できる。

ただし照明部３の構成はこれに限定されず、第１の光と第２の光のいずれとも異なる光を照射してもよい。例えば照明部３は、生体粘膜の吸光度が第１の光に比べて低く、且つ、筋層の吸光度が第２の光に比べて低い波長帯域である第３の光を照射する。図３（Ａ）、図３（Ｂ）からわかるとおり、第３の光は例えばＲ１に対応する。

上述したとおり、Ｂ２画像においては、粘膜層を撮像した領域は、筋層を撮像した領域に比べて画素値が小さくなると考えられる。ただし、挿入部２と被写体の位置関係に応じて、画像上での被写体の明るさは異なる。例えば、挿入部２との距離が相対的に近い被写体は、相対的に遠い被写体に比べて明るく撮像される。また、被写体に凹凸がある場合、照明光や被写体からの反射光が凸部に遮られることによって、当該凸部の周辺領域が他の領域に比べて暗く撮像される場合もある。ＴＵＲ−Ｂｔにおいては、凸部とは例えば腫瘍である。

このように照明光の届きやすさや反射光の受光のしやすさに応じて画像上での被写体の明るさ、即ち画素値が変化してしまう。粘膜層を撮像しているのに画素値が大きくなる領域、又は、筋層を撮像しているのに画素値が小さくなる領域が生じることによって、Ｂ２画像を用いた粘膜層と筋層の色分離性が低下するおそれがある。その点、Ｒ１は粘膜層の吸光度が低い。Ｒ１によって撮像されるＲ１画像は、Ｂ２画像に比べて、粘膜層と筋層の吸光特性の違いに起因する画素値の差が生じにくい。よって第１の光と第３の光の両方を用いることによって、粘膜層と筋層の色分離性を向上させることが可能になる。具体的な画像処理の例については後述する。

同様に、第３の光Ｒ１は、筋層の吸光度が第２の光に比べて低い。そのため、Ｒ１画像は、Ｇ２画像に比べて、筋層と脂肪層の吸光特性の違いに起因する画素値の差が生じにくい。よって第２の光と第３の光の両方を用いることによって、筋層と脂肪層の色分離性を向上させることが可能になる。この場合の具体的な画像処理の例についても後述する。

なお、第３の光としてＲ１を用いることによって、表示画像の演色性を向上させることも可能である。第１の光と第２の光のみを用いて表示画像を生成する場合、当該表示画像は疑似カラー画像となる。その点、第３の光としてＲ１を追加した場合、青色の波長帯域の光（Ｂ２）と緑色の波長帯域の光（Ｇ２）と赤色の波長帯域の光（Ｒ１）を照射することが可能になる。Ｂ２画像を出力のＢチャンネルに割り当て、Ｇ２画像を出力のＧチャンネルに割り当て、Ｒ１画像を出力のＲチャンネルに割り当てることによって、表示画像の色味を白色光画像の自然な色味に近づけることが可能になる。

また照明部３は、第１〜第３の光のいずれとも異なる第４の光を照射することも妨げられない。第４の光は、例えば図３（Ａ）に示したＢ３である。第１の光Ｂ２は、狭義には狭帯域光であるため、Ｂ２画像は白色光観察モードで撮像されるＢ１画像に比べて暗い画像になりやすい。そのため、Ｂ２画像を表示画像の生成に用いることによって、被写体の視認性が低くなるおそれがある。また、Ｂ２画像の画素値を増加させる補正処理を行った場合、当該補正処理によってノイズが増大するおそれもある。

その点、照明部３が第４の光としてＢ３を照射することによって、青色の波長帯域に対応する画像の明るさを適切に向上させることが可能になる。例えば、照明部３はＢ２とＢ３を同時に照射し、撮像部１０は２つの光の照射による反射光を受光する。或いは、照明部３はＢ２とＢ３を異なるタイミングで照射し、画像処理部１７は、Ｂ３の照射によって撮像されるＢ３画像と、Ｂ２画像を合成した後に、合成後の画像を出力のＢチャンネルに割り当てる。このようにすれば、画像処理部１７は、明るく被写体の視認性が高い表示画像を生成することが可能になる。

ただし、照明部３がＢ３を照射する場合、Ｂ２の強度とＢ３の強度の関係は慎重に設定される必要がある。なぜなら、Ｂ３は青色の波長帯域の光の強度を強くするという観点から照射される光であり、粘膜層と筋層の識別を考慮していないためである。即ち、Ｂ３の強度が過剰に強い場合、Ｂ２単体を照射する場合に比べて粘膜層と筋層の識別が困難になってしまう。例えば、Ｂ２とＢ３の強度が同程度の場合、Ｂ１を用いた通常の白色光観察モードと同程度の色分離性となってしまい、Ｂ２の光を用いる利点が損なわれるおそれがある。

よって、Ｂ２の強度は、Ｂ３の強度に比べて高く設定される。望ましくは、青色の波長帯域においてＢ２の寄与度が支配的となる程度に、Ｂ２の強度がＢ３の強度に比べて高く設定される。照明光の強度は、例えば発光ダイオードに供給される電流量を用いて制御される。このように強度を設定することによって、粘膜層と筋層を識別が容易な態様を用いて表示すること、及び、明るい表示画像を生成することが可能になる。

なお、以上ではＢ２を第１の光とし、Ｂ３を第１の光と異なる第４の光であるものとして説明した。ただし照明部３は、Ｂ２とＢ３を合わせた特性を有する１つの光を、本実施形態に係る第１の光として照射してもよい。例えば照明部３は、Ｂ２に対応する発光ダイオードとＢ３を照射する発光ダイオードを同時に点灯させることによって、Ｂ２とＢ３を合わせた特性の第１の光を照射する。或いは照明部３は、白色光源等の少なくとも青色の波長帯域を含む光を照射する光源と、フィルタの組み合わせにより、Ｂ２とＢ３を合わせた特性を有する第１の光を照射する。

この場合の第１の光は、４１５ｎｍ±２０ｎｍに透過率のピークとなる波長を有し、４１５ｎｍの近傍の波長での透過率が、４３０ｎｍよりも長い波長帯域での透過率に比べて区別可能な程度に高い特性を有する。このようにすれば、Ｂ１と同程度に波長帯域の広い青色の照明光を照射すること、及び、当該照明光において４１５ｎｍ近傍の波長帯域の影響を支配的にすることが可能になる。即ち、明るさと色分離性を両立した光を、第１の光として照射することが可能になる。

以上で説明したとおり、本実施形態に係る第１の光は、白色光観察モードで用いられる光に比べて波長帯域の狭い狭帯域光（Ｂ２）であってもよいし、ブロードな照明光であってもよい。

また、ここでは青色の波長帯域の光について説明したが、緑色の波長帯域ついても同様である。即ち照明部３は、第２の光であるＧ２に加えて、Ｇ２に比べて強度が低く、且つ緑色の波長帯域に対応する光であるＧ３（不図示）を照射してもよい。このようにすれば、筋層と脂肪層を識別が容易な態様を用いて表示すること、及び、明るい表示画像を生成することが可能になる。

また第２の光も狭帯域光に限定されず、照明部３は、Ｇ２とＧ３を合わせた特性を有する１つの光を、本実施形態に係る第２の光として照射してもよい。

また図３（Ｂ）を用いて上述した通り、筋層の吸光度は５８０ｎｍにも極大値を有し、５８０ｎｍでの筋層の吸光度に比べて脂肪層の吸光度が十分小さい。即ち、本実施形態に係る第２の光は、５４０ｎｍ±１０ｎｍにピーク波長を有する光に限定されず、５８０ｎｍ±１０ｎｍにピーク波長を有する光であってもよい。

また、図３（Ａ）ではＢ２，Ｂ３，Ｇ２，Ｒ１の４つの照明光を例示したが、照明部３は、他の照明光を照射してもよい。例えば上記のＧ３を追加してもよいし、不図示の赤色の狭帯域光を追加してもよい。

また、本実施形態に係る内視鏡装置１は、白色光観察モードと特殊光観察モードとを切り替え可能であってもよい。白色光観察モードにおいて、照明部３は図３（Ｃ）に示したＢ１，Ｇ１，Ｒ１を照射する。特殊光観察モードにおいて、照明部３は第１の光と第２の光を含む照明光を照射する。例えば、特殊光観察モードにおいて、照明部３は図３（Ａ）に示したＢ２，Ｂ３，Ｇ２，Ｒ１を照射する。なお観察モードの切り替えは、例えば外部Ｉ／Ｆ部１９を用いて行われる。

４．画像処理の詳細
次に画像処理部１７で行われる画像処理について説明する。

４．１ 全体処理
図４は本実施形態の画像処理部１７の処理を説明するフローチャートである。この処理が開始されると、画像処理部１７は、撮像素子１２により撮像された画像を取得する処理を行う（Ｓ１０１）。Ｓ１０１の処理は、撮像素子１２に含まれるＡ／Ｄ変換部によってＡ／Ｄ変換が行われたデジタルデータを取得する処理であってもよいし、撮像素子１２から出力されるアナログ信号を画像処理部１７がデジタルデータに変換する処理であってもよい。

画像処理部１７は、取得した画像に基づいて構造強調処理（Ｓ１０２）と、色強調処理（Ｓ１０３）を行う。さらに画像処理部１７は、強調処理後の画像を含むデータが、複数の出力チャンネルの各チャンネルに割り当てられた表示画像を出力する（Ｓ１０４）。図２の例においては、表示画像は表示部６に出力され、表示部６において表示される。

なお、図４では構造強調の後に色強調を行っているが、これに限定されない。即ち、色強調の後に構造強調を行ってもよいし、或いは色強調と構造強調を並列に行ってもよい。また画像処理部１７は、Ｓ１０２及びＳ１０３に示した強調処理の一部又は全部を省略してもよい。

照明部３が第１の光（Ｂ２）と第２の光（Ｇ２）を照射する場合、画像処理部１７は、Ｓ１０１においてＢ２画像とＧ２画像を取得する処理を行い、Ｂ２画像及びＧ２画像をＲＧＢの各チャンネルに割り当てる処理を行う。例えば、画像処理部１７は、出力のＢチャンネル及びＧチャンネルにＢ２画像を割り当て、出力のＲチャンネルにＧ２画像を割り当てることによって表示画像を生成する。この場合、表示画像は疑似カラー画像となり、強調処理を行わない場合、粘膜層は褐色調に表示され、筋層は白色調で表示され、脂肪層は赤色調で表示される。ただし、Ｂ２画像及びＧ２画像と、３つの出力チャンネルとの対応関係は上記に限定されず、種々の変形実施が可能である。

照明部３が第１の光（Ｂ２）、第２の光（Ｇ２）及び第３の光（Ｒ１）を照射する場合、画像処理部１７は、Ｂ２画像、Ｇ２画像及びＲ１画像を取得する処理を行い、出力のＢチャンネルにＢ２画像を割り当て、出力のＧチャンネルにＧ２画像を割り当て、出力のＲチャンネルにＲ１画像を割り当てることによって表示画像を生成する。この場合、表示画像は白色光画像に近い画像となり、強調処理を行わない場合、粘膜層は赤色調に表示され、筋層は白色調で表示され、脂肪層は黄色調で表示される。

なお、撮像素子１２がカラーフィルタを備える素子である場合、照明部３は複数の光を同時に照射し、撮像素子１２は複数の画像を同時に撮像する。ここでのカラーフィルタとは、広く知られたベイヤ配列のフィルタであってもよいし、ＲＧＢの各フィルタが他の配列に従って配置されたフィルタであってもよいし、補色型のフィルタであってもよい。照明部３がＢ２，Ｇ２，Ｒ１の３つの光を照射する場合、撮像素子１２は、Ｂフィルタに対応する画素に基づいてＢ２画像を撮像し、Ｇフィルタに対応する画素に基づいてＧ２画像を撮像し、Ｒフィルタに対応する画素に基づいてＲ１画像を撮像する。

画像処理部１７は、撮像素子１２の出力に対して補間処理を行うことによって、全画素について信号値を有するＢ２画像、Ｇ２画像、Ｒ１画像を取得する。この場合、１タイミングで全画像が揃う。そのため、画像処理部１７は、Ｂ２画像、Ｇ２画像、Ｒ１画像のうちの任意の画像を強調処理の対象として選択可能である。また３つの出力チャンネルの信号値の全てが同じフレームにおいて更新される。

撮像素子１２が多板のモノクロ素子である場合にも、１フレームにおいて複数の画像を取得すること、複数の画像に対する強調処理を行うこと、及び、複数の出力チャンネルの信号値を更新することが可能である。

一方、撮像素子１２が単板のモノクロ素子である場合、１フレーム当たり１つの照明光が照射され、当該照明光に対応する１つの画像が取得されることが想定される。照明部３がＢ２，Ｇ２，Ｒ１の３つの光を照射する場合、１周期が３フレームであり、当該１周期において、Ｂ２画像、Ｇ２画像、Ｒ１画像が順次取得される。なお照明光の照射順序は種々の変形実施が可能である。

画像処理部１７は、Ｓ１０１において、３フレームかけてＢ２画像、Ｇ２画像、Ｒ１画像を全て取得した後に、Ｓ１０２以降の処理に移行してもよい。この場合、表示画像の出力レートは撮像レートの１／３となる。或いは画像処理部１７は、Ｂ２画像、Ｇ２画像、Ｒ１画像のいずれか１つの画像を取得した場合に、Ｓ１０２以降の処理に移行してもよい。例えば画像処理部１７は、取得した画像を対象として、構造強調処理及び色強調処理のうちの必要な処理を行い、処理後の画像を出力のいずれかのチャンネルに割り当てることによって表示画像を更新する。この場合、表示画像の出力レートと撮像レートは等しい。

４．２ 構造強調処理
次にＳ１０２において行われる構造強調処理について説明する。画像処理部１７（構造強調処理部１７ａ）は、第１の画像の構造成分を強調する処理、及び、第２の画像の構造成分を強調する処理の少なくとも一方の処理を行う。第１の画像の構造成分とは、第１の画像に撮像された被写体の構造を表す情報である。構造成分は、例えば特定の空間周波数成分である。

構造強調処理部１７ａは、第１の画像に対してフィルタ処理を行うことによって、第１の画像の構造成分を抽出する。ここで適用されるフィルタは、抽出対象の構造に対応する空間周波数を通過域とするバンドパスフィルタであってもよいし、他のエッジ抽出フィルタであってもよい。また、構造成分を抽出する処理はフィルタ処理に限定されず、他の画像処理であってもよい。そして構造強調処理部１７ａは、抽出した第１の画像の構造成分を、元の第１の画像に対して合成することによって、第１の画像の構造成分を強調する処理を行う。ここでの合成は、構造成分の単純な加算処理であってもよいし、構造成分に基づいて強調パラメータを決定し、当該強調パラメータを加算する処理であってもよい。また、構造強調処理部１７ａは、互いに通過帯域の異なる複数のバンドパスフィルタを用いて、複数の周波数帯域成分を抽出してもよい。その場合、構造強調処理部１７ａは、各周波数帯域成分の重み付け加算処理を行うことによって、第１の画像の構造成分を強調する。第２の画像の構造成分を強調する処理についても同様である。

このように構造成分を強調することによって、構造に対応する部分の画素値が変動するため、粘膜層と筋層の色味の違い、又は、筋層と脂肪層の色味の違いが顕著になる。

また照明部３は、生体粘膜の吸光度が第１の光に比べて低く、且つ、筋層の吸光度が第２の光に比べて低い第３の光を照射してもよい。上述した通り、第３の光は例えばＲ１である。この場合、構造強調処理部１７ａは、第３の光の照射によって撮像された第３の画像に基づいて第１の画像を補正し、補正後の第１の画像の構造成分を強調する処理を行う。或いは構造強調処理部１７ａは、第３の画像に基づいて第２の画像を補正し、補正後の第２の画像の構造成分を強調する処理を行う。或いは構造強調処理部１７ａは、この２つの処理の両方の処理を行う。

このようにすれば、被写体と挿入部２の位置関係等に起因する明るさムラの影響を抑制し、粘膜層と筋層の色分離性の向上、及び筋層と脂肪層の色分離性の向上が可能になる。ここで、第３の画像に基づく第１の画像の補正とは、第３の画像を用いた第１の画像の正規化処理であり、第３の画像に基づく第２の画像の補正とは、第３の画像を用いた第２の画像の正規化処理である。例えば構造強調処理部１７ａは、下式（１）、（２）を用いて第３の画像に基づく補正処理を行う。
Ｂ２’（ｘ，ｙ）＝ｋ１×Ｂ２（ｘ，ｙ）／Ｒ１（ｘ，ｙ） …（１）
Ｇ２’（ｘ，ｙ）＝ｋ２×Ｇ２（ｘ，ｙ）／Ｒ１（ｘ，ｙ） …（２）

ここで（ｘ，ｙ）は画像中の位置を表す。Ｂ２（ｘ，ｙ）とは正規化処理前のＢ２画像の（ｘ，ｙ）における画素値である。同様に、Ｇ２（ｘ，ｙ）とは正規化処理前のＧ２画像の（ｘ，ｙ）における画素値である。Ｒ１（ｘ，ｙ）とはＲ１画像の（ｘ，ｙ）における画素値である。また、Ｂ２’（ｘ，ｙ），Ｇ２’（ｘ，ｙ）は、それぞれ正規化処理後のＢ２画像及びＧ２画像の（ｘ，ｙ）における画素値を表す。ｋ１及びｋ２は、所与の定数である。また、Ｒ１（ｘ，ｙ）＝０である場合、Ｂ２’（ｘ，ｙ）及びＧ２’（ｘ，ｙ）は０とする。

なお、Ｒ１画像を正規化処理に用いる場合、Ｒ１画像の画素値（輝度値）は撮像距離の変化に伴う適正な輝度分布を有することが望ましい。よって、上式（１）及び（２）による正規化処理は、Ｒ１画像そのものではなく、補正処理後のＲ１画像を用いて行われてもよい。例えば過去に取得された撮像画像を用いて動き成分を検出することによって、正反射光を受光することによる影響を抑制する手法が知られており、本実施形態の構造強調処理部１７ａは、当該手法を用いてＲ１画像を補正してもよい。或いは構造強調処理部１７ａは、Ｒ１画像に対してローパスフィルタ処理等のノイズ低減処理を行い、当該ノイズ低減処理後のＲ１画像を用いて正規化処理が行われてもよい。

なお、上式（１）、（２）においては画素単位で正規化処理を行う例を示したが、複数の画素から構成される領域を単位として正規化処理が行われてもよい。

図５は、以上で説明した構造強調処理の流れを図示した模式図である。図５に示したとおり、Ｂ２画像とＲ１画像に基づいて正規化処理後のＢ２画像が取得され、Ｇ２画像とＲ１画像に基づいて正規化処理後のＧ２画像が取得される。正規化処理後のＢ２画像に対してフィルタ処理を行うことによって、Ｂ２画像の構造成分が抽出される。正規化処理後のＧ２画像に対してフィルタ処理を行うことによって、Ｇ２画像の構造成分が抽出される。そして、Ｂ２画像の構造成分を元画像である正規化処理後のＢ２画像と合成する処理によって、構造成分が強調されたＢ２画像が取得される。同様に、Ｇ２画像の構造成分を元画像である正規化処理後のＧ２画像と合成する処理によって、構造成分が強調されたＧ２画像が取得される。

そして構造成分が強調されたＢ２画像が出力のＢチャンネルに割り当てられ、構造成分が強調されたＧ２画像が出力のＧチャンネルに割り当てられ、Ｒ１画像が出力のＲチャンネルに割り当てられることによって、表示画像が生成される。このようにすれば、構造成分が強調された画像が、出力のいずれかのチャンネルに割り当てられるため、表示画像において粘膜層、筋層、脂肪層の色分離性を向上させることが可能になる。

ただし、内視鏡装置１において、被写体の構造や動きを人が認識しやすいのは輝度成分である。輝度成分とは、表示画像を構成する複数の出力チャンネルのうち、表示画像の輝度への影響が、他のチャンネルに比べて大きいチャンネルを表す。輝度への影響が大きいチャンネルとは、具体的にはＧチャンネルである。Ｒ信号値、Ｇ信号値、Ｂ信号値をそれぞれＲ、Ｇ、Ｂとした場合、輝度値Ｙは例えばＹ＝ｒ×Ｒ＋ｇ×Ｇ＋ｂ×Ｂという式を用いて求められる。ＲＧＢとＹＣｒＣｂとの変換方式は種々知られており、方式に応じて係数ｒ、ｇ、ｂの値は異なる。ただし、いずれの形式においてもｇはｒよりも大きく、且つ、ｇはｂよりも大きい。即ち、輝度値Ｙに対する寄与度は、Ｒ信号及びＢ信号に比べてＧ信号が相対的に高いと言える。

上記の例であれば、構造強調処理後のＧ２画像は、輝度成分に対応する出力のＧチャンネルに割り当てられる。そのため、筋層と脂肪層はユーザにとって識別が容易な態様を用いた表示が可能になる。一方、構造強調処理後のＢ２画像は、輝度に対する寄与が低いＢチャンネルに割り当てられる。そのため、Ｂ２画像に起因する情報はユーザにとって認識が容易でなく、粘膜層と筋層の色分離性が十分高くならないおそれがある。

よって画像処理部１７（構造強調処理部１７ａ）は、構造成分に対応する信号を、出力の輝度成分に対して合成する処理を行う。上述した例であれば、構造強調処理部１７ａは、Ｇ２画像から抽出されたＧ２画像の構造成分を、元のＧ２画像に合成する処理に加えて、Ｂ２画像から抽出されたＢ２画像の構造成分を、元のＧ２画像に合成する処理を行う。このようにすれば、Ｂ２画像の構造成分も、ユーザにとって認識しやすいチャンネルに付加されるため、粘膜層と筋層をユーザにとって識別が容易な態様を用いて表示することが可能になる。

広義には、画像処理部１７（構造強調処理部１７ａ）は、構造成分に対応する信号を、出力のＲ信号、Ｇ信号及びＢ信号の少なくとも１つの信号に対して合成する処理を行う。ここで、出力のＲ信号とは、出力のＲチャンネルに割り当てられる画像信号を表す。同様に、出力のＧ信号とは、出力のＧチャンネルに割り当てられる画像信号を表し、出力のＢ信号とは、出力のＢチャンネルに割り当てられる画像信号を表す。

上述した通り、構造成分を輝度成分に対応するＧ信号に合成することによって、ユーザによる認識が容易になる。上記例において、Ｇ信号とはＧ２画像に対応する。Ｂ２画像の構造成分をＧ信号に合成した場合、粘膜層と筋層をユーザにとって識別が容易な態様を用いて表示することが可能になる。Ｇ２画像の構造成分をＧ信号に合成した場合、筋層と脂肪層をユーザにとって識別が容易な態様を用いて表示することが可能になる。

ただし、Ｇチャンネルに比べて輝度に対する寄与が低いが、出力のＢチャンネル及びＲチャンネルも表示画像を構成する成分である。よって、構造成分報をＢ成分、或いはＲ成分に合成することも、粘膜層、筋層、脂肪層の識別に有用と考えられる。例えば構造強調処理部１７ａは、Ｂ２画像から抽出した構造成分をＲ１画像と合成した後、合成後の画像を出力のＲチャンネルに割り当ててもよい。

図６は、構造強調処理を説明するフローチャートである。この処理が開始されると、構造強調処理部１７ａは正規化処理を行う（Ｓ２０１）。具体的には構造強調処理部１７ａは、上式（１）及び上式（２）の演算を行う。次に構造強調処理部１７ａは、正規化処理後のＢ２画像及びＧ２画像から構造成分を抽出する処理を行う（Ｓ２０２）。Ｓ２０２の処理は、例えばバンドパスフィルタを適用する処理である。さらに構造強調処理部１７ａは、Ｓ２０２において抽出した構造成分を、複数の出力チャンネルのうちの少なくとも１つのチャンネルの信号に合成する処理を行う（Ｓ２０３）。構造成分の合成対象は、例えば輝度成分に対応するＧチャンネルの信号であるが、上述した通り、他のチャンネルの信号が合成対象となってもよい。

４．３ 色強調処理
また画像処理部１７（色強調処理部１７ｂ）は、撮像された画像に基づいて、色情報を強調する処理を行ってもよい。撮像された画像とは、第１の画像、第２の画像及び第３の画像である。ここでの色情報とは、狭義には彩度であるが、色相や明度を色情報とすることは妨げられない。

具体的には、画像処理部１７（色強調処理部１７ｂ）は、撮像された画像に基づいて、黄色領域と判定された領域に対して彩度強調を行う第１の色強調処理、及び、赤色領域と判定された領域に対して彩度強調を行う第２の色強調処理の少なくとも一方の処理を行う。なおここでは、照明部３が第１の光（Ｂ２）及び第２の光（Ｇ２）に加えて第３の光（Ｒ１）を照射する実施形態を想定している。即ち、黄色領域とは脂肪層に対応する領域であり、赤色領域とは粘膜層に対応する領域である。

例えば色強調処理部１７ｂは、ＲＧＢの各出力チャンネルの信号値を、輝度Ｙと色差Ｃｒ及びＣｂに変換する処理を行う。そして色強調処理部１７ｂは、色差Ｃｒ，Ｃｂに基づいて、黄色領域の検出及び赤色領域の検出を行う。具体的には色強調処理部１７ｂは、Ｃｒ及びＣｂの値が黄色に対応する所定範囲の領域を黄色領域と判定し、Ｃｒ及びＣｂの値が赤色に対応する所定範囲の領域を赤色領域と判定する。そして色強調処理部１７ｂは、黄色領域と判定された領域及び赤色領域と判定された領域の少なくとも一方に対して、彩度の値を大きくする彩度強調処理を行う。

筋層は、粘膜層や脂肪層に比べて彩度が低く、白色調で表示される。そのため、脂肪層の彩度を向上させる第１の色強調処理を行うことで、筋層と脂肪層の識別を容易にできる。同様に、粘膜層の彩度を向上させる第２の色強調処理を行うことで、粘膜層と筋層の識別を容易にできる。３層の色分離性向上を考慮すれば、第１の色強調処理と第２の色強調処理の両方を行うことが望ましい。ただし、一方の色強調処理だけでも２層の色分離性が向上するため、他方の色強調処理を省略することは妨げられない。例えば穿孔リスクの抑制のために脂肪を識別する優先度が高い場合、第１の色強調処理を行い、第２の色強調処理を省略してもよい。

なお、ここではＲＧＢの信号をＹＣｒＣｂに変換する処理を説明したが、色強調処理部１７ｂは、ＲＧＢを色相Ｈ、彩度Ｓ、及び明度Ｖに変換する処理を行ってもよい。この場合、色強調処理部１７ｂは、色相Ｈに基づいて黄色領域及び赤色領域を検出し、彩度Ｓの値を変化させることによって第１の色強調処理及び第２の色強調処理を行う。

また、画像処理部１７（色強調処理部１７ｂ）は、第１の画像、第２の画像及び第３の画像に基づいて、彩度が所定閾値よりも低いと判定された領域に対して彩度を下げる第３の色強調処理を行ってもよい。彩度が所定閾値よりも低い領域とは筋層に対応する領域である。

第１の色強調処理と第３の色強調処理を行うことによって、脂肪層の彩度が増加し筋層の彩度が減少するため、２層の彩度の差が大きくなり、筋層と脂肪層の識別がさらに容易になる。同様に第２の色強調処理と第３の色強調処理を行うことによって、粘膜層の彩度が増加し筋層の彩度が減少するため、２層の彩度の差が大きくなり、粘膜層と筋層の識別がさらに容易になる。また画像処理部１７は、第１の色強調処理及び第２の色強調処理を省略し、第３の色強調処理を行ってもよい。

図７は、色強調処理を説明するフローチャートである。この処理が開始されると色強調処理部１７ｂは、表示画像の領域判定を行う（Ｓ３０１）。具体的には、出力のＲＧＢ信号をＹＣｒＣｂやＨＳＶに変換することによって、脂肪層に対応する黄色領域、粘膜層に対応する赤色領域、及び筋層に対応する彩度の低い領域を検出する。図５を用いて説明した構造強調処理の後に色強調処理が行われる例であれば、出力のＲ信号とはＲ１画像に対応し、Ｇ信号とは構造成分が強調されたＧ２画像に対応し、Ｂ信号とは構造成分が強調されたＢ２画像に対応する。

そして色強調処理部１７ｂは、黄色領域の彩度を強調する処理（Ｓ３０２）、赤色領域の彩度を強調する処理（Ｓ３０３）、彩度の低い領域の彩度を強調する処理（Ｓ３０４）を行う。Ｓ３０２及びＳ３０３の彩度強調とは、彩度を増加させる処理であり、Ｓ３０４の彩度強調とは、彩度を減少させる処理である。上述した通り、Ｓ３０４の処理は省略可能であるし、Ｓ３０２とＳ３０３の一方も省略可能である。

４．４ 強調処理の変形例
以上のように構造強調処理及び色強調処理を行うことによって、粘膜層、筋層及び脂肪層を、強調前よりも識別容易な態様を用いて表示することが可能になる。ただし不適切な強調処理が行われた場合、色味が不自然になったり、ノイズが増大するおそれがある。

例えば、第２の画像はＧ２の照射により取得されたＧ２画像であり、Ｇ２は筋層と脂肪層の識別を想定した波長帯域にピーク波長を有する。即ち、第２の画像の構造成分を強調する処理とは、筋層と脂肪層の差を強調することを目的とした処理である。そのため、粘膜層が撮像された領域では、筋層と脂肪層を識別するための画像処理の必要性が低く、処理を行うことでかえって色味の変化やノイズの増大等を招くおそれがある。

よって画像処理部１７は、第１の画像に基づいて、生体粘膜に対応する粘膜領域を検出する処理を行い、粘膜領域であると判定された領域に対して、第２の画像の構造成分を強調する処理を行わなくてもよい。例えば、構造強調処理部１７ａは第２の画像から抽出した構造成分を加算する際に、粘膜領域以外の領域を対象とする。或いは構造強調処理部１７ａは、第２の画像から構造成分を抽出する際に、粘膜領域以外の領域を抽出対象とする。このようにすれば、必要性の低い強調処理が実行されることを抑制できる。

なお、粘膜領域の検出に第１の画像を用いるのは、第１の画像が、粘膜層の吸光特性に基づいて波長帯域が設定された第１の光（Ｂ２）によって撮像されるためである。即ち第１の画像は粘膜層に関する情報を含む画像であるため、第１の画像を用いることで粘膜領域を精度よく検出できる。例えば、画像処理部１７は、第１の画像の画素値を判定し、画素値が所与の閾値以下の領域を粘膜領域として検出する。ただし、粘膜領域の検出処理はこれに限定されない。例えば、上述した色判定処理と同様に、画像処理部１７は出力のＲ信号、Ｇ信号、Ｂ信号をＹＣｒＣｂに変換し、変換後の情報に基づいて粘膜領域を検出してもよい。この場合も、Ｒ信号、Ｇ信号、Ｂ信号の少なくとも１つにＢ２画像が含まれるため、粘膜領域を適切に検出可能である。

また、黄色領域に対して彩度強調を行う第１の色強調処理は、筋層と脂肪層の彩度差を大きくし、識別を容易にするための画像処理である。そのため、粘膜層が撮像された領域では、黄色領域の彩度強調はデメリットが大きく、実行する必要性が低い。

よって画像処理部１７は、第１の画像に基づいて、生体粘膜に対応する粘膜領域を検出する処理を行い、粘膜領域であると判定された領域に対して、第１の色強調処理を行わなくてもよい。この場合も、必要性の低い強調処理が実行されることを抑制できる。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１…内視鏡装置、２…挿入部、３…照明部、４…処理部、５…本体部、６…表示部、７…照明光学系、８…ライトガイドケーブル、９…照明レンズ、１０…撮像部、１１…対物レンズ、１２…撮像素子、１３ａ〜１３ｄ…発光ダイオード、１４…ミラー、１５…ダイクロイックミラー、１６…メモリ、１７…画像処理部、１７ａ…構造強調処理部、１７ｂ…色強調処理部、１８…制御部、１９…外部Ｉ／Ｆ部

図３（Ｂ）は、粘膜層、筋層及び脂肪層の吸光特性を示す図である。図３（Ｂ）の横軸は波長を表し、縦軸は吸光度の対数を表す。粘膜層（生体粘膜）及び筋層は、いずれもミオグロビンを多く含む被写体である。ただし、含まれるミオグロビンの濃度は、粘膜層が相対的に高く筋層が相対的に低い。この濃度の差に起因して、粘膜層と筋層の吸光特性に差異が生じる。そして、図３（Ｂ）に示すように、吸光度の差は生体粘膜の吸光度が最大となる４１５ｎｍの近傍において最大となる。また、筋層の吸光度は複数の極大値を有する。極大値に対応する波長は、４１５ｎｍ、５４０ｎｍ、５８０ｎｍの近傍の波長である。

ただし、Ｇチャンネルに比べて輝度に対する寄与が低いが、出力のＢチャンネル及びＲチャンネルも表示画像を構成する成分である。よって、構造成分をＢ成分、或いはＲ成分に合成することも、粘膜層、筋層、脂肪層の識別に有用と考えられる。例えば構造強調処理部１７ａは、Ｂ２画像から抽出した構造成分をＲ１画像と合成した後、合成後の画像を出力のＲチャンネルに割り当ててもよい。

Claims (17)

1. 第１の光及び第２の光を含む複数の照明光を照射する照明部と、
   前記照明部の照射に基づく被検体からの戻り光を撮像する撮像部と、
   前記撮像部によって撮像された前記第１の光及び前記第２の光に対応する第１の画像及び第２の画像を用いて画像処理を行う画像処理部と、
   を含み、
   前記照明部は、
   生体粘膜の吸光度が最大値となる波長を含む第１の波長範囲にピーク波長を有する光である前記第１の光を照射し、
   筋層の吸光度が極大値となる波長を含む第２の波長範囲にピーク波長を有し、且つ、前記筋層の吸光度に比べて脂肪の吸光度が低い光である前記第２の光を照射することを特徴とする内視鏡装置。
2. 請求項１において、
   前記第１の光の前記ピーク波長を含む前記第１の波長範囲は、４１５ｎｍ±２０ｎｍであることを特徴とする内視鏡装置。
3. 請求項２において、
   前記第１の光は、白色光画像の生成に用いられる光に比べて波長帯域の狭い狭帯域光であることを特徴とする内視鏡装置。
4. 請求項１において、
   前記第２の光の前記ピーク波長を含む前記第２の波長範囲は、５４０ｎｍ±１０ｎｍであることを特徴とする内視鏡装置。
5. 請求項４において、
   前記第２の光は、白色光画像の生成に用いられる光に比べて波長帯域の狭い狭帯域光であることを特徴とする内視鏡装置。
6. 請求項１において、
   前記照明部は、
   前記生体粘膜の吸光度が前記第１の光に比べて低く、且つ、前記筋層の吸光度が前記第２の光に比べて低い波長帯域である第３の光を照射することを特徴とする内視鏡装置。
7. 請求項１において、
   前記画像処理部は、
   前記第１の画像の構造成分を強調する処理、及び、前記第２の画像の構造成分を強調する処理の少なくとも一方の処理を行うことを特徴とする内視鏡装置。
8. 請求項６において、
   前記画像処理部は、
   前記撮像部によって撮像された前記第３の光に対応する第３の画像に基づいて前記第１の画像を補正し、補正後の前記第１の画像の構造成分を強調する処理、及び、前記第３の画像に基づいて前記第２の画像を補正し、補正後の前記第２の画像の構造成分を強調する処理の少なくとも一方の処理を行うことを特徴とする内視鏡装置。
9. 請求項７又は８において、
   前記画像処理部は、
   前記構造成分に対応する信号を、出力の輝度成分に対して合成する処理を行うことを特徴とする内視鏡装置。
10. 請求項７又は８において、
    前記画像処理部は、
    前記構造成分に対応する信号を、出力のＲ信号、Ｇ信号及びＢ信号の少なくとも１つの信号に対して合成する処理を行うことを特徴とする内視鏡装置。
11. 請求項６において、
    前記画像処理部は、
    前記第１の画像、前記第２の画像、及び前記撮像部によって撮像された前記第３の光に対応する第３の画像に基づいて、色情報を強調する処理を行うことを特徴とする内視鏡装置。
12. 請求項１１において、
    前記画像処理部は、
    前記第１の画像、前記第２の画像及び前記第３の画像に基づいて、黄色領域と判定された領域に対して彩度強調を行う第１の色強調処理、及び、赤色領域と判定された領域に対して彩度強調を行う第２の色強調処理の少なくとも一方の処理を行うことを特徴とする内視鏡装置。
13. 請求項１１において、
    前記画像処理部は、
    前記第１の画像、前記第２の画像及び前記第３の画像に基づいて、彩度が所定閾値よりも低いと判定された領域に対して彩度を下げる第３の色強調処理を行うことを特徴とする内視鏡装置。
14. 請求項７において、
    前記画像処理部は、
    前記第１の画像に基づいて、前記生体粘膜に対応する粘膜領域を検出する処理を行い、
    前記粘膜領域であると判定された領域に対して、前記第２の画像の前記構造成分を強調する処理を行わないことを特徴とする内視鏡装置。
15. 請求項１２において、
    前記画像処理部は、
    前記第１の画像に基づいて、前記生体粘膜に対応する粘膜領域を検出する処理を行い、
    前記粘膜領域であると判定された領域に対して、前記第１の色強調処理を行わないことを特徴とする内視鏡装置。
16. 生体粘膜の吸光度が最大値となる波長を含む第１の波長範囲にピーク波長を有する光である第１の光、及び、筋層の吸光度が極大値となる波長を含む第２の波長範囲にピーク波長を有し、且つ、前記筋層の吸光度に比べて脂肪の吸光度が低い光である第２の光を含む複数の照明光を照射し、
    前記複数の照明光の照射に基づく被検体からの戻り光を撮像し、
    撮像された前記第１の光及び前記第２の光に対応する第１の画像及び第２の画像を用いて画像処理を行うことを特徴とする内視鏡装置の作動方法。
17. 生体粘膜の吸光度が最大値となる波長を含む第１の波長範囲にピーク波長を有する光である第１の光、及び、筋層の吸光度が極大値となる波長を含む第２の波長範囲にピーク波長を有し、且つ、前記筋層の吸光度に比べて脂肪の吸光度が低い光である第２の光を含む複数の照明光を照明部に照射させ、
    前記照明部の照射に基づく被検体からの戻り光を撮像し、
    撮像された前記第１の光及び前記第２の光に対応する第１の画像及び第２の画像を用いて画像処理を行う、
    ステップをコンピュータに実行させることを特徴とするプログラム。

Images