JPWO2018155560A1 - 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 - Google Patents

Abstract

異なる特徴を有する複数の領域をほぼ同時かつ正確に判別できる内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供する。
内視鏡システム（１０）は、光源部（２０）と、イメージセンサ（４８）と、画像取得部（５４）と、第１画像生成部（８１）と、第２画像生成部（８２）と、領域判別部（８４）と、を備える。光源部（２０）は、波長が異なる複数種類の照明光を発光する。画像取得部（５４）は、それぞれの照明光に対応する画像を取得する。第１画像生成部（８１）は、表示用画像（１２１）のベースとなる第１画像（白色光画像（１０１））を生成する。第２画像生成部（８２）は、第１画像の生成に用いた画像とは対応する波長が異なる画像を少なくとも１つ用いて、第２画像（明暗領域判別画像（１１２）等）を生成する。領域判別部（８４）は、第２画像を用いて、観察対象における領域を判別する。

Description

本発明は、観察対象の一部分の領域を判別する内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法に関する。

医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が一般的になっている。特に、近年においては、観察対象の一部分の領域を判別する内視鏡システムが知られている。例えば、特許文献１〜３に記載の内視鏡システムは、粘膜輪郭、暗部、鏡面反射、泡、または、残渣が写った領域を判別する。

また、観察したい領域の特徴等に合わせて観察モードを切り替える内視鏡システムが知られている（特許文献４）。この他、ＣＴ（Computed Tomography）画像等の医用画像においては、領域ごとの画素値の出現頻度を表すヒストグラムの形状に基づいて、領域の判別を行うことが知られている（特許文献５）。

特開２０１６−０１９６６５号公報 特開２０１６−０１６１８５号公報 特開２０１２−１９２０５１号公報 特開２０１６−１３１８３７号公報 特許５８５４５６１号

内視鏡画像において特定の特徴を有する領域を判別すること（以下、領域判別という）は従来から行われているが、判別する領域の特徴または観察対象の状況等によってはロバスト性が低く、領域を誤判別してしまうこともある。例えば、粘膜と残液とを区別するために、残液がある領域を判別しようとするとする場合、残液が薄いと判別が難しく、残液がある領域を正しく判別できなかったり、残液がある領域をある程度判別できたとしても、判別した領域の輪郭が不正確であったりすることがある。領域判別にヒストグラムを用いれば、他の領域判別の方法よりも比較的正確な結果が得られやすいが、ヒストグラムを用いた領域判別でも、上記のように粘膜と残液とを区別する領域判別は難しく、不正確な結果になってしまうことがある。

また、特定の特徴を有する組織または構造等を強調して観察し得る観察モードを用意すれば、その特定の特徴を有する組織または構造等を有する領域の判別精度は向上する。しかし、観察モードを設ける場合、用意した観察モードは基本的に１種類の特定の組織または構造の識別に特化しているので、用意した観察モードで取得及び表示する１つの画像から、異なる特徴を有する複数の領域を同時かつ正確に判別するのは困難である。

本発明は、異なる特徴を有する複数の領域をほぼ同時かつ正確に判別できる内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法を提供することを目的とする。

本発明の内視鏡システムは、光源部と、画像取得部と、第１画像生成部と、第２画像生成部と、領域判別部と、を備える。光源部は、波長が異なる複数種類の照明光を発光する。画像取得部は、それぞれの照明光を用いて観察対象を撮像するイメージセンサと、それぞれの照明光に対応する画像を取得する。第１画像生成部は、画像のうちいずれかの画像を用いて、表示部に表示する表示用画像のベースとなる第１画像を生成する。第２画像生成部は、画像取得部が取得した画像のうち、第１画像の生成に用いた画像とは対応する波長が異なる画像を少なくとも１つ用いて、第２画像を生成する。領域判別部は、第２画像を用いて、観察対象における領域を判別する。

第１画像を用いて、領域判別部が判別した領域のうち少なくとも１つの領域を強調した表示用画像を生成する強調処理部を備えることが好ましい。

第２画像生成部は、それぞれの照明光に対応する画像のうち、第１画像の生成に使用する画像とは異なるタイミングで取得した画像を少なくとも１つ使用して第２画像を生成することが好ましい。

イメージセンサは色の異なる複数のカラーフィルタを有し、照明光を用いて観察対象を撮像した際に、画像取得部は、照明光ごとに、かつ、カラーフィルタごとに画像を取得することが好ましい。

第２画像生成部は、１または複数の画像を用いて第２画像を生成することが好ましい。

領域判別部は、観察対象の暗部である領域、ハレーションした領域、血管がある領域、または、残渣もしくは残液が付着した領域のうちのいずれか１以上を判別することが好ましい。

領域判別部が判別する領域の種類を設定する領域判別設定部と、領域判別設定部が設定した領域の種類にしたがって、発光する照明光の種類を制御する光源制御部と、を備えることが好ましい。

第２画像生成部は、互いに異なる複数の第２画像を生成し、かつ、領域判別部は、第２画像ごとにそれぞれ種類が異なる領域を判別することが好ましい。

領域判別部が複数の領域を判別する場合に、強調処理部は、領域判別部が判別した領域ごとに強調の仕方を変えて表示用画像を生成することが好ましい。

領域判別部が判別した領域について、診断を支援する情報を算出する支援情報算出部を備えることが好ましい。

本発明のプロセッサ装置は、光源部と、イメージセンサと、を備える内視鏡システムのプロセッサ装置であり、画像取得部と、第１画像生成部と、第２画像生成部と、領域判別部と、を備える。光源部は、波長が異なる複数種類の照明光を発光する。イメージセンサは、それぞれの照明光を用いて観察対象を撮像する。画像取得部は、それぞれの照明光に対応する画像を取得する。第１画像生成部は、画像取得部が取得した画像のうちいずれかの画像を用いて、表示部に表示する表示用画像のベースとなる第１画像を生成する。第２画像生成部は、画像取得部が取得した画像のうち、第１画像の生成に用いた画像とは対応する波長が異なる画像を少なくとも１つ用いて、第２画像を生成する。領域判別部は、第２画像を用いて、観察対象における領域を判別する。

本発明の内視鏡システムの作動方法は、光源が、波長が異なる複数種類の照明光を発光するステップを備える。本発明の内視鏡システムの作動方法は、イメージセンサが、それぞれの照明光を用いて観察対象を撮像するステップを備える。本発明の内視鏡システムの作動方法は、画像取得部が、それぞれの照明光に対応する画像を取得するステップを備える。本発明の内視鏡システムの作動方法は、第１画像生成部が、画像取得部が取得した画像のうちいずれかの画像を用いて、表示部に表示する表示用画像のベースとなる第１画像を生成するステップを備える。本発明の内視鏡システムの作動方法は、第２画像生成部が、画像取得部が取得した画像のうち、第１画像の生成に用いた画像とは対応する波長が異なる画像を少なくとも１つ用いて、第２画像を生成するステップを備える。また、本発明の内視鏡システムの作動方法は、領域判別部が、第２画像を用いて、観察対象における領域を判別するステップを備える。

本発明の内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法によれば、異なる特徴を有する複数の領域を同時かつ正確に判別することができる。

内視鏡システムの外観図である。 内視鏡システムのブロック図である。 カラーフィルタの特性を示すグラフである。 画像処理部のブロック図である。 内視鏡システムの動作を示すフローチャートである。 照明光と取得する画像の対応関係を示す説明図である。 白色光画像（第１画像）である。 明暗領域判別画像（第２画像）である。 血管領域判別画像（第２画像）である。 残液領域判別画像（第２画像）である。 表示用画像である。 別の表示用画像である。 診断支援情報算出部を設けた画像処理部のブロック図である。 カプセル内視鏡の概略図である。

図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９と、を備える。内視鏡１２は、観察対象を撮像する。光源装置１４は、照明光を発生する。プロセッサ装置１６は、内視鏡システム１０のシステム制御及び画像処理等を行う。モニタ１８はプロセッサ装置１６で生成する表示用の画像（以下、表示用画像１２１という。図１１参照）を表示する表示部である。コンソール１９は、プロセッサ装置１６等への設定入力等を行う入力デバイスである。

内視鏡１２は、被検体内に挿入する挿入部１２ａと、挿入部１２ａの基端部分に設けた操作部１２ｂと、挿入部１２ａの先端側に設けた湾曲部１２ｃと、先端部１２ｄと、を有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃが湾曲する。湾曲部１２ｃが湾曲することにより、先端部１２ｄが所望の方向に向く。なお、先端部１２ｄには、観察対象に向けて空気や水等を噴射する噴射口（図示しない）が設けられている。また、操作部１２ｂには、アングルノブ１２ｅの他、ズーム操作部１３が設けられている。ズーム操作部１３を操作することによって、観察対象を拡大または縮小して撮像することができる。

図２に示すように、光源装置１４は、照明光を発光する光源部２０と、光源部２０の駆動を制御する光源制御部２２と、を備える。

光源部２０は、例えば、中心波長または波長帯域が異なる（以下、単に「波長が異なる」という）光を発光する複数のＬＥＤ(Light Emitting Diode)を光源として備えており、各ＬＥＤの発光または点灯、及び、光量の調節等により、波長が異なる複数種類の照明光を発光することができる。例えば、光源部２０は、波長帯域が比較的広い広帯域な紫色光、青色光、緑色光、及び赤色光を、それぞれ照明光として発光できる。特に、光源部２０は、広帯域な紫色光、青色光、緑色光、及び赤色光の他に、狭帯域（波長帯域が１０ｎｍから２０ｎｍ程度の範囲であることをいう）な紫色光、青色光、緑色光、及び赤色光を照明光として発光できる。より具体的には、光源部２０は、照明光として、中心波長が約４００ｎｍの狭帯域紫色光、中心波長が約４５０ｎｍの第１狭帯域青色光、中心波長が約４７０ｎｍの第２狭帯域青色光、中心波長が約５４０ｎｍの狭帯域緑色光、及び、中心波長が約６４０ｎｍの狭帯域赤色光を発光できる。この他、光源部２０は、広帯域または狭帯域な紫色光、青色光、緑色光、及び赤色光を組み合わせることにより、白色光を照明光として発光することができる。また、本実施形態においては、光源部２０は、第１狭帯域青色光と、狭帯域緑色光と、狭帯域赤色光とによって形成する狭帯域混合光を照明光として発光する場合がある。

なお、光源部２０には、ＬＥＤの代わりに、ＬＤ(Laser Diode)と蛍光体と帯域制限フィルタとの組み合わせや、キセノンランプ等のランプと帯域制限フィルタの組み合わせ等を用いることができる。もちろん、光源部２０をＬＥＤで構成する場合も、蛍光体または帯域制限フィルタを組み合わせて使用することができる。

光源制御部２２は、光源部２０を構成する各光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部２０は、波長が異なる複数種類の照明光を発光することができる。また、光源制御部２２は、イメージセンサ４８の撮像のタイミング（いわゆるフレーム）に合わせて光源部２０を制御する。本実施形態においては、光源制御部２２の制御により、光源部２０は、イメージセンサ４８の撮像のフレームに合わせて、白色光、狭帯域紫色光、第２狭帯域青色光、及び、狭帯域混合光をそれぞれ照明光として順次繰り返し発光する。

また、光源制御部２２は、領域判別をする領域の種類及び数等に応じて、光源部２０から発光する照明光の種類を制御する。これにより、光源制御部２２は、領域判別のために必要な撮像のフレーム数を必要最小限に抑える。具体的には、内視鏡システム１０は、少なくとも観察対象の暗部である領域（以下、暗部領域１０２という。図７参照）、ハレーションした領域（以下、ハレーション領域という。図示しない）、残渣もしくは残液が付着した領域（以下、残液領域１０４という。図７参照）、または、血管がある領域（以下、血管領域１０３という。図７参照）のうちいずれか１以上を判別する。その結果、内視鏡システム１０においては、粘膜が写る領域と、上記暗部領域１０２、ハレーション領域、残液領域１０４、または血管領域１０３と、を識別する。本実施形態においては、上記各領域を全てを領域判別する。そのために、本実施形態においては、光源制御部２２は、光源部２０が順次に発光する照明光の種類を、白色光、狭帯域紫色光、第２狭帯域青色光、及び、狭帯域混合光に設定する。

光源部２０が発光した照明光は、ライトガイド４１に入射する。ライトガイド４１は、内視鏡１２及びユニバーサルコード内に内蔵されており、照明光を内視鏡１２の先端部１２ｄまで伝搬する。ユニバーサルコードは、内視鏡１２と光源装置１４及びプロセッサ装置１６とを接続するコードである。なお、ライトガイド４１としては、マルチモードファイバを使用できる。一例として、コア径１０５μｍ、クラッド径１２５μｍ、外皮となる保護層を含めた径がφ０．３〜０．５ｍｍの細径なファイバケーブルを使用できる。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮影光学系３０ｂが設けられている。照明光学系３０ａは、照明レンズ４５を有しており、この照明レンズ４５を介して照明光が観察対象に向けて出射する。撮影光学系３０ｂは、対物レンズ４６、ズームレンズ４７、及びイメージセンサ４８を有している。イメージセンサ４８は、対物レンズ４６及びズームレンズ４７を介して、観察対象から戻る照明光の反射光等（反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む）を用いて観察対象を撮影する。ズームレンズ４７は、ズーム操作部１３の操作をすることで移動し、イメージセンサ４８を用いて撮影する観察対象を拡大または縮小する。

イメージセンサ４８は、色の異なる複数のカラーフィルタを有する。イメージセンサ４８は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。図３に示すように、青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ４８を用いて観察対象を撮影すると、最大で、Ｂ画素から得るＢ画像（青色画像）、Ｇ画素から得るＧ画像（緑色画像）、及び、Ｒ画素から得るＲ画像（赤色画像）の３種類の画像を同時に得ることができる。

なお、イメージセンサ４８としては、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを利用可能である。また、本実施形態のイメージセンサ４８は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色−原色色変換をすれば、Ｂ画像、Ｇ画像、及びＲ画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ４８として使用できる。この場合、ＢＧＲ等各色の照明光を用いて観察対象を順次撮像することにより、上記各色の画像を得ることができる。

プロセッサ装置１６は、制御部５２と、画像取得部５４と、画像処理部６１と、表示制御部６６と、を有する。

制御部５２は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム１０の統括的な制御を行う。また、コンソール１９等を用いて、領域判別をする領域の種類及び数等を設定した場合には、制御部５２は、その設定を光源制御部２２に入力する。

画像取得部５４は、イメージセンサ４８から観察対象の画像を取得する。本実施形態においては、イメージセンサ４８はカラーフィルタを有するので、画像取得部５４は、照明光ごとに、かつ、カラーフィルタごとに画像を取得する。すなわち、任意の１つの照明光を用いて、イメージセンサ４８が観察対象を１回の撮像すると、画像取得部５４は、各カラーフィルタの色に対応した複数の画像を取得する。

画像取得部５４は、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、変換部５９と、を有し、これらを用いて、取得した画像に必要に応じて各種処理を施す。

ＤＳＰ５６は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種処理を施す。

欠陥補正処理は、イメージセンサ４８の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理（等方化処理や同時化処理とも言う）は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して（イメージセンサ４８において他の色の画素を配置しているため）、画素値がない画素である。例えば、Ｂ画像はＢ画素において観察対象を撮影して得る画像なので、Ｇ画素やＲ画素に対応する位置の画素には画素値がない。デモザイク処理は、Ｂ画像を補間して、イメージセンサ４８のＧ画素及びＲ画素の位置にある画素の画素値を生成する。ＹＣ変換処理は、デモザイク処理後の画像を、輝度チャンネルＹと色差チャンネルＣｂ及び色差チャンネルＣｒに変換する処理である。

ノイズ低減部５８は、輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部５９は、ノイズ低減処理後の輝度チャンネルＹ、色差チャンネルＣｂ及び色差チャンネルＣｒを再びＢＧＲの各色の画像に再変換する。

画像処理部６１は、画像取得部５４が取得した画像を用いて、モニタ１８に表示する表示用画像１２１を生成する。そのために、図４に示すように、画像処理部６１は、第１画像生成部８１と、第２画像生成部８２と、領域判別設定部８３と、領域判別部８４と、強調処理部８６と、を備える。

第１画像生成部８１は、画像取得部５４が取得した画像のうちいずれかの画像を用いて第１画像を生成する。第１画像とは、表示部であるモニタ１８に表示する表示用画像１２１のベースとなる画像である。本実施形態においては、第１画像は、照明光に白色光を用いて観察対象を撮像して得る自然な色合いの白色光画像１０１（図７参照）である。なお、第１画像生成部８１は、第１画像を生成する際に、必要に応じて、画像取得部５４が取得した画像に対して、色変換処理、色彩強調処理、及び構造強調処理を施す。色変換処理は、ＢＧＲ各色の画像に対して３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（ルックアップテーブル）処理等を行う。色彩強調処理は、画像の色彩を強調する処理であり、構造強調処理は、例えば、血管やピットパターン等の観察対象の組織や構造を強調する処理である。

第２画像生成部８２は、画像取得部５４が取得した画像のうち、１または複数の画像を用いて第１画像とは異なる第２画像を生成する。より具体的には、第２画像生成部８２は、画像取得部５４が取得した前記画像のうち、第１画像の生成に用いた画像とは対応する波長が異なる画像を少なくとも１つ用いて、第２画像を生成する。第２画像とは、領域判別部８４が行う領域判別に使用する領域判別用の画像である。「第１画像とは異なる」とは、基本的には、第２画像生成部８２が第２画像の生成に使用する画像が、第１画像生成部８１が第１画像の生成に使用する画像とは、種類、個数、または組み合わせが相違することをいう。すなわち、第２画像は、使用する画像の種類、個数、または組み合わせが相違すれば、観察対象の組織または構造等の識別性が実質的に第１画像と相違する画像である。例えば、第１画像生成部８１が３種類の画像を用いて第１画像を生成する場合、これらとは別の画像を１または複数使用して生成する画像は第２画像である。第１画像の生成に使用する３種類の画像のうちから選択した１種類の画像、または、第１画像の生成に使用する画像のうちから選択した１種類の画像に構造強調処理等の処理を施した画像も第２画像である。第１画像の生成に使用する３種類の画像のうち２種類の画像を用いて演算等をして生成する画像、または、第１画像の生成に使用する３種類の画像にさらに別の画像を加えて演算等して生成する画像等も第２画像である。

本明細書においては、「第１画像とは異なる第２画像」には、第１画像生成部８１が第１画像の生成に使用する画像と種類、個数、及び組み合わせが同じ画像を使用する場合でも、第１画像の生成に使用する画像を用いて演算をして生成する画像、または、第１画像の生成に使用する画像に対する各種処理の軽重等を変更した画像も含む。これらの画像も観察対象の組織または構造等の識別性が実質的に第１画像と相違するからである。

第２画像生成部８２は、領域判別の設定に基づいて１または複数の第２画像を生成する。領域判別の設定とは、具体的には、判別する領域の種類等であり、領域判別設定部８３が、コンソール１９等の入力デバイスを用いた入力に基づいて、領域判別の設定をする。

領域判別設定部８３は、判別する領域の種類を設定した際には、判別する領域の種類にしたがって、照明光の種類、光量、及び発光順序等を設定する。以下、領域判別の設定には、判別する領域の種類の他、判別する領域の種類に応じて二次的に設定する照明光の種類、光量、及び発光順序等を含む。領域判別設定部８３は、暗部領域１０２、ハレーション領域、血管領域１０３、または、残液領域１０４についてそれぞれ個別に領域判別をするか否かを設定できる。したがって、第２画像生成部８２は、領域判別の設定に基づき、領域判別に使用する第２画像を選択的に生成する。

本実施形態においては、領域判別の設定は、暗部領域１０２、ハレーション領域、残液領域１０４、及び、血管領域１０３を全て領域判別する設定とする。このため、第２画像生成部８２は、暗部領域１０２及びハレーション領域を領域判別するための画像（以下、明暗領域判別画像１１２という。図８参照）と、血管領域１０３を判別するための画像（以下、血管領域判別画像１１３という。図９参照）と、残液領域１０４を領域判別するための画像（以下、残液領域判別画像１１４という。図１０参照）と、を生成する。

明暗領域判別画像１１２は、第１画像と比較して観察対象の明暗が明瞭な画像である。第２画像生成部８２は、明暗領域判別画像１１２を、例えば、第１画像の生成に使用する画像を演算して生成する。この場合、明暗領域判別画像１１２は、概ね第１画像の輝度の分布を強調した画像である。

残液領域判別画像１１４は、第１画像と比較して残渣及び残液の有無及び輪郭等を明瞭にした画像である。第２画像生成部８２は、残液領域判別画像１１４を、例えば、第１画像の生成に使用する画像とは異なる画像であり、かつ、第１画像の生成に使用する画像とは異なるタイミングで取得した画像を少なくとも１つ使用して生成する。

血管領域判別画像１１３は、第１画像と比較して特定の血管（本実施形態においては粘膜のごく表層にある血管）の有無及び輪郭等を明瞭にした画像である。第２画像生成部８２は、血管領域判別画像１１３を、例えば、第１画像の生成に使用する画像とは異なる画像であり、かつ、第１画像の生成に使用する画像とは異なるタイミングで取得した画像を少なくとも１つ使用して生成する。

これらの明暗領域判別画像１１２、血管領域判別画像１１３、及び、残液領域判別画像１１４は、いずれも第２画像であり、各々に、生成に使用する画像の種類、個数、もしくは組み合わせ、または、生成する際の演算もしくは処理の軽重が第１画像と相違する。また、明暗領域判別画像１１２、血管領域判別画像１１３、及び、残液領域判別画像１１４は、生成に使用する画像の種類、個数、もしくは組み合わせ、または、生成する際の演算もしくは処理の軽重等が互いに相違する。このため、第２画像生成部８２は、明暗領域判別画像１１２、血管領域判別画像１１３、及び、残液領域判別画像１１４という、互いに異なる複数の第２画像を生成する。

なお、領域判別設定部８３は、領域判別の設定を、制御部５２にも入力する。そして、制御部５２は、領域判別の設定を光源制御部２２に入力する。その結果、光源制御部２２は、領域判別設定部８３が設定した領域の種類にしたがって光源部２０から発光する照明光の種類、光量、発光順序等を制御する。

領域判別部８４は、第２画像を用いて、観察対象における特定の特徴を有する領域を判別する。各領域の判別は、例えば、画素値の出現頻度を表すヒストグラムの形状の利用、または、予め設定した閾値と画素値との比較等によって行う。より具体的には、領域判別部８４は、領域判別の設定に基づいて、暗部領域１０２、ハレーション領域、血管領域１０３、または、残液領域１０４のうちいずれか１以上を判別する。暗部領域１０２またはハレーション領域を領域判別する場合、領域判別部８４は、第１画像よりも暗部及びハレーションが明瞭な明暗領域判別画像１１２を使用する。血管領域１０３を領域判別する場合、領域判別部８４は、第１画像よりも血管が明瞭な血管領域判別画像１１３を使用する。同様に、残液領域１０４を領域判別する場合、領域判別部８４は、第１画像よりも残渣及び残液が明瞭な残液領域判別画像１１４を使用する。すなわち、領域判別部８４が特徴が異なる複数の領域を判別する場合、第２画像生成部８２は互いに異なる複数の第２画像を生成し、かつ、領域判別部８４は、これらの第２画像ごとにそれぞれ種類が異なる領域を判別する。

強調処理部８６は、第１画像を用いて、領域判別部８４が判別した領域のうち少なくとも１つの領域を強調した表示用画像１２１を生成する。特に本実施形態においては、強調処理部８６は、領域判別部８４が判別した領域をごとに強調の仕方を変えて表示用画像１２１を生成する。「強調の仕方を変えて」とは、周波数強調処理、エッジ強調処理、着色処理等をして判別した領域内にある組織または構造もしくは判別した領域全体を、粘膜等の他の領域と比較して識別性を向上する際に、判別した領域ごとに施す処理の種類を変更すること、または、判別した領域ごとに処理の軽重を変えることをいう。

表示制御部６６は、画像処理部６１から表示用画像１２１を取得し、取得した表示用画像１２１を表示に適した形式に変換してモニタ１８に順次出力表示する。これにより、医師等は、表示用画像１２１を用いて観察対象を観察できる。

次に、内視鏡システム１０の動作の流れを、図５に示すフローチャートに沿って説明する。内視鏡システム１０を使用する際には、まず、コンソール１９等を用いて領域判別の設定をする（Ｓ１１）。本実施形態においては、暗部領域１０２、ハレーション領域、血管領域１０３、及び、残液領域１０４の領域判別を全て有効に設定し、かつ、これらの各領域を判別するための照明光の種類、光量、発光順序等を設定する。

その結果、内視鏡１２を用いて観察対象を撮像すると（Ｓ１２）、図６に示すように、第１フレームにおいては、画像取得部５４は、白色光を照明光に使用してＢ画素から得る画像（以下、Ｂ１画像という）と、白色光を照明光に使用してＧ画素から得る画像（以下、Ｇ１画像という）と、白色光を照明光に使用してＲ画素から得る画像（以下、Ｒ１画像という）と、を取得する。次いで、第２フレームにおいては、画像取得部５４は、狭帯域紫色光を照明光に使用してＢ画素から得る画像（以下、Ｂ２画像という）と、狭帯域紫色光を照明光に使用してＧ画素から得る画像（以下、Ｇ２画像という）と、狭帯域紫色光を照明光に使用してＲ画素から得る画像（以下、Ｒ２画像という）と、を取得する。そして次の第３フレームにおいては、画像取得部５４は、第２狭帯域青色光を照明光に使用してＢ画素から得る画像（以下、Ｂ３画像という）と、第２狭帯域青色光を照明光に使用してＧ画素から得る画像（以下、Ｇ３画像という）と、第２狭帯域青色光を照明光に使用してＲ画素から得る画像（以下、Ｒ３画像という）と、を取得する。その後、第４フレームにおいては、画像取得部５４は、狭帯域混合光を照明光に使用してＢ画素から得る画像（以下、Ｂ４画像という）と、狭帯域混合光を照明光に使用してＧ画素から得る画像（以下、Ｇ４画像という）と、狭帯域混合光を照明光に使用してＲ画素から得る画像（以下、Ｒ４画像という）と、を取得する。

上記のように観察対象を撮像して各種画像を取得すると、第１画像生成部８１は、第１フレームで取得したＢ１画像、Ｇ１画像、及びＲ１画像を用いて、第１画像である白色光画像１０１を生成する（Ｓ１３）。図７に示すように、白色光画像１０１は、観察対象を自然な色合いで表示する医師等が最も見慣れているという点で最も観察しやすいので、表示用画像１２１のベースとするには最適な画像である。しかし、照明光が届き難い管腔の奥は暗部領域１０２となっており観察対象を観察し難く、かつ、暗部と明部の境界も曖昧であって、少なくとも境界においては暗部領域１０２を判別し難い。また、白色光画像１０１においては、粘膜のごく表層にある細い血管がある血管領域１０３を判別できる場合もあるが、基本的には血管領域１０３の血管は観察し難い。さらに、白色光画像１０１においては、残液等の濃度や残存範囲の広さ等によっては残液領域１０４を判別できる場合もあるが、残液等の濃度や残存範囲の広さ等によっては残液領域１０４を判別し難い場合がある。なお、白色光画像１０１においては、粘膜表面からの照明光の鏡面反射等に起因してハレーションを起こしている領域がある場合があるが、粘膜等を正常に観察し得る領域と比較して、明るさが極端な値になっているという点で本質的には暗部領域１０２と同様であるから、本実施形態ではハレーション領域の図示等は省略する。

内視鏡システム１０は、上記のように第１画像生成部８１において白色光画像１０１（第１画像）を生成するとともに、第２画像生成部８２において各領域を判別するために第２画像を生成する（Ｓ１４）。具体的には、第２画像生成部８２は、明暗領域判別画像１１２、血管領域判別画像１１３、及び、残液領域判別画像１１４の３種類の第２画像を生成する。そして、領域判別部８４は、これらの第２画像を用いて領域判別をする（Ｓ１５）。具体的には、領域判別部８４は、明暗領域判別画像１１２を用いて暗部領域１０２を判別する（存在する場合にはハレーション領域の判別も含む）。また、領域判別部８４は、血管領域判別画像１１３を用いて血管領域１０３を判別し、かつ、残液領域判別画像１１４を用いて残液領域１０４を判別する。

第２画像生成部８２は、第１フレームで取得したＢ１画像、Ｇ１画像、及び、Ｒ１画像を用いて観察対象の輝度を演算し、その分布を表す明暗領域判別画像１１２を生成する。このため、図８に示すように、明暗領域判別画像１１２は、白色光画像１０１と比較して、暗部領域１０２及び暗部領域１０２の境界が鮮明になる。一方で、明暗領域判別画像１１２においては、血管領域１０３及び残液領域１０４の識別性は白色光画像１０１と同程度かそれ以下である。したがって、領域判別部８４は、明暗領域判別画像１１２を用いることで、白色光画像１０１を用いる場合よりも正確に暗部領域１０２を判別できる。ハレーション領域がある場合も同様である。

また、第２画像生成部８２は、第２フレームで取得したＢ２画像と、第４フレームで取得したＢ４画像とを用いて血管領域判別画像１１３を生成する。より具体的には、第２画像生成部８２は、まず、Ｂ２画像とＢ４画像の差分画像（例えば、Ｂ２画像からＢ４画像を引いた画像）または比率画像（例えばＢ２画像／Ｂ４画像）を算出する。そして、Ｂ２画像またはＢ４画像の一方を輝度チャンネルに割当て、かつ、上記差分画像または比率画像を色差チャンネルに割り当てることにより、血管領域判別画像１１３を生成する。こうして生成した血管領域判別画像１１３は、図９に示すように、狭帯域紫色光と狭帯域混合光が含む第１狭帯域青色光の粘膜下への深達度の違いに起因して、白色光画像１０１よりも血管領域１０３にある血管が粘膜等との色の違いにより鮮明である。一方で、血管領域判別画像１１３においては、暗部領域１０２及び残液領域１０４は、血管領域１０３の血管と比較して相対的に識別性が低下しており、これらの識別性は白色光画像１０１と同程度かそれ以下である。このため、領域判別部８４は、血管領域判別画像１１３を用いることで、白色光画像１０１を用いるよりも場合よりも正確に血管領域１０３を判別できる。

また、第２画像生成部８２は、第３フレームで取得したＢ３画像と、第４フレームで取得したＢ４画像、Ｇ４画像、及びＲ４画像と、を用いて残液領域判別画像１１４を生成する。より具体的には、第２画像生成部８２は、まず、Ｇ４画像に対するＢ４画像の比（以下、Ｂ４／Ｇ４という）と、Ｇ４画像に対するＢ３画像の比（以下、Ｂ３／Ｇ４という）と、Ｇ４画像に対するＲ４画像の比（以下、Ｒ４／Ｇ４という）を算出する。次いで、式１にしたがって、演算値“Ｚ”を算出する。式１における位相φは観察対象が含むヘモグロビンの酸素飽和度に対して演算値“Ｚ”が不変となるように定める。位相φは予め実験等により求めることができる。
［式１］ Ｚ＝（Ｂ４／Ｇ４）×ｃｏｓφ−（Ｂ３／Ｇ４）×ｓｉｎφ

演算値“Ｚ”は、ビリルビン等の黄色色素を含む残液等がなければ、観察対象の酸素飽和度に依らず、比Ｒ４／Ｇ４に応じた一定の値になる。一方、演算値"Ｚ"は、黄色色素を含む残液等があると、観察対象の酸素飽和度に依らないが、残液等が含む黄色色素の量（濃度）に応じて変動する。このため、第２画像生成部８２は、実際に算出した比Ｒ４／Ｇ４の値において残液等がない場合に演算値"Ｚ"がとる値Ｚ₀を基準として、実際に算出した比Ｒ４／Ｇ４の値において実際に算出した演算値“Ｚ”の変化量ΔＺ（＝Ｚ−Ｚ₀）を算出する。この変化量ΔＺは、残液等の有無及び量を表す値になる。したがって、第２画像生成部８２は、変化量ΔＺの値を画素値とした残液領域判別画像１１４を生成する。

こうして生成した残液領域判別画像１１４は、図１０に示すように、白色光画像１０１と比較して、残液領域１０４の有無及び残液領域１０４と粘膜等の他の領域の違いが明瞭である。一方で、残液領域判別画像１１４においては、暗部領域１０２及び血管領域１０３の識別性は、白色光画像１０１と同程度かそれ以下である。したがって、領域判別部８４は、残液領域判別画像１１４を用いることで、白色光画像１０１等を用いる場合よりも正確に残液領域１０４を判別することができる。

なお、通常、残液等の有無及び量を測定する場合、残液等が含む黄色色素に起因した青色光の吸光量を利用しやすい。しかし、青色光は観察対象が含むヘモグロビンの酸素飽和度に起因して変動する。その結果、単に青色光の吸光量（例えば、白色光画像１０１の生成に使用するＢ１画像の画素値）に基づいて残液等の有無及び量を測定すると不正確な結果になる場合がある。したがって、本実施形態においては、黄色色素の有無及び量に起因して値が大きく変動し、かつ、酸素飽和度の値に起因しては値がほぼ変動しないＢ４画像と、黄色色素の有無及び量に起因してＢ４画像と同程度に値が変動し、かつ、酸素飽和度の値に起因して値が大きく変動するＢ３画像と、を用いて、酸素飽和度の依存性をほぼ排除し、ほぼ黄色色素の有無及び量に起因して値が変動する演算値“Ｚ”を利用している。

領域判別部８４が、暗部領域１０２、ハレーション領域、血管領域１０３、及び、残液領域１０４を判別すると、強調処理部８６は、第１画像である白色光画像１０１において領域判別部８４が判別した各領域をそれぞれに強調処理することにより（Ｓ１６）、表示用画像１２１を生成する。そして、表示制御部６６は、強調処理部８６が出力する表示用画像１２１をモニタ１８に表示する（Ｓ１７）。内視鏡システム１０は、上記動作を観察終了、または、領域判別の設定の変更まで繰り返し行う（Ｓ１８）。

上記のように、内視鏡システム１０は、領域判別をする際に、表示に適した第１画像とは別に、領域判別に適した第２画像を生成する。そして、第１画像ではなく、第２画像を用いて領域判別をする。このため、従来の内視鏡システムで行っているように、表示に適した（内視鏡システム１０における第１画像）を用いて領域判別をする場合と比較して、内視鏡システム１０は、領域判別の精度が良い。特に、複数の領域を判別する場合には、従来の内視鏡システムと、内視鏡システム１０とでは、領域判別の精度の差が顕著である。また、内視鏡システム１０は、複数の領域をほぼ同時に判別できる。

さらに、内視鏡システム１０は、領域判別に使用する第２画像を表示するのではなく、表示に適した白色光画像１０１（第１画像）において、領域判別部８４が判別した領域を強調する。このため、内視鏡システム１０の表示用画像１２１は、図１１に示すように、白色光画像１０１と同様に、基本的には観察対象を自然に観察することができ、かつ、判別した各領域においては組織または構造等を正確に強調して表示することができる。

なお、上記実施形態においては、表示用画像１２１は、暗部領域１０２においては観察対象の視認性を向上し、血管領域１０３においては血管領域１０３にある血管の視認性を向上し、かつ、残液領域１０４においては残液等の視認性を向上しているが、代わりに、図１２に示す表示用画像１２２のように、領域判別部８４が判別した各領域の輪郭を表示することにより、各領域の存在を強調しても良い。この場合、領域判別部８４が判別した各領域の輪郭は、色もしくは線種、または、領域内の着色等により、どのような領域が存在するのかを表示することが好ましい。

上記実施形態においては、領域判別部８４が判別した領域を強調した表示用画像１２１をモニタ１８に表示しているが、表示用画像１２１を生成及び表示する代わりに、または、表示用画像１２１を生成及び表示した上でさらに、領域判別部８４が判別した領域について、診断を支援する情報を算出するとなお良い。この場合、図１３に示すように、画像処理部６１に、診断支援情報算出部１３０を設ける。診断支援情報算出部１３０は、領域判別部８４が判別した領域について、診断を支援する情報（以下、診断支援情報という）を算出する。診断支援情報とは、例えば、病変である可能性を示す指標、または、その領域が病変である可能性を判断し得る指標（例えば酸素飽和度等）等である。

診断支援情報算出部１３０は、領域判別部８４が判別した領域について、診断支援情報を求めるので、表示する画像の全体について診断支援情報を算出する必要がない。また、診断支援情報算出部１３０は、血管領域１０３についてだけ診断支援情報を算出する等、領域判別部８４が判別した領域のうち、必要な領域に限って診断支援情報を算出する。通常は、診断支援情報の算出は非常に時間またはマシンパワーを要する重い処理である。しかし、上記のように、診断支援情報算出部１３０は、正確に判別された領域であり、かつ、必要な領域に限って診断支援情報をするので、実現し得る軽量な演算量で、かつ正確に診断支援情報を算出することができる。これは、リアルタイムに診断支援情報を提供する際に特に有益である。

領域判別部８４が判別した領域に関する情報は、上記のように診断支援情報の算出する他にも、３次元構造の抽出等において任意に利用できる。

上記実施形態においては、第２フレームと第４フレームの２フレームで得る画像を使用して血管領域判別画像１１３を生成しているが、上記実施形態とは別の方法で、血管領域１０３の識別性を向上した血管領域判別画像１１３を生成する場合には、１フレーム分の画像を使用して血管領域判別画像１１３を生成できる場合がある。

また、上記実施形態において示している通り、第２画像生成部８２は、複数のフレームで取得した画像を使用して第２画像を生成することができる。このように、第２画像の生成に必要な画像を複数のフレームにわたって取得する場合には、第２画像の生成に使用する画像に位置合わせ処理またはブレ補正処理等の補正処理を行った上で第２画像の生成に使用することが好ましい。補正処理をする場合、さらに領域判別精度が向上する。

上記実施形態においては、イメージセンサ４８は１つであるが、内視鏡システム１０は、イメージセンサ４８よりも高感度なイメージセンサ（以下、高感度センサという）を併用できる。高感度センサを併用する場合、例えば、観察対象が含む蛍光物質または観察対象に注入等した蛍光物質が発光する蛍光を用いて観察対象を撮像し、得られた蛍光画像を、第２画像の生成に使用できる。

上記実施形態においては、領域判別部８４は、暗部領域１０２、ハレーション領域、血管領域１０３、または、残液領域１０４のいずれかの領域を判別するが、これらは一例であり、領域判別部８４は、これらの他にも他の特徴を有する領域を判別し得る。例えば、発赤している発赤領域、粘膜が萎縮している萎縮領域等を、上記各領域に加え、または、上記各領域の代わりに、判別することができる。また、領域判別部８４が、暗部領域１０２、ハレーション領域、血管領域１０３、または、残液領域１０４をそれぞれ判別する方法も一例であり、それぞれ上記実施形態とは異なる方法で判別することができる。この場合、第２画像の生成方法も、領域判別部８４における領域判別の方法にしたがって変更する。

上記実施形態においては、イメージセンサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システム１０において本発明を実施しているが、カプセル内視鏡システムにおいても本発明は好適である。図１４に示すように、例えば、カプセル内視鏡システムにおいては、カプセル内視鏡７００と、プロセッサ装置（図示しない）とを少なくとも有する。

カプセル内視鏡７００は、光源部７０２と制御部７０３と、イメージセンサ７０４と、画像処理部７０６と、送受信アンテナ７０８と、を備えている。光源部７０２は、光源部２０に対応する。制御部７０３は、光源制御部２２及び制御部５２と同様に機能する。また、制御部７０３は、送受信アンテナ７０８を用いて、カプセル内視鏡システムのプロセッサ装置と無線を使用して通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記実施形態のプロセッサ装置１６とほぼ同様であるが、画像取得部５４及び画像処理部６１に対応する画像処理部７０６はカプセル内視鏡７００に設けられ、表示用画像１２１は、送受信アンテナ７０８を介してプロセッサ装置に送信される。イメージセンサ７０４はイメージセンサ４８と同様に構成される。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ ズーム操作部
１４ 光源装置
１６ プロセッサ装置
１８ モニタ
１９ コンソール
２０、７０２ 光源部
２２ 光源制御部
３０ａ 照明光学系
３０ｂ 撮影光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８、７０４ イメージセンサ
５２、７０３ 制御部
５４ 画像取得部
５６ ＤＳＰ
５８ ノイズ低減部
５９ 変換部
６１、７０６ 画像処理部
６６ 表示制御部
８１ 第１画像生成部
８２ 第２画像生成部
８３ 領域判別設定部
８４ 領域判別部
８６ 強調処理部
１０１ 白色光画像
１０２ 暗部領域
１０３ 血管領域
１０４ 残液領域
１１２ 明暗領域判別画像
１１３ 血管領域判別画像
１１４ 残液領域判別画像
１２１、１２２ 表示用画像
１３０ 診断支援情報算出部
７００ カプセル内視鏡
７０８ 送受信アンテナ

Claims (12)

1. 波長が異なる複数種類の照明光を発光する光源部と、
   それぞれの前記照明光を用いて観察対象を撮像するイメージセンサと、
   それぞれの前記照明光に対応する画像を取得する画像取得部と、
   前記画像取得部が取得した前記画像のうちいずれかの前記画像を用いて、表示部に表示する表示用画像のベースとなる第１画像を生成する第１画像生成部と、
   前記画像取得部が取得した前記画像のうち、前記第１画像の生成に用いた前記画像とは対応する前記波長が異なる前記画像を少なくとも１つ用いて、第２画像を生成する第２画像生成部と、
   前記第２画像を用いて、前記観察対象における領域を判別する領域判別部と、
   を備える内視鏡システム。
2. 前記第１画像を用いて、前記領域判別部が判別した前記領域のうち少なくとも１つの前記領域を強調した前記表示用画像を生成する強調処理部を備える請求項１に記載の内視鏡システム。
3. 前記第２画像生成部は、それぞれの照明光に対応する前記画像のうち、前記第１画像の生成に使用する前記画像とは異なるタイミングで取得した前記画像を少なくとも１つ使用して前記第２画像を生成する請求項１に記載の内視鏡システム。
4. 前記イメージセンサは色の異なる複数のカラーフィルタを有し、
   前記照明光を用いて前記観察対象を撮像した際に、前記画像取得部は、前記照明光ごとに、かつ、前記カラーフィルタごとに前記画像を取得する請求項１に記載の内視鏡システム。
5. 前記第２画像生成部は、１または複数の前記画像を用いて前記第２画像を生成する請求項１に記載の内視鏡システム。
6. 前記領域判別部は、前記観察対象の暗部である領域、ハレーションした領域、血管がある領域、または、残渣もしくは残液が付着した領域のうちのいずれか１以上を判別する請求項１に記載の内視鏡システム。
7. 前記領域判別部が判別する前記領域の種類を設定する領域判別設定部と、
   前記領域判別設定部が設定した領域の種類にしたがって、発光する前記照明光の種類を制御する光源制御部と、
   を備える請求項１に記載の内視鏡システム。
8. 前記第２画像生成部は、互いに異なる複数の前記第２画像を生成し、かつ、
   前記領域判別部は、前記第２画像ごとにそれぞれ種類が異なる領域を判別する請求項１に記載の内視鏡システム。
9. 前記領域判別部が複数の領域を判別する場合に、
   前記強調処理部は、前記領域判別部が判別した領域ごとに強調の仕方を変えて前記表示用画像を生成する請求項２に記載の内視鏡システム。
10. 前記領域判別部が判別した領域について、診断を支援する情報を算出する支援情報算出部を備える請求項１に記載の内視鏡システム。
11. 波長が異なる複数種類の照明光を発光する光源部と、それぞれの前記照明光を用いて観察対象を撮像するイメージセンサと、を備える内視鏡システムのプロセッサ装置において、
    それぞれの前記照明光に対応する画像を取得する画像取得部と、
    前記画像取得部が取得した前記画像のうちいずれかの前記画像を用いて、表示部に表示する表示用画像のベースとなる第１画像を生成する第１画像生成部と、
    前記画像取得部が取得した前記画像のうち、前記第１画像の生成に用いた前記画像とは対応する前記波長が異なる前記画像を少なくとも１つ用いて、第２画像を生成する第２画像生成部と、
    前記第２画像を用いて、前記観察対象における領域を判別する領域判別部と、
    を備えるプロセッサ装置。
12. 光源が、波長が異なる複数種類の照明光を発光するステップと、
    イメージセンサが、それぞれの前記照明光を用いて観察対象を撮像するステップと、
    画像取得部が、それぞれの前記照明光に対応する画像を取得するステップと、
    第１画像生成部が、前記画像取得部が取得した前記画像のうちいずれかの前記画像を用いて、表示部に表示する表示用画像のベースとなる第１画像を生成するステップと、
    第２画像生成部が、前記画像取得部が取得した前記画像のうち、前記第１画像の生成に用いた前記画像とは対応する前記波長が異なる前記画像を少なくとも１つ用いて、第２画像を生成するステップと、
    領域判別部が、前記第２画像を用いて、前記観察対象における領域を判別するステップと、
    を備える内視鏡システムの作動方法。

Images