JP6525918B2 - 内視鏡システム、画像処理装置、及び画像処理装置の作動方法 - Google Patents

Description

本発明は、内視鏡システム、画像処理装置、及び画像処理装置の作動方法に係り、特に内視鏡によって撮像した画像から血管に関する情報を取得する画像処理技術並びに診断支援技術に関する。

内視鏡システムを用いた検査又は診断において、血管に関する情報の重要性が認識されており、近年では様々な方法で血管の情報を抽出する内視鏡システムが提案されている（特許文献１及び特許文献２）。特許文献１には青色の狭帯域光を用いて得られた画像と緑色の狭帯域光を用いて得られた画像の各々に重み付けの処理を行うことにより、生体組織の粘膜表層に存在する血管と生体組織の深層に存在する血管とを抽出する内視鏡システムが開示されている。

特許文献２には、互いに波長領域が異なる複数の狭帯域光を被写体組織に照射し、各狭帯域光の照射ごとに撮像素子を介して取得される狭帯域画像データ間の輝度比に基づいて、血管深さと酸素飽和濃度を算出する内視鏡システムが開示されている。

特許第５３９３５２５号 特開２０１１−２１８１３５号公報

特許文献１及び特許文献２に示されているように、波長帯域が異なる複数種類の照明光を利用してマルチフレーム撮影により取得した複数の波長帯域ごとの画像から、異なる深さに存在する血管の情報を抽出することができる。

しかし、従来の方法で把握される血管の深さは粘膜を基準にして表層であるか中深層であるかという相対的なものであり、現実の深さを示す絶対的な数値ではない。血管を抽出した画像から血管の絶対的な深さを算出するには、粘膜部の散乱係数を知る必要がある。しかし、粘膜部の散乱係数には個体差があるため、散乱係数が未知の場合は、絶対的な血管深さを算出することができない。また、内視鏡によって取得された画像から粘膜部の散乱係数を推定して絶対的な血管深さを算出することも考えられるが、照明光の照射ムラや光量変動など様々な外因によって内視鏡の取得画像の画素値が変動するため、取得画像から粘膜部の散乱係数を推定することは困難である。

本発明はこのような事情に鑑みてなされたもので、観察対象の散乱係数が未知である場合であっても内視鏡画像に描写されている血管の絶対的な血管深さを推定することができる内視鏡システム、画像処理装置及び画像処理装置の作動方法を提供することを目的とする。

本開示の一つの観点による第１態様に係る内視鏡システムは、波長帯域が異なる複数種類の照明光を発生させる光源部と、複数種類のうちのいずれかの照明光が照射された観察対象を撮像する撮像センサと、撮像センサから得られる画像信号を基に、観察対象の撮像画像の中に含まれている血管の一部又は全部である注目血管の形状パターンを判定する血管形状判定部と、形状パターンに基づいて注目血管の血管深さを推定する血管深さ推定部と、を備える。

第１態様の内視鏡システムによれば、撮像センサによって撮像された画像から注目血管の形状パターンが判定され、判定された形状パターンから血管深さが推定される。血管の形状は血管の種類によって様々であり、血管の種類によってその血管が存在している生体組織の深さは異なる。第１態様によれば、血管の形状パターンと深さの関係から注目血管の血管深さを推定することができる。

「撮像センサから得られる画像信号」は、撮像センサからリアルタイムで取得される画像信号であってもよいし、撮像センサを介して取得されメモリその他の記憶装置に保存された画像信号であってもよい。「画像信号」という用語には、アナログ画像信号とデジタル画像信号との両方の概念が含まれる。撮像センサから得た画像信号に対してデモザイク処理、色変換処理、階調変換処理その他の各種信号処理を施して得られる画像信号は「撮像センサから得られる画像信号」の概念に含まれる。「撮像画像」は、撮像センサによって撮像された画像である。撮像センサから得られる画像信号によって表される画像は「撮像画像」の概念に含まれる。

「注目血管」は、血管深さを推定する対象となる血管である。注目血管は、撮像画像内の血管のうち一部の血管である特定の血管であってもよいし、撮像画像内の全部の血管であってもよい。

第２態様として、第１態様の内視鏡システムにおいて、血管深さ推定部は、血管形状と血管の深さとが対応付けられた対応情報を利用して注目血管の血管深さを推定する構成とすることができる。

対応情報に含まれる血管形状の情報には、例えば、形状パターンを示す画像や図形を用いることができる。また、血管形状の情報として、形状的な特徴を記述する特徴量の情報を用いてもよい。対応情報に含まれる血管の深さは、例えば、粘膜表面を基準にした深さの数値とすることができる。

第３態様として、第２態様の内視鏡システムにおいて、対応情報に関するデータベースを記憶しておくデータベース記憶部を備える構成とすることができる。

第４態様として、第２態様又は第３態様の内視鏡システムにおいて、対応情報は、観察対象となる生体組織の部位別に用意されており、観察対象である被観察部位に応じて該当する対応情報が参照される構成とすることができる。

第５態様として、第１態様から第４態様のいずれか一態様の内視鏡システムにおいて、撮像センサを介して取得される観察対象の撮像画像から血管の太さを測定する血管太さ測定部を有し、血管深さ推定部は、注目血管の形状パターンと血管太さ測定部により得られる注目血管の太さの情報とを基に血管深さを推定する構成とすることができる。

形状パターンと太さの情報とを組み合わせて血管深さを推定することにより、より精度の高い血管深さの推定が可能である。

第６態様として、第１態様から第５態様のいずれか一態様の内視鏡システムにおいて、撮像センサを介して取得される観察対象の撮像画像の中から注目血管を指定する血管指定部を備える構成とすることができる。

第７態様として、第６態様の内視鏡システムにおいて、撮像センサから得られる画像信号から血管部分が抽出された血管抽出画像を生成する血管抽出画像生成部を備え、血管指定部は、撮像画像としての血管抽出画像の中から注目血管を指定する構成とすることができる。

「抽出」は血管部分のみを分離して取り出す処理に限らず、血管部分を強調する処理や血管部分を他と区別して差別化する処理などの概念も含む。

第８態様として、第６態様又は第７態様の内視鏡システムにおいて、撮像センサから得られる画像信号を基に生成される画像を表示する表示部を備え、血管指定部は、表示部に表示された画像上でユーザが注目血管を指定する操作を行うための操作部を含む構成とすることができる。

第８態様によれば、ユーザは表示部に表示された画像を見ながら、画像内の所望の血管を注目血管として選択することが可能である。

第９態様として、第６態様から第８態様のいずれか一態様の内視鏡システムにおいて、血管指定部は、注目血管を自動で指定する自動指定処理部を含む構成とすることができる。

第９態様によれば、観察モードや撮像条件などから注目血管を推測することが可能であり、撮像画像内から自動で注目血管を指定することができる。第８態様による手動選択の構成に加えて、注目血管が自動選択される構成を備える態様が一層好ましい。

第１０態様として、第９態様の内視鏡システムにおいて、血管指定部は、観察対象を撮像する際に観察対象に照射された照明光の波長帯域に応じて注目血管を自動で指定する構成とすることができる。

第１１態様として、第１０態様の内視鏡システムにおいて、複数種類の照明光のうち相対的に短波長側の波長帯域である照明光を用いて観察対象を撮像した場合、血管指定部は、規定の血管太さよりも細い血管を注目血管として指定する構成とすることができる。

短波長側の波長帯域の照明光は、主として表層血管を観察する際に使用される。一般に、表層血管は中深層血管と比べて細く微細な血管であるため、短波長側の波長帯域の照明光を用いて撮像された画像から血管部分を抽出し、血管太さを判断の指標にして注目血管を自動的に指定することができる。

第１２態様として、第１０態様又は第１１態様の内視鏡システムにおいて、複数種類の照明光のうち相対的に長波長側の波長帯域である照明光を用いて観察対象を撮像した場合、血管指定部は、規定の血管太さよりも太い血管を注目血管として指定する構成とすることができる。

長波長側の波長帯域の照明光は、主として中深層血管を観察する際に使用される。一般に、中深層血管は表層血管に比べて太い血管であるため、長波長側の波長帯域の照明光を用いて撮像された画像から血管部分を抽出し、血管太さを判断の指標にして注目血管を自動的に指定することができる。

第１３態様として、第９態様の内視鏡システムにおいて、血管指定部は、撮像画像に含まれている血管の種類の中で最もコントラストが高い血管の種類を注目血管として指定する構成とすることができる。

画像内における血管のコントラストを判断の指標にして注目血管を自動的に指定することができる。

第１４態様として、第１態様から第１３態様のいずれか一態様の内視鏡システムにおいて、血管形状判定部は、血管の種類に応じて事前に定められた血管形状の分類パターンの情報を基に、注目血管の形状パターンを判定する構成とすることができる。

第１５態様として、第１態様から第１４態様のいずれか一態様の内視鏡システムにおいて、血管形状判定部は、血管の分岐数及びループ数の少なくとも一方の特徴量を用いて形状パターンを判定する構成とすることができる。

第１６態様として、第１態様から第１５態様のいずれか一態様の内視鏡システムにおいて、血管深さ推定部により推定した血管深さの情報を、注目血管が含まれている画像と共に提示する情報提示部を備える構成とすることができる。

第８態様における表示部は第１６態様における情報提示部として機能させることができる。

本開示の他の観点による第１７態様に係る画像処理装置は、波長帯域が異なる複数種類の照明光が観察対象に照射され、それぞれの照明光の照射の下で撮像センサによって観察対象を撮像することにより得られる画像信号を取得する画像信号取得部と、画像信号取得部により取得される画像信号を基に、観察対象の撮像画像の中に含まれている血管の一部又は全部である注目血管の形状パターンを判定する血管形状判定部と、形状パターンに基づいて注目血管の血管深さを推定する血管深さ推定部程と、を備える。

第１７態様において、第２態様から第１６態様で特定した事項と同様の事項を適宜組み合わせることができる。

本開示の他の観点による第１８態様に係る画像処理装置の作動方法は、波長帯域が異なる複数種類の照明光が観察対象に照射され、それぞれの照明光の照射の下で撮像センサによって観察対象を撮像することにより得られる画像信号を取得する画像信号取得工程と、画像信号取得工程により取得される画像信号を基に、観察対象の撮像画像の中に含まれている血管の一部又は全部である注目血管の形状パターンを判定する血管形状判定工程と、形状パターンに基づいて注目血管の血管深さを推定する血管深さ推定工程と、を含む。

第１８態様において、第２態様から第１６態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、内視鏡システムにおいて特定される手段、処理部、若しくは動作部などの要素は、これに対応する処理、動作又は機能を担う工程（ステップ）の要素として把握することができる。

本発明によれば、観察対象の散乱係数の情報を用いることなく、絶対的な血管深さを推定することができる。

図１は第１実施形態に係る内視鏡システムを示す外観図である。 図２は内視鏡システムの概略構成を示すブロック図である。 図３は光源の分光スペクトルの例を示すグラフである。 図４は撮像センサに使用されているカラーフィルタの分光特性を示すグラフである。 図５は観察対象の散乱係数を示すグラフである。 図６はヘモグロビンの吸収係数を示すグラフである。 図７は特殊観察画像処理部の機能を示すブロック図である。 図８は血管の深さと血管のコントラストの関係を模式的に表すグラフである。 図９は特定深さの血管強調画像を生成する際の信号チャンネルの割り当ての例を模式的に示した説明図である。 図１０は特殊観察モードにおける画像処理の手順を示すフローチャートである。 図１１は中心波長４０５ｎｍの第１狭帯域光を用いて撮像された撮像画像の例を示す図である。 図１２は中心波長４４５ｎｍの第２狭帯域光を用いて撮像された撮像画像の例を示す図である。 図１３は図１１に示した画像と図１２に示した画像とから生成される血管強調画像の例を示す図である。 図１４は中心波長４０５ｎｍの第１狭帯域光を用いて撮像された撮像画像の例を示す図である。 図１５は中心波長４４５ｎｍの第２狭帯域光を用いて撮像された撮像画像の例を示す図である。 図１６は図１４に示した画像と図１５に示した画像とから生成される血管強調画像の例を示す図である。 図１７は中心波長５４０ｎｍの第３狭帯域光を用いて撮像された撮像画の例を示す図である。 図１８は中心波長６２０ｎｍの第４狭帯域光を用いて撮像された撮像画像の例を示す図である。 図１９は図１７に示した画像と図１８に示した画像とから生成される血管強調画像の例を示す図である。 図２０は内視鏡システムによって得られる特殊観察画像の一例を示す図である。 図２１は画像処理装置の機能を示すブロック図である。 図２２は本実施形態の内視鏡システムにおいて血管深さを推定する処理の流れを示すフローチャートである。 図２３は表示部の表示画面の例を示す図である。 図２４は第２実施形態に係る内視鏡システムのプロセッサ装置の機能を示すブロック図である。

以下、添付図面に従って本発明の実施の形態について詳説する。

［第１実施形態］
図１は第１実施形態に係る内視鏡システム１０を示す外観図である。図２は内視鏡システム１０の機能を示すブロック図である。図１に示すように、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続され、かつプロセッサ装置１６と電気的に接続される。

内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作によって先端部１２ｄが所望の方向に向けられる。

操作部１２ｂには、アングルノブ１２ｅの他、モード切替スイッチ１３ａ及びズーム操作部１３ｂが設けられている。また、操作部１２ｂには、図１に示されていない静止画像取得指示部１３ｃが設けられている（図２参照）。

モード切替スイッチ１３ａは、観察モードの切り替え操作に用いられる。内視鏡システム１０は、観察モードとして通常観察モードと特殊観察モードとを有している。通常観察モードは、照明光に白色光を用いて観察対象を撮像して得られる画像をモニタ１８に表示するモードである。通常観察モードで観察対象を撮像して得られる画像を「通常観察画像」という。通常観察モードは「白色光観察モード」と言い換えることができる。通常観察画像は「白色光観察画像」と言い換えることができる。照明光は「観察光」と言い換えることができる。

特殊観察モードは、照明光に特定の波長帯域の狭帯域光を用いて観察対象を撮像して得られる画像信号を用いて、観察対象の特定深さ領域に在る血管を強調した可視化画像を生成し、血管の観察に適した画像をモニタ１８に表示するモードである。特殊観察モードで得られる画像を「特殊観察画像」という。特殊観察モードは「狭帯域観察モード」と言い換えることができる。特殊観察画像は「血管強調画像」若しくは「血管可視化画像」又は「狭帯域観察画像」と言い換えることができる。本例の内視鏡１２は、使用する狭帯域光の波長帯域の種類又はその組み合わせが異なる複数種類の特殊観察モードを有している。

プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続される。モニタ１８は、観察対象の画像や観察対象の画像に付帯する情報等を出力表示する表示デバイスである。コンソール１９は、内視鏡システム１０の機能設定や各種指示等の入力操作を受け付けるユーザインターフェースとして機能する。プロセッサ装置１６には、図１に示されていない外部記憶装置が接続されていてもよい。外部記憶装置には、観察対象の画像及び画像に付帯する情報等を記録することができる。図２に示したストレージ７０は外部記憶装置の一例であり、外付けの記録部として機能する。

図２に示すように、光源装置１４は、光源２０と、光源２０を制御する光源制御部２２と、を備えている。光源２０は、例えば、複数色のＬＥＤ（Light Emitting Diode）等の半導体光源、レーザーダイオードと蛍光体の組み合わせ、若しくはキセノンランプ等のハロゲン光源、又はこれらの適宜の組み合わせによって構成される。また、光源２０には、ＬＥＤ等の発光源が発光した光の波長帯域を調整するための図示されない光学フィルタ等が含まれる。

本実施形態の光源２０は、Ｖ−ＬＥＤ（Violet Light Emitting Diode）２３ａ、Ｂ−ＬＥＤ（Blue Light Emitting Diode）２３ｂ、Ｇ−ＬＥＤ（Green Light Emitting Diode）２３ｃ及びＲ−ＬＥＤ（Red Light Emitting Diode）２３ｄの四色のＬＥＤを有する。

図３は光源２０の分光スペクトルの例を示すグラフである。Ｖ−ＬＥＤ２３ａは、中心波長が４００ｎｍ±１０ｎｍ程度である波長帯域３８０ｎｍ〜４２０ｎｍの紫色光Ｖを発光する紫色半導体光源である。Ｂ−ＬＥＤ２３ｂは、中心波長が４５０ｎｍ±１０ｎｍ程度である波長帯域４２０ｎｍ〜５００ｎｍの青色光Ｂを発する青色半導体光源である。Ｇ−ＬＥＤ２３ｃは、中心波長が５４０ｎｍ±１０ｎｍ程度であり、波長帯域が４８０ｎｍ〜６００ｎｍに及ぶ緑色光Ｇを発する緑色半導体光源である。Ｒ−ＬＥＤ２３ｄは、中心波長が６２０ｎｍ±１０ｎｍ程度であり、波長帯域が６００ｎｍ〜６５０ｎｍに及ぶ赤色光Ｒを発光する赤色半導体光源である。なお、中心波長という用語は分光強度が極大になるピーク波長と読み替えてもよい。

光源制御部２２は、ＬＥＤ等の発光源の点灯（オン）及び消灯（オフ）やＬＥＤ等の駆動電流や駆動電圧の調整によって照明光の光量を制御する。また、光源制御部２２は、光学フィルタの変更等によって照明光の波長帯域を制御する。光源制御部２２は、光源２０の各ＬＥＤ２３ａ〜２３ｄに対して個別に制御信号を入力することにより、各ＬＥＤ２３ａ〜２３ｄの点灯や消灯並びに点灯時の発光量を各々独立に制御することができる。光源２０は、光源制御部２２の制御によって、観察対象に照射する複数種類の照明光を発生する。

本例の光源２０は、紫色波長帯域（約３５０ｎｍ〜４００ｎｍの波長帯域）に中心波長を有する紫色狭帯域光、青色波長帯域（約４００ｎｍ〜５００ｎｍの波長帯域）に中心波長を有する青色狭帯域光、緑色波長帯域（約５００ｎｍ〜６００ｎｍの波長帯域）に中心波長を有する緑色狭帯域光、及び赤色波長帯域（約６００ｎｍ〜６５０ｎｍの波長帯域）に中心波長を有する赤色狭帯域光など、複数種類の狭帯域光を発生することができる。

より具体的な例として、光源２０は、中心波長４０５ｎｍの紫色狭帯域光、中心波長４４５ｎｍの青色狭帯域光、中心波長５４０ｎｍの緑色狭帯域光、及び中心波長６２０ｎｍの赤色狭帯域光などの狭帯域光を発生させることができる。また光源２０は、中心波長４７０ｎｍの青色狭帯域光を発生させることが可能であり、中心波長が異なる２種類以上の青色狭帯域光を発生させることもできる。紫色狭帯域光、緑色狭帯域光、及び赤色狭帯域光の各々についても中心波長が異なる２種類以上の狭帯域光を発生させることができる。各狭帯域光の中心波長は光学フィルタの変更等によって指定することができる。

本開示において、光源２０が発生する中心波長４０５ｎｍの紫色狭帯域光を「紫色光Ｖ」と表記する場合がある。また、中心波長４４５ｎｍの青色狭帯域光を「青色光Ｂ」、中心波長５４０ｎｍの緑色狭帯域光を「緑色光Ｇ」、中心波長６２０ｎｍの赤色狭帯域光を「赤色光Ｒ」と表記する場合がある。

特殊観察モードが選択された場合、光源２０は複数種類の狭帯域光のうち、中心波長が互いに異なる少なくとも２種類以上の狭帯域光を発生し、各々の狭帯域光が照射された観察対象を撮像センサ４８によって撮像する。したがって、特殊観察モードでは、狭帯域光の種類に対応した複数種類の内視鏡画像が得られる。本実施形態では、特殊観察モードの場合に、光源２０は、中心波長が互いに異なる第１狭帯域光と第２狭帯域光の２種類の狭帯域光を交互に発生し得る。これら２種類の狭帯域光のうち第１狭帯域光は相対的に短波長側の狭帯域光であり、第２狭帯域光は相対的に長波長側の狭帯域光であるとする。つまり、第２狭帯域光の中心波長は第１狭帯域光の中心波長よりも長波長帯域にある。例えば、第１狭帯域光は中心波長が４０５ｎｍの紫色狭帯域光であり、第２狭帯域光は中心波長が４４５ｎｍ程度の青色狭帯域光である。

また、第１狭帯域光及び第２狭帯域光の組み合わせとは異なる第３狭帯域光及び第４狭帯域光の組み合わせを使用する別の特殊観察モードの場合に、光源２０は、中心波長が互いに異なる第３狭帯域光と第４狭帯域光の２種類の狭帯域光を交互に発生し得る。これら２種類の狭帯域光のうち第３狭帯域光は相対的に短波長側の狭帯域光であり、第４狭帯域光は相対的に長波長側の狭帯域光であるとする。つまり、第３狭帯域光の中心波長は第４狭帯域光の中心波長よりも長波長帯域にある。例えば、第３狭帯域光は中心波長が５４０ｎｍの緑色狭帯域光であり、第４狭帯域光は中心波長が６２０ｎｍ程度の赤色狭帯域光である。

本実施形態では、中心波長が短い順に第１狭帯域光、第２狭帯域光、第３狭帯域光、及び第４狭帯域光の４種類の狭帯域光を例示し、これらの狭帯域光を選択的に切り替えて特殊観察画像を生成する形態を説明する。なお、発明の実施に際して、狭帯域光の種類はこの例に限らず、更に多数種の狭帯域光を使用する形態も可能である。

また光源２０は、白色光を発生することができる。通常観察モードの場合、光源制御部２２は、Ｖ−ＬＥＤ２３ａ、Ｂ−ＬＥＤ２３ｂ、Ｇ−ＬＥＤ２３ｃ、及びＲ−ＬＥＤ２３ｄを全て点灯させる。このため、通常観察モードでは、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む広い波長帯域の白色光が照明光として用いられる。光源装置１４は「光源部」の一形態に相当する。

光源２０が発した照明光は、図示されないミラーやレンズ等で形成される光路結合部を介してライトガイド４１に入射される。ライトガイド４１は内視鏡１２及びユニバーサルコードに内蔵されている。ユニバーサルコードは、内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコードである。ライトガイド４１は、挿入部１２ａ内に挿通されており、光源２０が発生した照明光を内視鏡１２の先端部１２ｄまで伝搬する。

内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有している。ライトガイド４１によって伝搬された照明光は照明レンズ４５を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６、ズームレンズ４７及び撮像センサ４８を有している。照明光を照射したことによる観察対象からの反射光、散乱光及び蛍光等の各種の光は、対物レンズ４６及びズームレンズ４７を介して撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の像が結像される。ズームレンズ４７は、ズーム操作部１３ｂの操作に応じてテレ端とワイド端との間で自在に移動され、撮像センサ４８に結像する観察対象の像を拡大又は縮小する。

撮像センサ４８は、画素毎にＲ（赤色）、Ｇ（緑色）、又はＢ（青色）のカラーフィルタのいずれかが設けられたカラー撮像センサである。撮像センサ４８は、観察対象を撮像してＲＧＢ各色チャンネルの画像信号を出力する。撮像センサ４８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal−Oxide Semiconductor）撮像センサを利用可能である。また、原色のカラーフィルタが設けられた撮像センサ４８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いてもよい。補色撮像センサを用いる場合には、ＣＭＹＧの四色の画像信号が出力される。このため、補色−原色色変換によって、ＣＭＹＧの四色の画像信号をＲＧＢの三色の画像信号に変換することにより、撮像センサ４８と同様のＲＧＢ画像信号を得ることができる。また、撮像センサ４８の代わりに、カラーフィルタを設けていないモノクロセンサを用いてもよい。

図４は撮像センサ４８に使用されているカラーフィルタの分光特性を示すグラフである。横軸は波長を表し、縦軸は透過率を表す。図４においてＢ−ＣＦはＢカラーフィルタ、Ｇ−ＣＦはＧカラーフィルタ、Ｒ−ＣＦはＲカラーフィルタのそれぞれの分光特性を示している。紫色から青色の波長帯域の光は、撮像センサ４８においてＢカラーフィルタが設けられたＢ画素で受光される。緑色の波長帯域の光は撮像センサ４８においてＧカラーフィルタが設けられたＧ画素で受光される。赤色の波長帯域の光は撮像センサ４８においてＲカラーフィルタが設けられたＲ画素で受光される。撮像センサ４８のＲＧＢ各色の画素から受光光量に応じた信号が出力される。

例えば、特殊観察モードにおいて、紫色の波長帯域である第１狭帯域光が照明光として用いられた場合、撮像センサ４８は、第１狭帯域光が照射された観察対象を撮像し、第１狭帯域光に対応する第１画像信号をＢ画素から出力する。また、特殊観察モードにおいて、青色の波長帯域である第２狭帯域光が照明光として用いられた場合、撮像センサ４８は、第２狭帯域光に対応する第２画像信号をＢ画素から出力する。

内視鏡１２は、ＡＦＥ（Analog Front End）回路５１とＡＤ（Analog to Digital）コンバータ５２を備える。撮像センサ４８が出力する画像信号はＡＦＥ回路５１に入力される。ＡＦＥ回路５１は、相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）回路及び自動利得制御（ＡＧＣ；Automatic Gain Control）回路を含む。ＡＦＥ回路５１は、撮像センサ４８から得られるアナログの画像信号に相関二重サンプリングや自動利得制御を行う。ＡＦＥ回路５１を経た画像信号は、ＡＤコンバータ５２によりデジタル画像信号に変換される。ＡＤ（Analog to Digital）変換後のデジタル画像信号はプロセッサ装置１６に入力される。なお、ＡＦＥ回路５１にＡＤコンバータ５２を搭載する形態も可能である。

プロセッサ装置１６は、画像信号取得部５３と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ低減部５８と、メモリ５９と、信号処理部６０と、映像信号生成部６８と、を備えている。

画像信号取得部５３は、内視鏡１２からデジタル画像信号を取得する。ＤＳＰ５６は、画像信号取得部５３を介して取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。

ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。ガンマ変換処理後の画像信号には、デモザイク処理が施され、各画素で不足した色の信号が補間によって生成される。デモザイク処理は、等方化処理又は同時化処理とも呼ばれる。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。

ノイズ低減部５８は、ＤＳＰ５６でデモザイク処理等が施された画像信号に対してノイズ低減処理を施すことによってノイズを低減する。ノイズ低減処理として、例えば移動平均法やメディアンフィルタ法等による処理を採用することができる。ノイズ低減部５８によりノイズを低減した画像信号は、メモリ５９に記憶される。

信号処理部６０はノイズ低減後の画像信号をメモリ５９から取得する。信号処理部６０は、取得した画像信号に対して、必要に応じて、色変換処理、色彩強調処理、及び構造強調処理等の信号処理を施し、観察対象が写ったカラーの内視鏡画像を生成する。色変換処理は、画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ルックアップテーブル処理などにより色の変換を行う処理である。色彩強調処理は、色変換処理済みの画像信号に対して行う。構造強調処理は、例えば血管やピットパターン等の観察対象に含まれる特定の組織や構造を強調する処理であり、色彩強調処理後の画像信号に対して行う。

信号処理部６０における処理の内容は、観察モードによって異なる。観察モードが通常観察モードの場合、信号処理部６０は、観察対象が自然な色合いになる信号処理を施して通常観察画像を生成する。観察モードが特殊観察モードの場合、信号処理部６０は、少なくとも観察対象の血管を強調する信号処理を施して特殊観察画像を生成する。

信号処理部６０は、画像処理切替部６１と、通常観察画像処理部６６と、特殊観察画像処理部６７と、位置合わせ処理部６２と、明るさ補正処理部６３とを含み、通常観察モード及び特殊観察モードのそれぞれのモードに対応した信号処理を行う。

画像処理切替部６１は、モード切替スイッチ１３ａによる観察モードの設定に応じて、通常観察画像の生成処理又は特殊観察画像の生成処理の実施を切り替える。モード切替スイッチ１３ａの操作によって通常観察モードにセットされている場合、画像処理切替部６１は、メモリ５９から受信した画像信号を通常観察画像処理部６６に送信する。モード切替スイッチ１３ａの操作によって特殊観察モードにセットされている場合、画像処理切替部６１は、メモリ５９から受信した画像信号を位置合わせ処理部６２、明るさ補正処理部６３及び特殊観察画像処理部６７に送信する。

通常観察画像処理部６６は、通常観察モードに設定されている場合に作動する。通常観察画像処理部６６は白色光を観察対象に照射して撮像された画像信号に対して色変換処理、色彩強調処理及び構造強調処理を行い、通常観察画像信号を生成する。通常観察画像信号を用いたカラー画像が通常観察画像である。

特殊観察画像処理部６７は、特殊観察モードに設定されている場合に作動する画像処理部である。特殊観察画像処理部６７は、波長帯域が異なる二種類の狭帯域光のうちの相対的に短波長側である一方の狭帯域光を観察対象に照射して得られる第１画像信号と、相対的に長波長側である他方の狭帯域光を観察対象に照射して得られる第２画像信号とを用いて特定深さの血管を抽出し、抽出した血管を他の血管に対して色の違いによって表す特殊観察画像を生成する。

ここでは波長帯域が異なる二種類の狭帯域光として中心波長４０５ｎｍの紫色狭帯域光である第１狭帯域光と、中心波長４４５ｎｍの青色狭帯域光である第２狭帯域光とを用いる場合を例に説明するが、第１狭帯域光と第２狭帯域光の組み合わせに限らず、中心波長５４０ｎｍの緑色狭帯域光である第３狭帯域光と、中心波長６２０ｎｍの赤色狭帯域光である第４狭帯域光との組み合わせについても同様である。

第１画像信号と第２画像信号は、位置合わせ処理部６２及び明るさ補正処理部６３を介して特殊観察画像処理部６７に入力される。位置合わせ処理部６２は、順次取得された第１画像信号が表す観察対象と第２画像信号が表す観察対象との位置合わせを行う。位置合わせ処理部６２の位置合わせ処理により、第１画像信号と第２画像信号の画像間の相対的な位置の対応付けが行われ、第１画像信号と第２画像信号のそれぞれから同じ画像範囲を取り出すことができる。位置合わせ処理部６２は、第１画像信号又は第２画像信号のいずれか一方のみについて画像位置の補正を実施してもよいし、両方の画像信号について画像位置の補正を実施してもよい。本例では、第１画像信号を基準にして第２画像信号を第１画像信号の位置に合わせる処理を行う。

明るさ補正処理部６３は、位置合わせ処理部６２によって位置合わせされた第１画像信号及び第２画像信号の明るさが特定比になるように、第１画像信号及び第２画像信号のうち少なくとも一方の明るさを補正する。例えば、特殊観察モードに使用される二種類の狭帯域光の照射光量比は既知であるため、この照射光量比を用いて、それぞれ同等の光量の第１狭帯域光及び第２狭帯域光をそれぞれ観察対象に照射して得られる場合の画像の明るさになるように、第１画像信号の明るさと第２画像信号の明るさを一致させるゲイン補正を行う。また、例えば、明るさ補正処理部６３は、第１画像信号の全画素の画素値の平均値又は特定の画素領域の画素値の平均値を算出することにより、第１画像信号が表す観察対象の画像の明るさを算出し、かつ、第２画像信号の全画素の画素値の平均値又は特定の画素領域の画素値の平均値を算出することにより、第２画像信号が表す観察対象の画像の明るさを算出する。そして、第１画像信号が表す観察対象の画像の明るさと第２画像信号が表す観察対象の画像の明るさを一致させるゲインを算出し、算出したゲインを用いて第１画像信号の画素値及び第２画像信号の画素値の少なくとも一方を補正する。

第１画像信号が表す観察対象の画像の明るさと第２画像信号が表す観察対象の画像の明るさを一致させるゲインを算出し、算出したゲインを用いて第１画像信号の画素値及び第２画像信号の画素値の少なくとも一方を補正する。

特殊観察画像処理部６７は、明るさ補正が行われた第１画像信号と第２画像信号から観察対象の血管を強調する信号処理を施して特殊観察画像を生成する。例えば、特殊観察画像処理部６７が生成する特殊観察画像では、粘膜の表面を基準として観察対象内の相対的に浅い位置にある血管は、例えばブラウン色などのマゼンタ系の色になり、粘膜の表面を基準として観察対象内の比較的深い位置にある血管は、例えば緑色などのシアン系の色になる。このため、ピンク系の色で表される粘膜に対して、観察対象の血管が色の違いで強調される。なお、粘膜の表面を基準として比較的浅い位置に在る血管は「表層血管」と呼ばれる。表層血管のうち特に粘膜表面に近い極浅い位置にある血管は「極表層血管」と呼ばれる。また、粘膜の表面を基準として比較的深い位置に在る血管は「中深層血管」と呼ばれる。

信号処理部６０は、生成した内視鏡画像を映像信号生成部６８に入力する。映像信号生成部６８は、内視鏡画像をモニタ１８に出力表示するための映像信号に変換する。信号処理部６０にて生成された内視鏡画像は映像信号生成部６８を介してモニタ１８に表示させることができる。

静止画像取得指示部１３ｃが操作されてレリーズ指示が入力されると、信号処理部６０は、生成した内視鏡画像をストレージ７０に保存する処理を行う。また、信号処理部６０は、メモリ５９から読み込んだ画像信号、位置合わせ処理部６２で処理された画像信号、及び明るさ補正処理部６３で処理された画像信号のうちのいずれか、若しくは、これらの適宜の組み合わせをストレージ７０に保存することができる。

ストレージ７０は、プロセッサ装置１６に接続された外部記憶装置である。ストレージ７０は、ＬＡＮ（Local Area Network）等の通信回線を介してプロセッサ装置１６に接続されてもよい。ストレージ７０は、例えば、ＰＡＣＳ（Picture Archiving and Communication System）等の内視鏡画像をファイリングするシステムのファイルサーバや、ＮＡＳ（Network Attached Storage）等である。ストレージ７０に保存した内視鏡画像は画像処理装置７２で使用することができる。

画像処理装置７２は、内視鏡画像に画像処理を施して血管深さを推定する機能を有する装置である。画像処理装置７２は、内視鏡画像に画像処理を施して診断支援のため血管パラメータを算出する診断支援装置として機能する。

［特殊観察画像の生成方法］
まず、内視鏡システム１０における特殊観察画像の生成方法について説明する。特殊観察モードでは、観察対象を撮像するときに照射する照明光の深達度によって観察可能な血管が存在する粘膜下の深さが概ね決まっている。一般に、波長の短い光は深達度が浅く、粘膜表面付近で散乱吸収を受けて一部の光が反射光として観測される。観察対象である生体組織の光の吸収及び散乱特性は波長依存性があり、波長が長い光ほど深達度が深くなる。

図５は観察対象の散乱係数を示すグラフである。図５の横軸は波長を表し、縦軸は規格化された散乱係数を表している。図５に示すように、短波長になるほど散乱係数は大きくなる。散乱が大きいほど、生体組織の粘膜表層付近で反射される光が多く、中深層に到達する光が少ない。そのため、短波長であるほど深達度は浅く、長波長になるほど深達度は深い。散乱係数には個体差があるものの、波長依存性の傾向は共通している。

特殊観察モードで使用する複数種類の狭帯域光のそれぞれの波長帯域における観察対象の散乱係数は各狭帯域光の深達度、すなわち、その波長帯域で観察可能な血管の粘膜下の深さに関連する。しかし、既述のとおり、実際の観察対象について内視鏡画像から正確な散乱係数を把握することは困難である。

一方、各狭帯域光の波長帯域におけるヘモグロビンの吸収係数は、各狭帯域光で観察可能な血管のコントラストに関連する。

図６はヘモグロビンの吸収係数を示すグラフである。図６の横軸は波長を表し、縦軸は規格化された吸収係数を表している。図６から把握されるとおり、短波長の光はヘモグロビン吸収が大きく、かつ光の散乱も大きい（図５参照）。このため短波長の狭帯域光を照射して撮像した画像は、浅い位置に在る血管のコントラストが高いが、深い位置に在る血管のコントラストは急激に低くなる。一方、照明光に使用する狭帯域光が長波長になるに従い、浅い位置に在る血管のコントラストは低くなるが、深い位置に在る血管のコントラストの低下は比較的緩やかになる。このような特性を利用して、照明光の波長を変えて撮像した二つの画像の差分情報から、任意の深さの血管情報を可視化することができる。

例えば、短波長側の照明光として、中心波長４０５ｎｍの紫色狭帯域光と、中心波長４４５ｎｍの青色狭帯域光との二種類の波長帯域の照明光をそれぞれ照射して撮像を行うことにより得られた画像の一方を輝度信号に割り当て、両画像の差分画像を色差信号に割り当てることで、粘膜の表層に在る血管が抽出され、抽出された血管を強調した画像を作成することができる。

また、例えば、長波長側の照明光として、中心波長５４０ｎｍの緑色狭帯域光と、中心波長６２０ｎｍの赤色狭帯域光との二種類の波長帯域の照明光を使用する場合は、粘膜下のより深い層に在る血管を抽出することができ、抽出された血管を強調した画像を作成することができる。

特殊観察モードで使用する二種類の照明光は、観察対象の散乱係数が互いに異なり、かつ、ヘモグロビンの吸光係数がほぼ等しい波長帯域の光であることが望ましい。このような条件を満たす二種類の照明光を用いることにより、粘膜下の特定深さの血管を特に鮮明に抽出することができる。

「観察対象の散乱係数が互いに異なり、かつ、ヘモグロビンの吸光係数がほぼ等しい」という条件は、観察可能な血管の粘膜下の深さ（深達度）がそれぞれ異なり、かつ、粘膜下での深さが異なる血管が概ね同程度のコントラストに観察可能である二つの波長帯域の光を選択して用いるという条件を意味している。

なお、本実施形態で用いる中心波長４０５ｎｍの第１狭帯域光と中心波長４４５ｎｍの第２狭帯域光は、図６に示すように、ヘモグロビンの吸光係数（酸化ヘモグロビンの吸光係数：還元ヘモグロビンの吸光係数＝３:７）が概ね同程度である。中心波長４０５ｎｍの第１狭帯域光と中心波長４４５ｎｍの第２狭帯域光の組み合わせは、血管の抽出にとって好ましい組み合わせの一例である。

図７は特殊観察画像処理部６７の機能を示すブロック図である。特殊観察画像処理部６７は、演算画像信号生成部７６と、ローパスフィルタ（ＬＰＦ；low pass filter）処理部７７と、画像生成部７８とを備える。

演算画像信号生成部７６は、位置合わせ処理及び明るさ補正処理が施された第１画像信号と第２画像信号とを用いて演算をし、演算画像信号を生成する。具体的には、第１画像信号と第２画像信号の差又は比を算出する。本例の演算画像信号生成部７６は、第１画像信号及び第２画像信号のそれぞれを対数変換し、対数変換後の第１画像信号と第２画像信号の差、より具体的には第２画像信号から第１画像信号を減算した差分画像である演算画像信号ΔＢを生成する。対数変換は「Ｌｏｇ変換」とも呼ばれる。

第１画像信号及び第２画像信号は、各画素が受光量に比例する画素値を有するが、対数変換をすると、濃度に比例する画素値を有することになるので、各画像信号を得たときの照明光の照度によらず、安定した演算結果を得ることができる。本実施形態では、特殊観察モードで照明光として用いる第１狭帯域光と第２狭帯域光の照度には実質的な差がないとし、上記のように第１画像信号と第２画像信号の差によって演算画像信号ΔＢを生成する。

なお、第１画像信号と第２画像信号のそれぞれの画像信号を対数変換せずに、第１画像信号と第２画像信号をそのまま用いる場合には、第１画像信号と第２画像信号の比を画素毎に演算することにより、演算画像信号を生成してもよい。

図８は血管の深さと血管のコントラストの関係を模式的に表すグラフである。図８に示すように、照明光として紫色光Ｖと青色光Ｂの二種類を用いると、深さ範囲Ａ_ｓ及び深さ範囲Ａ_ｄの全範囲の血管、すなわち、概ね表層に在る血管（表層血管）を観察可能である。しかし、紫色光Ｖは青色光Ｂと比較して波長が短いため、観察対象への深達度が小さく、青色光Ｂに対して相対的に粘膜下の浅い位置の深さ範囲Ａ_ｓに在る血管しか写し出せない代わりに、浅い位置の深さ範囲Ａ_ｓに在る血管のコントラストは青色光Ｂを用いる場合よりも大きい。「血管のコントラスト」とは血管からの反射光量に対する周辺の粘膜からの反射光量の比を意味する。血管のコントラストは、血管の輝度Ｙ_Ｖと粘膜の輝度Ｙ_Ｍとを用いて、例えば「Ｙ_Ｖ／Ｙ_Ｍ」又は「（Ｙ_Ｖ−Ｙ_Ｍ）／（Ｙ_Ｖ＋Ｙ_Ｍ）」で算出することができる。

一方、青色光Ｂは紫色光Ｖと比較して波長が長いため、観察対象への深達度が深く、紫色光Ｖに対して相対的に粘膜下の深い位置の深さ範囲Ａ_ｄに在る血管まで写し出せる代わりに、浅い位置の深さ範囲Ａ_ｓに在る血管のコントラストは紫色光Ｖを用いる場合よりも小さい。

このため、青色光Ｂに対応する第２画像信号から紫色光Ｖに対応する第１画像信号を減算すれば、特に粘膜下の浅い位置の深さ範囲Ａ_ｓに在る極表層血管を表す画素の画素値は強調されて、大きい値（白色）になる。逆に、極表層血管よりも深い位置の深さ範囲Ａ_ｄにある血管を表す画素の画素値は小さい値（黒色）になる。演算画像信号ΔＢを算出することは、粘膜下の特定深さにある血管を抽出することに対応する。

ローパスフィルタ処理部７７は、演算画像信号生成部７６が生成した演算画像信号ΔＢにローパスフィルタを施すことにより低解像化の処理を行う。ローパスフィルタ処理部７７が演算画像信号ΔＢに施すフィルタ処理の強度は、ローパスフィルタのカットオフ周波数で定まる。ローパスフィルタのカットオフ周波数は予め設定され、少なくとも元の演算画像信号ΔＢの鮮鋭度よりは鮮鋭度を低下させる。ローパスフィルタ処理部７７のローパスフィルタ処理によって得られる演算画像信号は、元の演算画像信号よりもぼけた状態の画像になる。

画像生成部７８は、特殊観察画像処理部６７が受信する第１画像信号又は第２画像信号のいずれかと、ローパスフィルタ処理された演算画像信号ΔＢとを用いて、複数の出力チャンネルを有する画像を生成する。より具体的には、画像生成部７８は、輝度チャンネルＹと色差に関する二つの色差チャンネルＣｂ，Ｃｒとを有する画像を生成する。輝度チャンネルＹは第１チャンネルに相当し、二つの色差チャンネルＣｂ，Ｃｒはそれぞれ第２チャンネル及び第３チャンネルに相当する。画像生成部７８は、第１画像信号又は第２画像信号のいずれか一方を輝度チャンネルＹに割り当て、ローパスフィルタ処理された演算画像信号ΔＢを二つの色差チャンネルＣｂ，Ｃｒに割り当てることにより、特定深さの血管のパターンを色で強調した画像を生成する。こうして生成されたＹＣＣ画像又はこのＹＣＣ画像を色変換処理して得られるＲＧＢ画像を「血管強調画像」という。血管強調画像は「血管可視化画像」とも呼ばれる。「ＹＣＣ画像」とは輝度信号であるＹ信号と、色差信号であるＣｒ信号及びＣｂ信号によって表されるカラー画像を意味する。

図９は特定深さの血管強調画像を生成する際の信号チャンネルの割り当ての例を模式的に示した説明図である。図９におけるＢ１は第１画像信号を表している。本実施形態の場合、第１画像信号と第２画像信号のうち、相対的に短波長帯域の狭帯域光（紫色光Ｖ）に対応した第１画像信号を輝度チャンネルＹに割り当てる。つまり、相対的に極表層血管のコントラストが高い第１画像信号を輝度チャンネルＹに割り当てる。そして、色差チャンネルＣｂ，Ｃｒには演算画像信号ΔＢを割り当てる。演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てる際には、それぞれ係数αと係数βを乗じる。これは、表層血管等を強調観察する内視鏡システムが表示する画像と色味を揃えるためである。輝度チャンネルＹに第１画像信号を割り当てるのは、表層血管の中から極表層血管を選り分けて強調するためである。

表層血管を強調観察する観察モードを有する内視鏡システムにおいて、表層血管強調画像を生成する方法の一つとして、撮像画像のＢ画像信号とＧ画像信号を利用する次のような方法がある。すなわち、表層血管観察モードの場合に、狭帯域の青色光を照射して観察対象を撮像してＢ画像信号を取得し、かつ、狭帯域の緑色光を照射して観察対象を撮像してＧ画像信号を取得する。そして、Ｂ画像信号を表示用の画像のＢチャンネルとＧチャンネルに割り当て、Ｇ画像信号をＲチャンネルに割り当てることにより、粘膜下の深い位置にある中深層血管を緑色系（シアン系）の色にし、粘膜下の浅い位置にある表層血管を赤色系（マゼンタ系）の色にして強調表示する。

国際電気通信連合の規格であるＩＴＵ−Ｒ．６０１では、ＲＧＢ各画像信号と輝度チャンネルＹ及び色差チャンネルＣｂ及びＣｒの関係は、下記の式（１）、式（２）及び式（３）で表される。なお、ＩＴＵは「International Telecommunication Union」の略語表記である。

Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ …（１）
Ｃｂ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５Ｂ …（２）
Ｃｒ＝０．５Ｒ−０．４１９Ｇ−０．０８１Ｂ …（３）
そして、色差チャンネルＣｂ，Ｃｒの式（２）及び式（３）において、ＲにＧを代入し、ＧにＢを代入すると、式（４）及び式（５）に示すように色差チャンネルＣｂ，Ｃｒを（Ｇ−Ｂ）で表すことができる。

Ｃｂ＝−０．１６９Ｇ＋０．１６９Ｂ＝−０．１６９（Ｇ−Ｂ）…（４）
Ｃｒ＝０．５Ｇ−０．５Ｂ＝０．５（Ｇ−Ｂ） …（５）
上述の方法に対して、本実施形態における特殊観察モードでは、紫色の波長帯域である第１狭帯域光と青色の波長帯域である第２狭帯域光とを用いて第１画像信号と第２画像信号を得て、極表層血管を抽出及び表示するため、式（４）及び式（５）の（Ｇ−Ｂ）信号に代えて、演算画像信号ΔＢを用いる。すなわち、係数α＝−０．１６９を乗じて演算画像信号ΔＢを色差信号Ｃｂに割り当て、係数β＝０．５を乗じて演算画像信号ΔＢを色差信号Ｃｒに割り当てる。

これにより、本実施形態の内視鏡システム１０の特殊観察モードにおいて、上述の表層血管観察モードによって得られる表層血管強調画像と概ね同配色の血管強調画像を得ることができる。ただし、本実施形態において、極表層血管と、比較的深い位置にある表層血管との色の違いを強調するために、設定等に応じて、係数α及び係数βにさらに係数を乗じる場合がある。

なお、輝度チャンネルＹ及び色差チャンネルＣｂ，ＣｒからＲＧＢの血管強調画像を生成するには、ＩＴＵ−Ｒ．６０１の逆変換にしたがって、下記の式（６）、式（７）及び式（８）によって行う。

Ｒ＝Ｙ＋１．４０２Ｃｒ …（６）
Ｇ＝Ｙ−０．３４４Ｃｂ−０．７１４Ｃｒ …（７）
Ｂ＝Ｙ＋１．７７２Ｃｂ …（８）
こうして特殊観察画像処理部６７で生成された特定深さの血管強調画像は、映像信号生成部６８に入力される。映像信号生成部６８は特定深さの血管強調画像をモニタ１８で表示可能な画像として表示するための映像信号に変換する。この映像信号を用いて、モニタ１８に特定深さの血管強調画像が表示される。

［特殊観察モードにおける画像処理の概要］
図１０は特殊観察モードにおける画像処理の手順を示すフローチャートである。特殊観察モードが選択されると、プロセッサ装置１６により図１０に示す画像処理が実行される。ステップＳ１１において、光源２０は第１波長帯域の狭帯域光である照明光を発生する。第１波長帯域は例えば中心波長が４０５ｎｍの紫色波長帯域である。ステップＳ１１において光源２０から発せられる照明光を第１照明光という。光源２０から発せられた第１照明光は観察対象に照射される。

ステップＳ１２において、撮像センサ４８は、第１照明光が照射された観察対象を撮像し、第１照明光に対応する画像信号を出力する。

ステップＳ１３において、画像信号取得部５３は、撮像センサ４８から第１照明光に対応する画像信号を取得する。ステップＳ１３で取得される画像信号は、既に説明した第１画像信号に相当する。ステップＳ１３により得られる撮像画像の一例を図１１に示す。図１１は中心波長４０５ｎｍの第１狭帯域光を用いて撮像された撮像画像の例である。図１１では極表層血管１１２を含む表層の血管が鮮明に写し出されている。

図１０のステップＳ１５において、明るさ補正処理部６３は、取得した第１画像信号について光量補正を行う。光量補正は照明光の光量に応じて画像全体の明るさを補正する処理である。光量補正は「明るさ補正処理」と同義である。

ステップＳ１６において、演算画像信号生成部７６は、光量補正された第１画像信号に対数変換を施す。

また、ステップＳ１３の後、光源２０は第２波長帯域の狭帯域光である照明光を発生する（ステップＳ２１）。第２波長帯域は例えば中心波長が４４５ｎｍの青色波長帯域である。ステップＳ２１において光源２０から発せられる照明光を第２照明光という。光源２０から発せられた第２照明光は観察対象に照射される。

ステップＳ２２において、撮像センサ４８は、第２照明光が照射された観察対象を撮像し、第２照明光に対応する画像信号を出力する。

ステップＳ２３において、画像信号取得部５３は、撮像センサ４８から第２照明光に対応する画像信号を取得する。ステップＳ２３で取得される画像信号は、既に説明した第２画像信号に相当する。

ステップＳ２４において、位置合わせ処理部６２は、ステップＳ１３にて取得された第１画像信号とステップＳ２３にて取得された第２画像信号の位置合わせ処理を行う。本例では第２画像信号の画像位置を補正する処理を行う。ステップＳ２４により得られる撮像画像の一例を図１２に示す。図１２は中心波長４４５ｎｍの第２狭帯域光を用いて撮像された撮像画像の例である。図１２では図示の制約上十分に表現されていないが、図１２に示した撮像画像は図１１の撮像画像と比較して極表層血管１１２のコントラストが著しく低下している。また、極表層血管１１２よりも深い位置に在る表層血管１１４は、図１１と比較してコントラストの低下が緩やかである。

図１０のステップＳ２５において、明るさ補正処理部６３は、取得した第２画像信号について光量補正を行う。

ステップＳ２６において、演算画像信号生成部７６は、光量補正された第２画像信号に対数変換を施す。

ステップＳ２８において、演算画像信号生成部７６は、ステップＳ２６にて対数変換された第２画像信号とステップＳ１６にて対数変換された第１画像信号との差分画像を生成する差分処理を行う。ステップＳ２８の差分処理では、第２画像信号から第１画像信号を減算する演算によって差分画像を表す演算画像信号が生成される。ステップＳ２８にて生成される演算画像信号は、既に説明した演算画像信号ΔＢに相当する。

ステップＳ２９において、ローパスフィルタ処理部７７は、ステップＳ２８にて生成された演算画像信号にローパスフィルタ処理を施す。

その後、ステップＳ３０において、画像生成部７８は、ステップＳ１６にて対数変換された第１画像信号を輝度信号である輝度チャンネルＹに割り当て、かつ、ステップＳ２９にて低解像化された演算画像信号を色差信号である色差チャンネルＣｒ，Ｃｂに割り当てることにより、血管強調画像を生成する。また、画像生成部７８は、ＹＣＣ画像からＲＧＢ画像に変換する色変換処理を行い、血管強調画像を表すＲＧＢ画像１００を生成する。

ステップＳ３０により生成された血管強調画像はモニタ１８に表示される。また、ステップＳ３０により生成された血管強調画像はストレージ７０に保存することができる。

ステップＳ３０を経て生成される出力画像の例を図１３に示す。図１３では図示の制約上十分に表現されていないが出力画像として表層血管が強調されたカラー画像が得られる。

このようにして生成された血管強調画像では、粘膜下の極表層に在る極表層血管がマゼンタ系の色に着色して表示され、極表層よりも深い位置の表層に在る表層血管がシアン系の色に着色して表される。したがって、血管強調画像では極表層血管と表層血管とを色で識別可能であり、特に、極表層血管の観察が容易な血管可視化画像としてモニタ１８に表示される。

［具体的な画像例１］
図１４は第１照明光として中心波長４０５ｎｍの第１狭帯域光を用いて撮像された撮像画像の例である。図１４は図１０のステップＳ１３で取得される第１画像信号の画像例に相当する。図１４に示した撮像画像を第１撮像画像１１０という。第１撮像画像１１０には、極表層血管１１２と表層血管１１４が写し出されている。先に説明した図１１は図１４の一部を拡大した画像に相当している。

図１５は第２照明光として中心波長４４５ｎｍの第２狭帯域光を用いて撮像された撮像画像の例である。図１５は図１０のステップＳ２３で取得される第２画像信号の画像例に相当する。図１５に示した撮像画像を第２撮像画像１２０という。第２撮像画像１２０は、第１撮像画像１１０と比較して、極表層血管１１２と表層血管１１４のコントラストが低下している。先に説明した図１２は図１５の一部を拡大した画像に相当している。

図１６は第１撮像画像１１０と第２撮像画像１２０の差分による演算画像信号を用いて生成された血管強調画像の例である。先に説明した図１３は図１６の一部を拡大した画像に相当している。

［具体的な画像例２］
上述の画像例１では、短波長側の第１狭帯域光と第２狭帯域光を照明光として用いる例を説明したが、長波長側の二種類の狭帯域光を用いることにより、更に深い層に在る血管を抽出することができる。例えば、中心波長が５４０ｎｍの緑色波長帯域の狭帯域光と、中心波長が６２０ｎｍの赤色波長帯域の狭帯域光とを用い、それぞれの狭帯域光に対応する画像信号を得て、これらの画像信号から血管強調画像を生成することができる。

図１７は第１照明光として中心波長５４０ｎｍの第３狭帯域光を用いて撮像された撮像画像の例である。図１７は図１０のステップＳ１３で取得される第１画像信号の他の画像例に相当する。図１７に示した撮像画像を第３撮像画像１３０という。第３撮像画像１３０では、表層血管１３２と中層血管１３４が写し出されている。

図１８は第２照明光として中心波長６２０ｎｍの第４狭帯域光を用いて撮像された撮像画像の例である。図１８は図１０のステップＳ２３で取得される第２画像信号の他の画像例に相当する。図１８に示した撮像画像を第４撮像画像１４０という。第４撮像画像１４０は、第３撮像画像１３０と比較して、表層血管１３２と中層血管１３４のコントラストが低下している。

図１９は第３撮像画像１３０と第４撮像画像１４０の差分による演算画像信号を用いて生成された血管強調画像の例である。

図１４から図１６で例示した画像例１と、図１７から図１９で例示した画像例２とを比較すると明らかなように、照明光として使用する光の波長の違いにより、得られる血管強調画像は異なるものとなる。

［内視鏡画像から血管深さを推定する手段の概要］
上述のように波長帯域が異なる複数種類の狭帯域光を用いた撮像を行うことにより、様々な深さの血管を抽出して可視化することができる。更に、本実施形態の内視鏡システム１０は、内視鏡１２によって撮像された血管の深さ、特に、絶対的な血管深さの値を推定する機能を備えている。絶対的な血管の深さとは、例えば、粘膜の表面を基準として、生体組織内部に向かう深さ方向の距離である。

図２０は内視鏡システム１０によって得られる特殊観察画像の一例である。図２０には表層血管１４２と深層血管１４４の血管像が含まれた内視鏡画像の例が示されている。図２０に示すように、表層血管１４２と深層血管１４４では血管の形状に明らかな差異がある。本実施形態では、血管の形状パターンを病理学的な情報などを基に深さの値と対応付けておくことで、内視鏡１２で撮像された血管の形状パターンから血管の深さを推定する。

図２１は画像処理装置７２の機能を示すブロック図である。画像処理装置７２は、内視鏡画像取得部８１と、血管抽出画像生成部８２と、血管指定部８３と、血管形状判定部８４と、血管深さ推定部８５と、表示制御部８６とを備えている。また、画像処理装置７２は、入力デバイス８７や表示部８８を備えていてもよい。なお、図１で説明したコンソール１９が入力デバイス８７として機能してもよい。また、図１で説明したモニタ１８が表示部８８として機能してもよい。

画像処理装置７２の各機能部は、コンピュータのハードウエア及びソフトウエアの組み合わせによって実現することができる。また、画像処理装置７２の機能部の一部又は全部は集積回路によって実現してもよい。

内視鏡画像取得部８１は、ストレージ７０から内視鏡画像を取得する。内視鏡画像は、内視鏡１２によって撮影された画像を意味する。内視鏡画像という用語には、通常観察画像、特殊観察画像、並びに、特殊観察画像の元になる画像信号が含まれる。特殊観察画像の元になる画像信号とは、照明光に用いた狭帯域光の種類に対応した画像信号を指す。

内視鏡画像取得部８１を介して取得した内視鏡画像は表示制御部８６を介して表示部８８に表示させることができる。

血管抽出画像生成部８２は、内視鏡画像取得部８１を介して取得した画像信号から血管抽出画像を生成する処理を行う。血管抽出画像を生成する処理は、図１０のフローチャートで説明した血管強調画像を生成する画像処理と同様である。血管抽出画像は血管強調画像と読み替えることができる。

例えば、内視鏡画像取得部８１が図１０のステップＳ１３及びステップＳ２３のそれぞれの工程で得られる画像信号をストレージ７０から取得する場合、血管抽出画像生成部８２は、図１０のステップＳ１５、ステップＳ１６、及びステップＳ２５からステップＳ３０の処理を行う。

また、内視鏡画像取得部８１が図１０のステップＳ１５及びステップＳ２３のそれぞれの工程で得られる画像信号をストレージ７０から取得する場合、血管抽出画像生成部８２は、図１０のステップＳ１６、及びステップＳ２６からステップＳ３０の処理を行う。

なお、内視鏡画像取得部８１が図１０のステップＳ３０の処理を経て生成された血管強調画像をストレージ７０から取得する場合には、血管抽出画像生成部８２による処理は省略される。血管抽出画像生成部８２によって生成された血管抽出画像は表示制御部８６を介して表示部８８に表示させることができる。

血管指定部８３は、内視鏡画像に含まれている血管の中から血管深さを推定する対象となる注目血管を指定する。注目血管を指定する方法の一つとして、例えば、表示部８８に表示させた内視鏡画像上で、深さを推定する注目血管をユーザがユーザインターフェースを用いて指定する。入力デバイス８７は、注目血管の指定等に用いるポインティングデバイスやキーボードなどを含む。入力デバイス８７は表示部８８の表示画面と一体に構成されたタッチパネルであってもよい。注目血管は一つに限らず、複数であってもよく、血管群を注目血管に指定してもよい。内視鏡画像上に写し出されている全ての血管を注目血管として指定してもよい。例えば、ユーザに画像上で血管部分をクリックさせる、或いは血管に沿ってカーソルを移動させる等の方法により注目血管を直接選択させてもよいし、画像上で特定の注目領域を指定させ、その領域内に含まれる血管を注目血管として選択してもよい。

血管指定部８３は、自動指定処理部９０を含んでいてもよい。自動指定処理部９０は、内視鏡画像から注目血管を自動で決定する処理を行う。自動指定処理部９０は、内視鏡画像上に写し出されている血管のうちの一部又は全部を自動的に注目血管として指定する処理を行う。自動指定処理部９０による自動指定の方法の一つとして、例えば、撮像の際に照射した照明光の種類に応じて注目血管を自動的に指定する。具体的な例を示すと、短波長の照明光を照射して撮像した内視鏡画像の場合には、内視鏡画像内の微細な血管を注目血管に指定する一方、長波長側の照明光を照射して撮像した内視鏡画像の場合には、内視鏡画像内の比較的太い血管を注目血管に指定するという具合に、自動指定処理部９０は照明光の波長に応じて注目血管を切り替える処理を行う。

自動指定処理部９０は、相対的に短波長側の波長帯域である照明光を用いて撮像された撮像画像から抽出した血管のうち、規定の血管太さよりも細い血管を注目血管として指定する。また、自動指定処理部９０は、相対的に長波長側の波長帯域である照明光を用いて撮像された撮像画像から抽出した血管のうち、規定の血管太さよりも太い血管を注目血管として指定する。細い血管を指定する際の閾値となる「規定の血管太さ」と、太い血管を指定する際の閾値となる「規定の血管太さ」はそれぞれ適宜の値に予め設定しておくことができる。

画像処理装置７２は、内視鏡画像から血管の太さを測定する血管太さ測定部９１を有する。血管太さ測定部９１は血管抽出画像生成部８２によって生成された血管抽出画像から血管の太さを測定してもよいし、内視鏡画像取得部８１から取得した画像から血管の太さを測定してもよい。自動指定処理部９０は、血管太さ測定部９１によって得られる血管の太さ情報を利用して注目血管を指定することができる。自動指定処理部９０が血管太さ測定部９１の機能を具備する形態も可能である。

また、自動指定処理部９０の他の構成例として、内視鏡画像上で最もコントラストが高い血管の種類を注目血管に指定してもよい。血管指定部８３は、注目血管をユーザが手動で選択する手段と、注目血管を自動で決定する手段との少なくとも一方を有していればよいが、これら両方の手段を具備し、状況に応じて適宜使い分けることができる構成が好ましい。

なお、内視鏡画像上に写し出されている全ての血管を自動的に注目血管として扱う場合には、注目血管を指定する処理が省略され得る。すなわち、内視鏡画像の中に含まれている血管の全部を自動的に注目血管として扱う構成の場合、血管指定部８３が省略された形態もあり得る。もちろん、内視鏡画像上に写し出されている全ての血管を自動的に注目血管として扱う構成の場合について、自動指定処理部９０が内視鏡画像の中に含まれている血管の全部を注目血管に指定するものであると理解してもよい。

血管形状判定部８４は、血管指定部８３の指定に係る注目血管の血管像の形状パターンを判定する。血管の形状パターンは、例えば、上皮乳頭内ループ状毛細血管（ＩＰＣＬ；intra-epithelial papillary capillary loop）や柵状血管といったそれぞれの血管の種類ごとに分類される。

各種血管の形状パターンは、事前に決められた分類パターンによって判別することができる。分類パターンは、血管の種類ごとに用意された参照用の形状パターンである。血管形状判定部８４は、血管抽出画像の中の注目血管の部分を抽出し、その血管形状を分類パターンと照らし合わせることで、どの分類パターンに当てはまるかを探索して注目血管の形状パターンを判別する。

また、表層部分の血管像は、中深層の血管像と比較して複雑であるため、上述した分類パターンによるパターン認識の処理に代えて、又はこれと組み合わせて、血管像の形状パターンにおける分岐の数やループの数などの特徴量を使用して判定してもよい。例えば、注目血管の単位面積当りの分岐数やループ数がそれぞれ規定の数よりも多い場合には表層血管であると判定することができる。なお、血管形状パターンの判定に使用する特徴量は一種類であってもよいし、二種類以上の組み合わせであってもよい。

分類パターン記憶部９２には、予め用意された分類パターンのデータの集合体である分類パターンデータベースが記憶されている。また、分類パターン記憶部９２には、血管像における分岐数やループ数などの特徴量に関するデータが記憶されていてもよい。

血管形状判定部８４は、血管抽出画像の注目血管の血管部分を抽出し、分類パターン記憶部９２に記憶されているデータを用いて注目血管の形状パターンを判別する。形状パターンは、血管の太さの情報を含んでいてもよい。血管形状判定部８４は、血管太さ測定部９１から注目血管の太さの情報を取得することができる。なお、血管形状判定部８４が血管太さ測定部９１の機能を具備する形態も可能である。

血管の太さ（血管径）とは、血管と粘膜の境界線間の距離であり、例えば、抽出した血管のエッジから血管の中を通って血管の短手方向に沿って画素数を計数することにより計数する。血管の太さは画素数で表すことができるが、内視鏡画像を撮影した際の撮影距離やズーム倍率等が既知の場合には、マイクロメートル［μｍ］等の長さの単位に換算可能である。

ただし、血管抽出画像から血管の太さを測定する場合、光源のムラや照明光の光量変動などの影響により画素値が変動して正確な太さを測定できないことも考えられる。したがって、形状パターンは、血管の太さの情報を含んでいないパターンであることがより好ましい。例えば、形状パターンは、血管の中心線（芯線ともいう）を抽出した線画のパターンや、ループ状パターン、分岐状パターンなどの幾何学的特徴を捉えたパターンであることが好ましい。太さの情報を含まない形状パターンと太さの情報とを組み合わせて血管形状を判定してもよい。

血管深さ推定部８５は、血管形状判定部８４が判定した血管の形状パターンから血管深さを推定する。本実施形態の血管深さ推定部８５は、血管形状と深さとが対応付けられた対応情報を利用して注目血管の血管深さを推定する。各種血管の血管形状と深さ対応関係を規定する対応情報は、病理学的な情報などを基に、事前に用意しておく。

血管の種類としては、主に、生体組織表層に分布する表層血管と、その下方に位置する中深層血管とがある。表層血管と中深層血管とでは内視鏡画像において描写される血管像が異なる（図２０参照）。

例えば、食道の場合、ＩＰＣＬなどの細い血管であれば表層の血管、柵状血管であれば深層の血管として判断することができる。表層血管は深さが概ね５０μｍ付近、深層血管は深さが概ね２００μｍ付近であることが知られている。このような対応情報を活用することで、注目血管の絶対的な深さを知ることができる。

対応情報データベース記憶部９４には、様々な血管についての血管形状と深さの対応関係を規定した対応情報の集合体である対応情報データベースが記憶されている。対応情報は、観察対象となる生体組織の部位別に用意されており、観察対象である被観察部位に応じて該当する対応情報が参照される。

血管深さ推定部８５は、血管形状判定部８４によって判定された形状パターンを対応情報データベースに照らし合わせることで血管深さを推定する。例えば、注目血管が表層血管の場合は「５０μｍ」、深層血管の場合は「２００μｍ」という具合に、絶対的な深さの数値を定めることができる。

また、血管深さ推定部８５は、注目血管が表層血管又は深層血管のどちらにも当てはまらない中層の血管である場合、例えば、表層血管よりも太く、かつ、深層血管よりも細い血管などの場合、表層血管の深さの値と深層血管の深さの値の間の値に推定してもよい。このように血管の形状パターンと太さの情報とを組み合わせて血管深さを推定してもよい。この場合、血管深さ推定部８５は、血管太さ測定部９１から血管の太さの情報を取得し得る。なお、血管深さ推定部８５が血管太さ測定部９１の機能を具備する形態も可能である。

血管深さ推定部８５により推定した血管深さの情報は表示制御部８６に送られる。表示制御部８６は、表示部８８の表示を制御する。表示制御部８６は、血管深さ推定部８５により推定した血管深さの情報を、注目血管が含まれている画像と共に表示部８８に表示させる表示制御を行う。また、表示制御部８６は、内視鏡画像取得部８１を介して取得した内視鏡画像及び血管抽出画像生成部８２が生成した血管抽出画像のいずれか若しくはこれらの組み合わせを表示部８８に表示させることができる。表示制御部８６は、入力デバイス８７による表示画像の選択若しくは切替の指示や、１画面表示とマルチ画面表示のなどの表示モードの切替の指示に従い、表示部８８の表示内容を制御する。表示制御部８６と表示部８８の組み合わせは「情報提示部」の一形態に相当する。

［血管深さの推定に関する処理フロー］
図２２は本実施形態の内視鏡システム１０において血管深さを推定する処理の流れを示すフローチャートである。図２２に示す動作は画像処理装置７２の作動方法と理解することができる。また、図２２に示す動作は内視鏡システム１０の作動方法と理解することができる。

ステップＳ５１において、内視鏡システム１０は内視鏡画像を取得する。ステップＳ５１は「画像信号取得工程」の一形態に相当する。プロセッサ装置１６の画像信号取得部５３が内視鏡１２から画像信号を取得する工程はステップＳ５１の内視鏡画像取得工程の一形態に相当する。また、画像処理装置７２の内視鏡画像取得部８１がストレージ７０から内視鏡画像を取得する工程はステップＳ５１の内視鏡画像取得工程の一形態に相当する。

ステップＳ５２において、内視鏡システム１０はステップＳ５１で取得した内視鏡画像を基に血管抽出画像を生成する。血管抽出画像は、血管像を抽出或いは強調する処理を経て生成される画像である。「抽出」には他と区別して認識する処理や区別可能に差別化する処理の概念も含まれる。血管強調画像である特殊観察画像は血管抽出画像の一形態に相当する。また、血管抽出画像は、複数の血管強調画像を基に合成された合成画像であってもよいし、通常観察画像と特殊観察画像とを合成した画像であってもよい。

プロセッサ装置１６の信号処理部６０が血管強調画像を生成する工程はステップＳ５２の血管抽出画像生成工程の一形態に相当する。また、画像処理装置７２の血管抽出画像生成部８２が血管抽出画像を生成する工程はステップＳ５２の血管抽出画像生成工程の一形態に相当する。

ステップＳ５３において、血管指定部８３は注目血管を指定する。既述のとおり、ユーザの操作に基づいて注目血管が指定されてもよいし、内視鏡画像から自動的に指定されてもよい。なお、内視鏡画像内の全血管を自動的に注目血管とする場合、ステップＳ５３の血管指定工程を省略してもよい。

ステップＳ５４において、血管形状判定部８４は注目血管の血管形状を判定する。血管形状判定部８４はステップＳ５１で取得された画像信号を基に注目血管の形状パターンを判定する。ステップＳ５４は「血管形状判定工程」の一形態に相当する。

ステップＳ５５において、血管深さ推定部８５はステップＳ５４で判定された形状パターンに基づいて注目血管の血管深さを推定する。ステップＳ５５は「血管深さ推定工程」の一形態に相当する。

ステップＳ５６において、血管深さ推定部８５はステップＳ５５で推定した血管深さの情報を出力する。具体的な出力形態の一例として、血管深さ推定部８５により推定した血管深さの情報は注目血管を含む画像と共に表示部８８に表示される。

図２３は表示部８８の表示画面の例である。血管が抽出された内視鏡画像１５０において注目血管１５２が指定されると、画面内の血管深さ表示ウインドウ１５４に注目血管１５２の血管深さが表示される。血管指定枠１５６は内視鏡画像１５０上で注目血管１５２が含まれる領域を示す操作支援用のマークである。ユーザは入力デバイス８７を操作することにより、内視鏡画像１５０上で血管指定枠１５６を移動させることができる。血管指定枠１５６によって注目血管の選択並びに変更が可能である。

［第１実施形態の作用効果］
第１実施形態によれば、観察対象の散乱係数の情報を用いることなく、絶対的な血管深さを推定することができる。また、推定された血管深さの情報を内視鏡画像と共に表示部８８に表示することにより、診断に有益な情報を提供することができる。

［第２実施形態］
第１実施形態では、内視鏡システム１０が内視鏡画像をストレージ７０に保存し、画像処理装置７２がストレージ７０から内視鏡画像を取得して血管深さを推定する構成を説明したが、観察対象を観察しながらほぼリアルタイムに内視鏡システム１０が血管深さを推定する処理を実行してもよい。

図２４は第２実施形態に係る内視鏡システムのプロセッサ装置の機能を示すブロック図である。図２４において図２及び図２１で説明した構成と同一又は類似する要素には同一の符号を付し、その説明は省略する。図２４では図２で説明した内視鏡１２と光源装置１４の図示が省略されているが第２実施形態の内視鏡システムにおいて内視鏡１２と光源装置１４は第１実施形態と同様の構成を採用し得る。図２に示したプロセッサ装置１６に代えて、図２４に示すプロセッサ装置１６Ａを用いることができる。プロセッサ装置１６Ａは、図２で説明した画像処理装置７２の機能を備えている。また、プロセッサ装置１６Ａは、装置内部にストレージ７０の役割を果たす記憶部を備えている。

コンソール１９は図２１で説明した入力デバイス８７の役割を果たす。モニタ１８は図２１で説明した表示部８８の役割を果たす。したがって、第２実施形態においては入力デバイス８７と表示部８８を省略した構成とすることができる。

内視鏡画像取得部８１は、ストレージ７０を介さずに、信号処理部６０から内視鏡画像を取得することができる。特殊観察モードにおいて信号処理部６０が図１０のフローチャートに従い血管強調画像を生成する場合、血管抽出画像生成部８２による処理を省略して、血管指定部８３が信号処理部６０から血管強調画像を取得してもよい。また、血管指定部８３が省略される形態の場合、血管形状判定部８４が信号処理部６０から血管強調画像を取得してもよい。

血管太さ測定部９１は信号処理部６０によって生成された内視鏡画像から血管の太さを測定してもよい。第２実施形態におけるプロセッサ装置１６Ａは「画像処理装置」の一形態に相当する。

第２実施形態によれば、第１実施形態と同様に、注目血管の血管深さを推定することができる。また、第２実施形態によれば、静止画像取得指示部１３ｃからの指示の有無によらず、特殊観察モードにて逐次生成される内視鏡画像を用いて血管深さを推定することが可能である。

発明の実施に際しては、上述した第１実施形態及び第２実施形態に限らず、様々な形態があり得る。以下、実施形態についての幾つかの変形例を開示する。

［変形例１］
図２３で説明した分類パターン記憶部９２若しくは対応情報データベース記憶部９４又はこれらの両方は、画像処理装置７２と別体の外部装置に備えられていてもよい。例えば、画像処理装置７２と通信可能に接続されるサーバに分類パターン記憶部９２若しくは対応情報データベース記憶部９４又はこれらの両方が搭載されていてもよい。

［変形例２］
血管深さ推定部８５が推定した血管深さの情報はストレージ７０に保存してもよい。例えば、注目血管の内視鏡画像に血管深さの情報を組み合わせた画像のデータをストレージ７０に保存できる構成であってもよい。

［変形例３］
血管深さ推定部８５が推定した血管深さの情報を光源制御部２２に供給して、注目血管の観察に適した照明光を選択する制御を行ってもよい。

［変形例４］
注目血管をユーザが手動で指定する際に表示部８８に表示させる画像は、特殊観察画像に限らず、通常観察画像であってもよく、通常観察画像と特殊観察画像とを合成して得られる合成画像であってもよい。

［変形例５］
図１０のフローチャートでは、波長の異なる二種類の照明光をそれぞれ用いて撮像した画像から血管強調画像を生成する例を説明したが、波長の異なる三種類以上の照明光をそれぞれ用いて撮像した複数枚の画像から血管を抽出してもよい。

[変形例６]
上記実施形態では、ローパスフィルタ処理部７７で用いるＬＰＦのカットオフ周波数は予め設定されているが、ＬＰＦのカットオフ周波数を可変にし、ＬＰＦのカットオフ周波数を動的に設定することが好ましい。例えば、ローパスフィルタ処理部７７に、位置合わせ処理部６２から第１画像信号と第２画像信号の位置合わせ精度の情報が入力されるようにする。そして、ローパスフィルタ処理部７７は、第１画像信号と第２画像信号の位置合わせ精度に応じてＬＰＦのカットオフ周波数、つまり、低解像化処理の強度を変更する。位置合わせ精度が高いほど、ＬＰＦのカットオフ周波数を高周波数に設定して低解像化処理の強度を小さくし、位置合わせ精度が低いほど、ＬＰＦのカットオフ周波数を低周波数に設定して低解像化処理の強度を大きくするとよい。

なお、血管強調画像を静止画として表示又は保存する場合、ＬＰＦのカットオフ周波数は、生成する血管強調画像の解像度を基準として、少なくともナイキスト周波数の１／８以下の周波数を残す範囲内で設定することが好ましい。

[変形例７]
変形例６では、位置合わせ処理部６２の位置合わせ処理の精度に応じて、ローパスフィルタ処理部７７が低解像度化処理の強度を調節しているが、これとは逆に、ローパスフィルタ処理部７７が行う低解像化処理の強度に応じて、位置合わせ処理部６２が位置合わせ処理の精度を調節してもよい。この場合、位置合わせ処理部６２は、ＬＰＦのカットオフ周波数が大きく、低解像化処理の強度が小さく設定されているほど、第１画像信号と第２画像信号の位置合わせ精度を高く設定する。

位置合わせ処理部６２が行う第１画像信号と第２画像信号との位置合わせ処理の精度は可変にし、血管強調画像の静止画を表示又は保存する場合と、血管強調画像の動画を表示する場合とで位置合わせ処理の精度を変えることが好ましい。例えば、モニタ１８に血管強調画像の動画を表示する場合には、位置合わせ処理部６２は、血管強調画像の静止画をモニタ１８に表示する（あるいは保存する）場合よりも低い第１精度で位置合わせをする。これとは逆に、血管強調画像の静止画をモニタ１８に表示する場合、位置合わせ処理部６２は、血管強調画像の動画をモニタ１８に表示する場合よりも高い第２精度で位置合わせをする。こうすると、動画表示時には、色ずれが目立たない範囲内で高速に血管強調画像を生成することができ、かつ、色ずれが目立ちやすい静止画の取得時には、色ずれが一層抑制された血管強調画像を生成することができる。

[変形例８]
ローパスフィルタ処理部７７に代えて、演算画像信号ΔＢを縮小し、その後元の大きさにまで拡大する処理を行うことでも低解像化することができる。このように、演算画像信号ΔＢを縮小及び拡大して低解像化する場合、演算画像信号ΔＢの縮小時には、エリアジングの少ない縮小方法を採用することが好ましい。例えば、面積平均法によって縮小した後、キュービックスプライン補間によって拡大して、演算画像信号ΔＢを低解像化することができる。

［変形例９］
図１で説明した内視鏡１２に代えて、カプセル内視鏡を用いるカプセル内視鏡システムにも本発明を適用することができる。

以上、本発明の実施形態及び変形例について説明したが、本発明はこれらの実施形態及び変形例に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能である。

１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｅ アングルノブ
１３ａ モード切替スイッチ
１３ｂ ズーム操作部
１３ｃ 静止画像取得指示部
１４ 光源装置
１６、１６Ａ プロセッサ装置
１８ モニタ
１９ コンソール
２０ 光源
２２ 光源制御部
２３ａ Ｖ−ＬＥＤ
２３ｂ Ｂ−ＬＥＤ
２３ｃ Ｇ−ＬＥＤ
２３ｄ Ｒ−ＬＥＤ
３０ａ 照明光学系
３０ｂ 撮像光学系
４１ ライトガイド
４５ 照明レンズ
４６ 対物レンズ
４７ ズームレンズ
４８ 撮像センサ
５１ ＡＦＥ回路
５２ ＡＤコンバータ
５３ 画像信号取得部
５６ ＤＳＰ
５８ ノイズ低減部
５９ メモリ
６０ 信号処理部
６１ 画像処理切替部
６２ 位置合わせ処理部
６３ 明るさ補正処理部
６６ 通常観察画像処理部
６７ 特殊観察画像処理部
６８ 映像信号生成部
７０ ストレージ
７２ 画像処理装置
７６ 演算画像信号生成部
７７ ローパスフィルタ処理部
７８ 画像生成部
８１ 内視鏡画像取得部
８２ 血管抽出画像生成部
８３ 血管指定部
８４ 血管形状判定部
８５ 血管深さ推定部
８６ 表示制御部
８７ 入力デバイス
８８ 表示部
９０ 自動指定処理部
９１ 血管太さ測定部
９２ 分類パターン記憶部
９４ 対応情報データベース記憶部
１００ ＲＧＢ画像
１１０ 第１撮像画像
１１２ 極表層血管
１１４、１３２、１４２ 表層血管
１２０ 第２撮像画像
１３０ 第３撮像画像
１３４ 中層血管
１４０ 第４撮像画像
１４４ 深層血管
１５０ 内視鏡画像
１５２ 注目血管
１５４ 表示ウインドウ
１５６ 血管指定枠
Ｓ１１〜Ｓ３０ 特殊観察モードの画像処理工程
Ｓ５１〜Ｓ５６ 血管深さを推定する処理の工程

Claims (20)

1. 波長帯域が異なる複数種類の照明光を発生させる光源部と、
   前記複数種類のうちのいずれかの照明光が照射された観察対象を撮像する撮像センサと、
   前記撮像センサから得られる画像信号を基に、前記観察対象の撮像画像の中に含まれている血管の一部又は全部である注目血管の形状パターンを判定する血管形状判定部と、
   前記形状パターンに基づいて前記注目血管の血管深さを推定する血管深さ推定部と、
   を備え、
   前記血管深さ推定部は、血管形状と血管の深さとが対応付けられた対応情報を利用して前記注目血管の血管深さを推定し、
   前記対応情報に関するデータベースを記憶しておくデータベース記憶部を備え、
   前記対応情報は、前記観察対象となる生体組織の部位別に用意されており、前記観察対象である被観察部位に応じて該当する対応情報が参照される内視鏡システム。
2. 波長帯域が異なる複数種類の照明光を発生させる光源部と、
   前記複数種類のうちのいずれかの照明光が照射された観察対象を撮像する撮像センサと、
   前記撮像センサから得られる画像信号を基に、前記観察対象の撮像画像の中に含まれている血管の一部又は全部である注目血管の形状パターンを判定する血管形状判定部と、
   前記形状パターンに基づいて前記注目血管の血管深さを推定する血管深さ推定部と、
   前記血管深さ推定部により推定した血管深さの情報を、前記注目血管が含まれている画像と共に提示する情報提示部と、
   を備える内視鏡システム。
3. 前記血管深さ推定部は、血管形状と血管の深さとが対応付けられた対応情報を利用して前記注目血管の血管深さを推定する請求項２に記載の内視鏡システム。
4. 前記対応情報に関するデータベースを記憶しておくデータベース記憶部を備える請求項３に記載の内視鏡システム。
5. 前記対応情報は、前記観察対象となる生体組織の部位別に用意されており、前記観察対象である被観察部位に応じて該当する対応情報が参照される請求項４に記載の内視鏡システム。
6. 前記撮像センサを介して取得される前記観察対象の前記撮像画像から血管の太さを測定する血管太さ測定部を有し、
   前記血管深さ推定部は、前記注目血管の形状パターンと前記血管太さ測定部により得られる前記注目血管の太さの情報とを基に前記血管深さを推定する請求項１から５のいずれか一項に記載の内視鏡システム。
7. 前記撮像センサを介して取得される前記観察対象の前記撮像画像の中から前記注目血管を指定する血管指定部を備える請求項１から６のいずれか一項に記載の内視鏡システム。
8. 前記撮像センサから得られる画像信号から血管部分が抽出された血管抽出画像を生成する血管抽出画像生成部を備え、
   前記血管指定部は、前記撮像画像としての前記血管抽出画像の中から前記注目血管を指定する請求項７に記載の内視鏡システム。
9. 前記撮像センサから得られる画像信号を基に生成される画像を表示する表示部を備え、
   前記血管指定部は、前記表示部に表示された画像上でユーザが前記注目血管を指定する操作を行うための操作部を含む請求項７又は８に記載の内視鏡システム。
10. 前記血管指定部は、前記注目血管を自動で指定する自動指定処理部を含む請求項７から９のいずれか一項に記載の内視鏡システム。
11. 前記血管指定部は、前記観察対象を撮像する際に前記観察対象に照射された前記照明光の波長帯域に応じて前記注目血管を自動で指定する請求項１０に記載の内視鏡システム。
12. 前記複数種類の照明光のうち相対的に短波長側の波長帯域である照明光を用いて前記観察対象を撮像した場合、前記血管指定部は、規定の血管太さよりも細い血管を注目血管として指定する請求項１１に記載の内視鏡システム。
13. 前記複数種類の照明光のうち相対的に長波長側の波長帯域である照明光を用いて前記観察対象を撮像した場合、前記血管指定部は、規定の血管太さよりも太い血管を注目血管として指定する請求項１１又は１２に記載の内視鏡システム。
14. 前記血管指定部は、前記撮像画像に含まれている血管の種類の中で最もコントラストが高い血管の種類を前記注目血管として指定する請求項１０に記載の内視鏡システム。
15. 前記血管形状判定部は、血管の種類に応じて事前に定められた血管形状の分類パターンの情報を基に、前記注目血管の形状パターンを判定する請求項１から１４のいずれか一項に記載の内視鏡システム。
16. 前記血管形状判定部は、血管の分岐数及びループ数の少なくとも一方の特徴量を用いて前記形状パターンを判定する請求項１から１５のいずれか一項に記載の内視鏡システム。
17. 波長帯域が異なる複数種類の照明光が観察対象に照射され、それぞれの照明光の照射の下で撮像センサによって前記観察対象を撮像することにより得られる画像信号を取得する画像信号取得部と、
    前記画像信号取得部により取得される前記画像信号を基に、前記観察対象の撮像画像の中に含まれている血管の一部又は全部である注目血管の形状パターンを判定する血管形状判定部と、
    前記形状パターンに基づいて前記注目血管の血管深さを推定する血管深さ推定部と、
    を備え、
    前記血管深さ推定部は、血管形状と血管の深さとが対応付けられた対応情報を利用して前記注目血管の血管深さを推定し、
    前記対応情報に関するデータベースを記憶しておくデータベース記憶部を備え、
    前記対応情報は、前記観察対象となる生体組織の部位別に用意されており、前記観察対象である被観察部位に応じて該当する対応情報が参照される画像処理装置。
18. 波長帯域が異なる複数種類の照明光が観察対象に照射され、それぞれの照明光の照射の下で撮像センサによって前記観察対象を撮像することにより得られる画像信号を取得する画像信号取得部と、
    前記画像信号取得部により取得される前記画像信号を基に、前記観察対象の撮像画像の中に含まれている血管の一部又は全部である注目血管の形状パターンを判定する血管形状判定部と、
    前記形状パターンに基づいて前記注目血管の血管深さを推定する血管深さ推定部と、
    前記血管深さ推定部により推定した血管深さの情報を、前記注目血管が含まれている画像と共に提示する情報提示部と、
    を備える画像処理装置。
19. 波長帯域が異なる複数種類の照明光が観察対象に照射され、それぞれの照明光の照射の下で撮像センサによって前記観察対象を撮像することにより得られる画像信号を取得する画像信号取得工程と、
    前記画像信号取得工程により取得される前記画像信号を基に、前記観察対象の撮像画像の中に含まれている血管の一部又は全部である注目血管の形状パターンを判定する血管形状判定工程と、
    前記形状パターンに基づいて前記注目血管の血管深さを推定する血管深さ推定工程と、
    を含み、
    前記血管深さ推定工程は、血管形状と血管の深さとが対応付けられた対応情報に関するデータベースを記憶しておくデータベース記憶部の前記対応情報を利用して前記注目血管の血管深さを推定し、
    前記対応情報は、前記観察対象となる生体組織の部位別に用意されており、前記観察対象である被観察部位に応じて該当する対応情報が参照される画像処理装置の作動方法。
20. 波長帯域が異なる複数種類の照明光が観察対象に照射され、それぞれの照明光の照射の下で撮像センサによって前記観察対象を撮像することにより得られる画像信号を取得する画像信号取得工程と、
    前記画像信号取得工程により取得される前記画像信号を基に、前記観察対象の撮像画像の中に含まれている血管の一部又は全部である注目血管の形状パターンを判定する血管形状判定工程と、
    前記形状パターンに基づいて前記注目血管の血管深さを推定する血管深さ推定工程と、
    前記血管深さ推定工程により推定した血管深さの情報を、前記注目血管が含まれている画像と共に提示する情報提示工程と、
    を含む画像処理装置の作動方法。