JP6615950B2 - 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 - Google Patents

内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 Download PDF

Info

Publication number
JP6615950B2
JP6615950B2 JP2018128449A JP2018128449A JP6615950B2 JP 6615950 B2 JP6615950 B2 JP 6615950B2 JP 2018128449 A JP2018128449 A JP 2018128449A JP 2018128449 A JP2018128449 A JP 2018128449A JP 6615950 B2 JP6615950 B2 JP 6615950B2
Authority
JP
Japan
Prior art keywords
image signal
illumination light
light
image
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018128449A
Other languages
English (en)
Other versions
JP2018158152A (ja
Inventor
達也 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018128449A priority Critical patent/JP6615950B2/ja
Publication of JP2018158152A publication Critical patent/JP2018158152A/ja
Application granted granted Critical
Publication of JP6615950B2 publication Critical patent/JP6615950B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、観察対象を撮像して得た画像信号を用いて、観察対象の血管を抽出する内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法に関する。
医療分野においては、光源装置、内視鏡システム、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いる医療診断においては、内視鏡の挿入部を被検体内に挿入し、その先端部から観察対象に照明光を照射する。そして、照明光で照射中の観察対象を先端部の撮像センサで撮像し、得られた画像信号を用いて観察対象の画像を生成してモニタに表示する。
また、内視鏡システムを用いた診断では、血管の形状や分布等が重要であるため、近年では、様々な方法で血管を抽出する内視鏡システムが知られている。例えば、パターンマッチングによって血管を抽出する内視鏡システムが知られている(特許文献1,2)。この他にも、画像信号から血管を抽出する方法としては、ガボールフィルタやニューラルネットワーク等を用いる方法も知られている(非特許文献1)。また、青色の狭帯域光と緑色の狭帯域光を用いて得た各画像に重み付けをすることで、表層と呼ばれる粘膜下の比較的浅い位置にある血管(以下、表層血管という)を抽出し、かつ、中層や深層と呼ばれる粘膜下の深い位置にある血管(以下、中深層血管という)を抽出する内視鏡システムも知られている(特許文献3)。
特許第05435746号 特開2013−255808号公報 特許第5393525号
An Automated Tracking Approach for Extraction of Retinal Vasculature in Fundus Images, A.Osareh et al., J Ophthalmic Vis Res 2010; 5(1): 20-26
近年では、血管の有無だけでなく、粘膜下の特定深さにある血管の情報が、疾患の進行度(癌のステージ等)の判断に利用できることが分かってきている。例えば、特定深さにある血管の密度は、消化管の表在癌の進行度の判断に利用できる。より具体的な例を上げれば、食道の疾患であるバレット腺癌では、バレット食道からバレット腺癌に進行する過程において、粘膜表面付近にある血管(以下、表層血管という)の中でも粘膜下の特に浅い位置にある血管(以下、極表層血管という)の密度変化が大きい。このため、極表層血管を強調して表示することができれば、あるいは極表層血管の血管密度を算出することができれば、バレット腺癌のステージ判別精度が向上すると考えられている。
一方、従来の内視鏡システムで血管を抽出し、強調する方法では、観察対象を撮像するときに照射する照明光の深達度によって観察可能な血管が存在する粘膜下の深さが概ね決まっている。例えば、表層血管は、青色光や紫色光等の短波長帯域の光を照明光に用いれば観察可能である。しかし、バレット腺癌のステージ間で差が顕著に表れるのは極表層血管の密度であり、極表層血管を含んでいても、従来のように表層という深さ方向に広い範囲の血管を全て重畳して観察していたのでは、バレット腺癌のステージの判別精度は低下する。
また、特許文献3の内視鏡システムが、二種類の画像の重み付けによって表層血管と中深層血管のいずれかだけを抽出することができるのは、表層血管と中深層血管は粘膜下の深さ位置に大きな違いがあるからであり、この方法では、表層血管の中から極表層血管を抽出するのは容易ではない。二種類の画像の重み付けによって表層血管の中から極表層血管だけを抽出することができるとしても、重み付けのバランスは極めてシビアであり、観察対象には個体差もあるので、安定して表層血管の中から極表層血管だけを抽出するのは困難である。
本発明は、観察対象の特定の深さにある血管を抽出及び表示することができる内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法を提供することを目的とする。特定の深さとは、観察隊対象の粘膜の表面から、抽出及び表示する血管までの距離である。抽出及び表示する血管の深さに幅を持たせる場合、特定の深さとは、観察対象の粘膜表面から、抽出及び表示する血管が分布する深さの範囲である。
本発明の内視鏡システムは、照明光を発生する光源と、照明光が照射された観察対象を撮像する撮像センサと、照明光のうち第1照明光に対応する第1画像信号を取得し、かつ、照明光のうち第1照明光とは波長帯域が異なる第2照明光に対応する第2画像信号を取得する画像信号取得部と、第1画像信号及び第2画像信号を用いて、観察対象の特定の深さにある血管に関する演算画像信号を生成する演算画像信号生成部と、演算画像信号の生成に用いる第1画像信号及び第2画像信号の明るさを比較する明るさ比較部と、明るさ比較部の比較結果を用いて、演算画像信号の生成に用いる第1画像信号及び第2画像信号の明るさの比率が、第1画像信号及び第2画像信号の明るさを補正するための処理を必要としない特定の比率となるように、第1画像信号を得る場合と第2画像信号を得る場合とで、光源または撮像センサの制御を変更する制御部と、を備える。
制御部は、第1照明光または第2照明光の発光時間を制御することが好ましい。
制御部は、第1照明光が照射された観察対象を撮像するフレームと、第2照明光が照射された観察対象を撮像するフレームとのフレーム数の比を変更することが好ましい。
制御部は、第1照明光と第2照明光のうち相対的に短波長帯域を有する照明光が照射された観察対象を撮像するフレームを、第1照明光と第2照明光のうち相対的に長波長帯域を有する照明光が照射された前記観察対象を撮像するフレームよりも多くすることが好ましい。
制御部は、第1照明光または第2照明光の露光時間を制御することが好ましい。
制御部は、撮像センサの電子シャッタのタイミングを制御することにより、第1照明光または第2照明光の露光時間を制御することが好ましい。
制御部は、第1照明光を照射された観察対象を撮像するフレーム中に、第1照明光に加えて、第1照明光とは異なる波長帯域を有する照明光を発光させる、または、第2照明光が照射された観察対象を撮像するフレーム中に、第2照明光に加えて、第2照明光とは異なる波長帯域を有する照明光を発光させることが好ましい。
制御部は、撮像センサを制御し、複数色の画素の信号を加算して生成される第1画像信号または第2画像信号を画像信号取得部に取得させることが好ましい。
制御部は、撮像センサを制御し、画素加算をした第1画像信号または第2画像信号を出力させることが好ましい。
第1画像信号または第2画像信号を輝度チャンネルに割り当て、演算画像信号を二つの色差チャンネルに割り当てた画像を生成する画像生成部を備えることが好ましい。
第1画像信号または第2画像信号の少なくとも一方を補正し、第1画像信号が表す観察対象と、第2画像信号が表す観察対象との位置合わせをする位置合わせ処理部を備えることが好ましい。
本発明のプロセッサ装置は、照明光を発生する光源と、照明光が照射された観察対象を撮像する撮像センサと、を有する内視鏡システムのプロセッサ装置において、照明光のうち第1照明光に対応する第1画像信号を取得し、かつ、照明光のうち第1照明光とは波長帯域が異なる第2照明光に対応する第2画像信号を取得する画像信号取得部と、第1画像信号及び第2画像信号を用いて、観察対象の特定の深さにある血管に関する演算画像信号を生成する演算画像信号生成部と、演算画像信号の生成に用いる第1画像信号及び第2画像信号の明るさを比較する明るさ比較部と、明るさ比較部の比較結果を用いて、演算画像信号の生成に用いる第1画像信号及び第2画像信号の明るさの比率が、第1画像信号及び第2画像信号の明るさを補正するための処理を必要としない特定の比率となるように、第1画像信号を得る場合と第2画像信号を得る場合とで、光源または撮像センサの制御を変更する制御部と、を備える。
本発明の内視鏡システムの作動方法は、光源が、照明光を発生するステップと、撮像センサが、照明光が照射された観察対象を撮像するステップと、画像信号取得部が、照明光のうち第1照明光に対応する第1画像信号を取得し、かつ、照明光のうち第1照明光とは波長帯域が異なる第2照明光に対応する第2画像信号を取得するステップと、演算画像信号生成部が、第1画像信号及び第2画像信号を用いて、観察対象の特定の深さにある血管に関する演算画像信号を生成するステップと、明るさ比較部が、演算画像信号の生成に用いる第1画像信号及び第2画像信号の明るさを比較するステップと、制御部が、明るさ比較部の比較結果を用いて、演算画像信号の生成に用いる第1画像信号及び第2画像信号の明るさの比率が、第1画像信号及び第2画像信号の明るさを補正するための処理を必要としない特定の比率となるように、第1画像信号を得る場合と第2画像信号を得る場合とで、光源または撮像センサの制御を変更するステップと、を備える。
本発明のプロセッサ装置の作動方法は、照明光を発生する光源と、照明光が照射された観察対象を撮像する撮像センサと、を有する内視鏡システムのプロセッサ装置の作動方法において、画像信号取得部が、照明光のうち第1照明光に対応する第1画像信号を取得し、かつ、照明光のうち第1照明光とは波長帯域が異なる第2照明光に対応する第2画像信号を取得するステップと、演算画像信号生成部が、第1画像信号及び前記第2画像信号を用いて、観察対象の特定の深さにある血管に関する演算画像信号を生成するステップと、明るさ比較部が、演算画像信号の生成に用いる第1画像信号及び第2画像信号の明るさを比較するステップと、制御部が、明るさ比較部の比較結果を用いて、演算画像信号の生成に用いる第1画像信号及び第2画像信号の明るさの比率が、第1画像信号及び第2画像信号の明るさを補正するための処理を必要としない特定の比率となるように、第1画像信号を得る場合と第2画像信号を得る場合とで、光源または撮像センサの制御を変更するステップと、を備える。
本発明によれば、観察対象の特定深さにある血管を抽出及び表示することができる内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法を提供することができる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光、青色光、緑色光、及び赤色光の分光スペクトルを示すグラフである。 観察対象の散乱係数を示すグラフである。 ヘモグロビンの吸光係数を示すグラフである。 カラーフィルタの分光特性を示すグラフである。 特殊画像処理部の機能を示すブロック図である。 血管の深さと血管のコントラストの関係を模式的に表すグラフである。 特定深さ血管強調画像の生成方法を示す説明図である。 特殊観察モード時のフローチャートである。 B1画像信号の模式図である。 B2画像信号の模式図である。 光源及び撮像センサの動作を示すタイミングチャートである。 制御部が発光時間を制御する場合のタイミングチャートである。 演算画像信号の模式図である。 低解像度化処理後の演算画像信号の模式図である。 特定深さ血管強調画像の模式図である。 制御部が発光フレーム数を制御する場合のタイミングチャートである。 制御部が1フレーム中に複数色の光を発光させる場合のタイミングチャートである。 制御部が1フレーム中に複数色の光を発光させる場合のタイミングチャートである。 制御部が撮像センサを制御する場合のブロック図である。 制御部が撮像センサのシャッタ時間を制御する場合のタイミングチャートである。 制御部が撮像センサに加算読み出しをさせる場合のタイミングチャートである。 変形例の特定深さ血管強調画像の生成方法を示す説明図である。 特殊画像処理部と位置合わせ処理部の連携関係を示すブロック図である。 カプセル内視鏡の概略図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作によって、先端部が所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切り替えスイッチ13a、ズーム操作部13b、静止画取得指示部(図示しない)等が設けられている。モード切り替えスイッチ13aは、観察モードの切り替え操作に用いられる。内視鏡システム10は、観察モードとして通常観察モードと特殊観察モードとを有している。通常観察モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像(以下、通常画像という)をモニタ18に表示する。特殊観察モードでは、観察対象を撮像して得た画像信号を用いて、観察対象に含まれる血管のうち、特定深さにある血管を抽出し、表示する。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続しても良い。
図2に示すように、光源装置14は、光源20と、光源20を制御する光源制御部22と、を備えている。光源20は、例えば複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象に照射する照明光を発生する。本実施形態では、光源20は、V−LED(Violet Light Emitting Diode)23a、B−LED(Blue Light Emitting Diode)23b、G−LED(Green Light Emitting Diode)23c、及びR−LED(Red Light Emitting Diode)23dの四色のLEDを有する。図3に示すように、V−LED23aは、中心波長405nm、波長帯域380〜420nmの紫色光Vを発光する紫色光源である。B−LED23bは、中心波長460nm、波長帯域420〜500nmの青色光Bを発する青色半導体光源である。G−LED23cは、波長帯域が480〜600nmに及ぶ緑色光Gを発する緑色半導体光源である。R−LED23dは、中心波長620〜630nmで、波長帯域が600〜650nmに及び赤色光Rを発光する赤色半導体光源である。なお、V−LED23aとB−LED23bの中心波長は±5nmから±10nm程度の幅を有する。
これらの各LED23a〜23dの点灯や消灯、点灯時の発光量等は、光源制御部22が各々に独立した制御信号を入力するによって各々に制御することができる。通常観察モードの場合、光源制御部22は、V−LED23a、B−LED23b、G−LED23c、及びR−LED23dを全て点灯させる。このため、通常観察モードでは、紫色光V、青色光B、緑色光G、及び赤色光Rを含む白色光が照明光として用いられる。一方、特殊観察モードの場合、光源制御部22は、V−LED23aだけを点灯し、B−LED23b等の他のLEDを消灯する第1発光パターンと、V−LED23aを消灯し、B−LED23bを点灯し、V−LED23a等の他のLEDを消灯する第2発光パターンとで光源20を制御する。すなわち、特殊観察モードでは、紫色光Vと青色光Bとを順次発生し、観察対象に照射する。したがって、紫色光Vが第1照明光であり、青色光Bが、第1照明光とは波長帯域が異なる第2照明光である。
本実施形態では、上記のように、特殊観察モードにおいて、V−LED23aが発する紫色光Vと、B−LED23aが発する青色光Bとを、第1照明光及び第2照明光としてそのまま用いているが、光源20に波長帯域を制限する光学フィルタ等を設けることによって、紫色光Vと青色光Bとはそれぞれさらに波長帯域を制限してから、特殊観察モードの照明光として利用することが好ましい。
これは第1照明光と第2照明光とが、観察対象の散乱係数が互いに異なり、かつ、ヘモグロビンの吸光係数がほぼ等しい二つの波長帯域の光であると、特定深さの血管の抽出を特に鮮明に抽出することができるからである。例えば、各照明光の波長帯域における観察対象の散乱係数は、観察対象への深達度、すなわち、その波長帯域で観察可能な血管の粘膜下の深さに関連する。一方、ヘモグロビンの吸光係数は、各照明光で観察可能な血管のコントラストに関連する。したがって、特殊観察モード時に用いる第1照明光と第2照明光に要求する、観察対象の散乱係数が異なり、かつ、ヘモグロビンの吸光係数がほぼ等しいという条件は、観察可能な血管の粘膜下の深さがそれぞれ異なり、かつ、粘膜下での深さが異なる血管が同程度のコントラストに観察可能である二つの波長帯域の光を選択して用いるという条件である。光源20に用いるLED等の特性(中心波長)等によっては、上記条件を完全には満たせない場合があるが、このような場合には、少なくとも観察対象の散乱係数が異なる範囲内で、できる限りヘモグロビンの吸光係数が近い二つの波長帯域の光を第1照明光及び第2照明光とすれば良い。なお、第1照明光が第2照明光よりも短波長帯域の光であるとすると、観察対象の散乱係数が異なるとは、第1照明光の散乱係数に対する第2照明光の散乱係数の比が0.8以下であることを言う。また、第1照明光と第2照明光の散乱係数の差は70cm−1以上あると良い。
特殊観察モード時に照明光として用いる紫色光Vと青色光Bとでは、図4に示すように、紫色光Vの散乱係数に対する青色光Bの散乱係数の比は0.75あり、図5に示すように、ヘモグロビンの吸光係数(酸化ヘモグロビンの吸光係数:還元ヘモグロビンの吸光係数=3:7)は概ね同程度である。
各LED23a〜23dが発する各色の光は、ミラーやレンズ等で形成される光路結合部(図示しない)を介して、挿入部12a内に挿通されたライトガイド41に入射される。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド41は、光源20が発生した照明光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、ライトガイド41によって伝搬された照明光は照明レンズ45を介して観察対象に照射される。撮像光学系30bは、対物レンズ46、ズームレンズ47、撮像センサ48を有している。照明光を照射したことによる観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ46及びズームレンズ47を介して撮像センサ48に入射する。これにより、撮像センサ48に観察対象の像が結像される。なお、ズームレンズ47は、ズーム操作部13bを操作することでテレ端とワイド端との間で自在に移動され、撮像センサ48に結像する観察対象の反射像を拡大または縮小する。
撮像センサ48は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ48の各画素には、図6に示すR(赤色)カラーフィルタ、G(緑色)カラーフィルタ、B(青色)カラーフィルタのいずれかが各画素に設けられている。このため、撮像センサ48は、紫色から青色の光をBカラーフィルタが設けられたB画素(青色画素)で受光し、緑色の光をGカラーフィルタが設けられたG画素(緑色画素)で受光し、赤色の光をRカラーフィルタが設けられたR画素(赤色画素)で受光する。そして、各色の画素から、RGB各色の画像信号を出力する。特殊観察モードでは、光源20の発光パターンが第1発光パターンの場合には、紫色光Vが照明光として用いられるので、撮像センサ48は、紫色光Vが照射された観察対象を撮像し、紫色光Vに対応する第1画像信号(以下、B1画像信号という)をB画素から出力する。また、光源20の発光パターンが第2発光パターンの場合には、青色光Bが照明光として用いられるので、撮像センサ48は、青色光Bに対応する第2画像信号(以下、B2画像信号という)をB画素から出力する。
撮像センサ48は、駆動パルスの入力により、画素毎に受光量に応じた信号電荷を蓄積する蓄積動作、画素毎に蓄積した信号電荷を読み出し、画像信号として出力する読み出し動作、各画素に蓄積された信号電荷を破棄するリセット動作を行う。リセット動作は、信号電荷の読み出した後、画素毎、画素の行毎、または全画素まとめて行う。撮像センサ48が蓄積動作を行っている期間が、露光期間である。撮像センサ48の動作を制御する駆動パルスは、規定のタイミングでタイミングジェネレータ(図示しない)が発生されて撮像センサ48に入力されるが、プロセッサ装置16に設けられた制御部72の制御のもとで規定のタイミングとは異なるタイミングで駆動パルスを発生及び入力することができる。すなわち、制御部72によって撮像センサ48の各種動作のタイミングが制御される場合がある。また、撮像センサ48は、同色または異色のカラーフィルタが設けられた画素の信号値を加算して、一つの画像信号として出力することができる。すなわち、撮像センサ48は、画素加算(ビニングとも言う)をした画像信号を出力することができる。
撮像センサ48としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。本実施形態では撮像センサ48にCMOS撮像センサを用いるが、CMOS撮像センサの代わりに、CCD撮像センサを用いる場合でも、明るさ比較部71の比較結果を用いた光源や撮像センサの制御の変更の仕方は同様である。また、原色の撮像センサ48の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの四色の画像信号が出力されるので、補色−原色色変換によって、CMYGの四色の画像信号をRGBの三色の画像信号に変換することにより、撮像センサ48と同様のRGB画像信号を得ることができる。また、撮像センサ48の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
CDS/AGC回路51は、撮像センサ48から得られるアナログの画像信号に相関二重サンプリング(CDS;Correlated Double Sampling)や自動利得制御(AGC;Automatic Gain Control)を行う。CDS/AGC回路51を経た画像信号は、A/D(Analog to Digital)コンバータ52により、デジタル画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
プロセッサ装置16は、画像信号取得部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、画像処理切替部61と、通常画像処理部66と、特殊画像処理部67と、映像信号生成部68と、を備えている。画像信号取得部53は、CDS/AGC回路51及びA/Dコンバータ52を介して、撮像センサ48からデジタルの画像信号を取得する。
DSP56は、取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。
ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。ガンマ変換処理後の画像信号には、デモザイク処理(等方化処理、または同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ除去部58は、DSP56でデモザイク処理等が施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等による)を施すことによってノイズを除去する。ノイズが除去された画像信号は、画像処理切替部61に送信される。モード切り替えスイッチ13aの操作によって通常観察モードにセットされている場合、画像処理切替部61は、受信した画像信号を通常画像処理部66に送信し、特殊観察モードにセットされている場合には、受信した画像信号を特殊画像処理部67に送信する。
通常画像処理部66は、通常観察モードに設定されている場合に作動し、受信した画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行い、通常画像信号を生成する。色変換処理では、RGB画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みの画像信号に対して行われる。構造強調処理は、例えば表層血管やピットパターン等の観察対象の構造を強調する処理であり、色彩強調処理後の画像信号に対して行われる。上記のように、構造強調処理まで各種画像処理等を施した通常画像信号を用いたカラー画像が通常画像である。
特殊画像処理部67は、特殊観察モードに設定されている場合に作動する画像処理部であり、紫色光Vに対応するB1画像信号と、青色光Bに対応するB2画像信号と、を用いて特定深さの血管を抽出し、他の血管に対して抽出した血管を色の違いで表す画像を生成する。また、特殊画像処理部67に入力されるB1画像信号とB2画像信号は、位置合わせ処理部62を介して入力される。
位置合わせ処理部62は、順次取得されたB1画像信号が表す観察対象とB2画像信号が表す観察対象との位置合わせを行う。位置合わせ処理部62は、B1画像信号、または、B2画像信号のうち少なくとも一方を補正する。
また、特殊画像処理部67に入力されるB1画像信号とB2画像信号は、上記のように、位置合わせ処理部62によって位置合わせがされているだけでなく、互いの明るさが等しくなるように調整されている。このため、位置合わせ処理部62から特殊画像処理部67に送信されるB1画像信号及びB2画像信号は、明るさが等しく、かつ、各々が表す観察対象の位置合わせがされている。B1画像信号とB2画像信号の明るさの調整は、明るさ比較部71及び制御部72によって行われる。
明るさ比較部71は、画像処理切替部61からB1画像信号及びB2画像信号を取得し、これらの明るさをそれぞれ算出する。B1画像信号及びB2画像信号の明るさとは、例えば、全画素の平均画素値(または合計値、中央値、その他統計量等)である。B1画像信号とB2画像信号とでは血管等の見え方が異なるが、全画素の平均画素値は血管等の見え方の影響は少なくなり、概ね各画像信号が表す観察対象の粘膜の明るさを表すことになる。このため、本実施形態では、明るさ比較部71は、B1画像信号及びB2画像信号を取得すると、B1画像信号の平均画素値(以下、第1平均画素値という)を算出し、かつ、B2画像信号の平均画素値(以下、第2平均画素値という)を算出する。そして、算出した第1平均画素値と第2平均画素値を比較し、その比較結果を制御部72に送信する。明るさ比較部71が制御部72に送信する比較結果は、例えば、第1平均画素値と第2平均画素値の大小関係と、これらの値の比または差である。
制御部72は、明るさ比較部71から受信した比較結果を用いて、B1画像信号を得る場合とB2画像信号を得る場合とで、光源20または撮像センサ48の制御を変更する。具体的には、制御部72は、明るさ比較部71の比較結果を用いて、明るさが特定比のB1画像信号及びB2画像信号を得るために、光源20または撮像センサ48を制御するパラメータ(以下、撮像パラメータという)を求める。本実施形態では、制御部72は、光源20を制御する撮像パラメータを求め、光源制御部22に送信することで、撮像パラメータにしたがって光源20を制御する。光源制御部22は、制御部72から撮像パラメータを受信すると、撮像パラメータにしたがって光源20を制御することにより、B1画像信号を得る場合とB2画像信号を得る場合とで、光源20の制御を変更する。
本実施形態で制御部72が求める光源20を制御するための撮像パラメータは、特殊観察モードで発光する第1照明光(紫色光V)または第2照明光(青色光B)の発光時間を制御するためのものである。より具体的には、制御部72が求めた撮像パラメータは、B2画像信号の明るさに対してB1画像信号が暗い場合、青色光Bの発光時間を規定の発光時間(例えば、撮像センサ48の露光期間に一致する期間)よりも青色光Bの発光時間を短く設定する。これにより、撮像センサ48は蓄積動作を規定の時間行っているとしても、青色光Bの実質的な露光期間が短縮されるので、青色光Bに対応するB2画像信号は相応に暗い画像信号となり、結果として、B1画像信号とB2画像信号の明るさを等しくする。逆に、B1画像信号の明るさに対してB2画像信号が暗い場合には、制御部72が求めた撮像パラメータは、紫色光Vの発光時間を規定の発光時間よりも短く設定する。このため、紫色光Vの実質的な露光期間が短縮され、紫色光Vに対応するB1画像信号が暗くなり、結果として、B1画像信号とB2画像信号の明るさを等しくする。
本実施形態では、上記のように、青色光Bまたは紫色光Vの発光時間を短縮させることにより、青色光Bまたは紫色光Vの実質的な露光期間を短縮して、B1画像信号とB2画像信号のうち相対的に明るい画像信号の明るさを、相対的に暗い画像信号の明るさに等しくするが、これとは逆に、青色光Bまたは紫色光Vの発光時間を延長することにより、青色光Bまたは紫色光Vの実質的な露光期間を延長して、B1画像信号とB2画像信号のうち相対的に暗い画像信号の明るさを、相対的に明るい画像信号の明るさに等しくしても良い。また、本実施形態では、B1画像信号とB2画像信号の明るさが等しくなるように調整しているが、B1画像信号とB2画像信号の明るさは、特殊画像処理部67で用いるのに適した特定の比率に整えられていれば良い。
図7に示すように、特殊画像処理部67は、演算画像信号生成部76と、低解像度化処理部77と、画像生成部78とを備える。
演算画像信号生成部76は、位置合わせ処理が施されたB1画像信号とB2画像信号とを用いて演算をし、演算画像信号を生成する。具体的には、B1画像信号とB2画像信号の差または比を算出する。本実施形態では、演算画像信号生成部76は、B1画像信号及びB2画像信号を対数変換し、対数変換後のB1画像信号とB2画像信号の差、より具体的にはB2画像信号からB1画像信号を減算した演算画像信号ΔBを生成する。B1画像信号とB2画像信号を対数変換せずにそのまま用いる場合には、B1画像信号とB2画像信号の比を画素毎に演算することにより、演算画像信号を生成する。B1画像信号及びB2画像信号は、各画素が受光量に比例する画素値を有するが、対数変換をすると、濃度に比例する画素値を有することになるので、各画像信号を得たときの照明光の照度によらず、安定した演算結果を得ることができる。
演算画像信号ΔBを算出することは、粘膜下の特定深さにある血管を抽出することに対応する。例えば、図8に示すように、紫色光Vと青色光Bは、これらを照明光として用いると、概ね表層血管(深さAs及び深さAdの全範囲の血管)を観察可能であるが、紫色光Vは青色光Bと比較して波長が短いので、観察対象への深達度が小さく、青色光Bに対して相対的に粘膜下の浅い位置Asにある血管しか写し出せない代わりに、浅い位置Asにある極表層血管のコントラスト(血管からの反射光量に対する周辺の粘膜からの反射光量の比)は青色光Bを用いる場合よりも大きい。一方、青色光Bは紫色光Vと比較して波長が長いので、観察対象への深達度が大きく、紫色光Vに対して相対的に粘膜下の深い位置Adにある血管まで写し出せる代わりに、浅い位置Asにある極表層血管のコントラストは紫色光Vを用いる場合よりも小さい。このため、青色光Bに対応するB2画像信号から紫色光Vに対応するB1画像信号を減算すれば、特に粘膜下の浅い位置Asにある極表層血管を表す画素の画素値は強調されて、大きい値(白色)になる。逆に、極表層血管よりも深い位置Adにある血管を表す画素の画素値は小さい値(黒色)になる。
低解像度化処理部77は、いわゆるローパスフィルタ(以下、LPFという)であり、演算画像信号生成部76が生成した演算画像信号ΔBを低解像度化する。低解像度化処理部77が演算画像信号ΔBに施す低解像度化処理の強度は、LPFのカットオフ周波数で定まる。LPFのカットオフ周波数は予め設定され、少なくとももとの演算画像信号ΔBの解像度よりは低解像度化する。
画像生成部78は、特殊画像処理部67が受信するB1画像信号またはB2画像信号のいずれかと、低解像度化された演算画像信号ΔBとを用いて、複数の出力チャンネルを有する画像を生成する。より具体的には、画像生成部78は、輝度チャンネルYと色差に関する二つの色差チャンネルCb,Crとを有する画像を生成する。画像生成部78は、B1画像信号またはB2画像信号のいずれかを輝度チャンネルYに割り当て、低解像度化された演算画像信号ΔBを二つの色差チャンネルCb,Crに割り当てることにより、特定深さの血管の走行パターンを色で強調した画像(以下、特定深さ血管強調画像という)を生成する。本実施形態の場合、輝度チャンネルYにB1画像信号を割り当てるのは、表層血管の中から極表層血管を選り分けて強調するからであり、図9に示すように、B1画像信号とB2画像信号のうち、相対的に短波長帯域の光(紫色光V)に対応し、極表層血管のコントラストが高いB1画像信号を輝度チャンネルYに割り当てる。そして、色差チャンネルCb,Crには演算画像信号ΔBを割り当てる。また、演算画像信号ΔBを色差チャンネルCb,Crに割り当てる際には、それぞれ係数αと係数βを乗じる。これは、表層血管等を強調観察する内視鏡システムが表示する画像と色味を揃えるためである。
具体的には、表層血管を強調観察する強調観察モードを有する従来の内視鏡システムでは、強調観察モードの場合に、狭帯域の青色光を照射して観察対象を撮像してB画像信号を取得し、かつ、狭帯域の緑色光を照射して観察対象を撮像してG画像信号を取得する。そして、B画像信号を表示用の画像のBチャンネル(青色チャンネル)とGチャンネル(緑色チャンネル)に割り当て、G画像信号をRチャンネル(赤色チャンネル)に割り当てることにより、粘膜下の深い位置にある中深層血管を緑色系(シアン系)の色にし、粘膜下の浅い位置にある表層血管を赤色系(マゼンタ系)の色にして強調表示する。ITU−R.601では、RGB各画像信号と輝度チャンネルY及び色差チャンネルCb,Crの関係は、下記式(1),(2),及び(3)で表される。
Y=0.299R+0.587G+0.114B ・・・(1)
Cb=−0.169−0.331G+0.5G ・・・(2)
Cr=0.5R−0.419G−0.081B ・・・(3)
そして、色差チャンネルCb,Crの式(2)及び式(3)において、RにGを代入し、GにBを代入すると、式(4)及び式(5)に示すように色差チャンネルCb,Crを(G−B)で表すことができる。
Cb=−0.169G+0.169B=0.169(G−B) ・・・(4)
Cr=0.5G−0.5B=0.5(G−B) ・・・(5)
本実施形態では、極表層血管を抽出及び表示するので、この(G−B)信号に代えて、演算画像信号ΔBを用いる。すなわち、係数α=0.169を乗じて演算画像信号ΔBを色差信号Cbに割り当て、係数β=0.5を乗じて演算画像信号ΔBを色差信号Crに割り当てる。これにより、内視鏡システム10では、従来の内視鏡システムとほぼ同配色の画像を表示する。但し、極表層血管と、比較的深い位置にある表層血管との色の違いを強調するために、設定等に応じて、上記係数α及び係数βにさらに係数を乗じる場合がある。
なお、輝度チャンネルY及び色差チャンネルCb,CrからRGBの特定深さ血管強調画像を生成するには、ITU−R.601の逆変換にしたがって、
R=Y+1.402Cr ・・・(6)
G=Y−0.344Cb−0.714Cr ・・・(7)
B=Y+1.772Cb ・・・(8)
によって行う。
通常画像処理部66が生成する通常画像、及び、特殊画像処理部67が生成する特定深さ血管強調画像は、映像信号生成部68に入力される。映像信号生成部68は通常画像や特定深さ血管強調画像をモニタ18で表示可能な画像として表示するための映像信号に変換する。この映像信号を用いて、モニタ18は、通常画像や特定深さ血管強調画像を表示する。
次に、特殊観察モードにおける処理の一連の流れを図10に沿って説明する。まず、光源20が紫色光Vを発生し、発生した紫色光Vを観察対象に照射する(S11)。撮像センサ48は、紫色光Vが照射された観察対象を撮像し(S12)、画像信号取得部53は、紫色光Vに対応するB1画像信号を取得する(S13)。図11に示すように、B1画像信号110は、紫色光Vによって観察対象を撮像して得た画像信号なので、観察対象の起伏等の形状112の他、極表層血管124が観察可能である。また、極表層血管124よりも粘膜下の深い位置にある表層血管123も、B1画像信号110によって観察可能である。
次に、光源20が青色光Bを発生し、発生した青色光Bを観察対象に照射し(S14)、撮像センサ48は青色光Bが照射された観察対象を撮像する(S15)。そして、画像信号取得部53は、青色光Bに対応するB2画像信号を取得する(S16)。図12に示すように、B2画像信号120は、青色光Bによって観察対象を撮像して得た画像信号なので、観察対象の形状112の他、比較的深い位置にある表層血管123が観察可能である。また、極表層血管124もB2画像信号120によって観察可能である。B1画像信号110とB2画像信号120を比較すると、B1画像信号110の方が極表層血管124のコントラストが高く、B2画像信号120の方が極表層血管124に比べて比較的深い位置にある表層血管123のコントラストが高い。
上記のようにして得られたB1画像信号とB2画像信号は、位置合わせ処理部62で位置合わせされた後(S17)、特殊画像処理部67に入力される。
一方で、明るさ比較部71はB1画像信号とB2画像信号の明るさの比較をする(S18)。具体的には、明るさ比較部71は、B1画像信号及びB2画像信号を用いて第1平均画素値及び第2平均画素値をそれぞれ算出し、これらの比較結果を制御部72に入力する。
制御部72では、明るさ比較部71の比較結果を用いて、光源20を制御するための撮像パラメータを求め(S19)、求めた撮像パラメータを光源制御部22に入力することにより、次に得るB1画像信号の明るさとB2画像信号の明るさとが等しくなるように、B1画像信号を得る場合とB2画像信号を得る場合とで、光源20の制御を変更する(S20)。
例えば、図13に示すように、制御部72からの撮像パラメータが入力されない場合、規定の周期で駆動パルスが撮像センサ48に入力され、撮像センサ48は、駆動パルスの入力タイミングに応じて、蓄積動作(「蓄積」)、読み出し動作(「読出」)、及びリセット動作(「リセット」)を繰り返し行う。撮像センサ48が蓄積動作、読み出し動作、及びリセット動作を1セット行う期間が1フレームである。また、特殊観察モードでは、撮像センサ48の蓄積動作に対応して、紫色光Vと青色光Bが交互に発光される。例えば、フレームF1では紫色光Vが発光されるので、フレームF1において撮像センサ48が蓄積動作をする期間は紫色光Vの露光期間(「V露光」)である。同様に、フレームF2では青色光Bが発光されるので、フレームF2において撮像センサ48が蓄積動作をする期間が青色光Bの露光期間(「B露光」)である。フレームF3〜F5や、フレームF1〜F5以前または以降の図示しないフレームも同様である。また、紫色光Vの露光期間後の読み出し動作によって出力される画像信号がB1画像信号であり、青色光Bの露光期間後の読み出し動作によって出力される画像信号がB2画像信号である。
明るさ比較部71は、例えば、フレームF1で得られたB1画像信号とフレームF2で得られたB2画像信号の明るさを比較する。そして、制御部72では明るさ比較部71の比較結果によって、次にB1画像信号とB2画像信号を得るためのフレームF3またはフレームF4における光源20の撮像パラメータを求める。例えば、図14に示すように、フレームF1で得たB1画像信号とフレームF2で得たB2画像信号とを比較して、B1画像信号よりもB2画像信号が明るいことを示す比較結果を受信すると、制御部72は、フレームF4の青色光Bの発光時間を、フレームF3の紫色光Vの発光期間T0よりも短い「T1」に設定する。このため、撮像センサ48はフレームF3と同様の長さで蓄積動作を行っていても、フレームF4では青色光Bの実質的な露光時間が短縮される。その結果、フレームF4で得るB2画像信号は、フレームF2で得たB2画像信号よりも暗くなる。また、制御部72は、明るさ比較部71の比較結果に含まれるB1画像信号とB2画像信号の明るさの差または比を用いて、フレームF4の青色光Bの発光時間T1の長さを決定するので、フレームF3で得るB1画像信号とフレームF4で得るB2画像信号の明るさは等しくなる。
フレームF5の紫色光VとフレームF6(図示しない)の青色光Bの各発光時間も、フレームF3で得たB1画像信号とフレームF4で得たB2画像信号に基づいて上記と同様に制御される。これは特殊観察モードを終了するまで同様である(S24)。また、B1画像信号とB2画像信号とを比較して、B2画像信号よりもB1画像信号が明るい場合も上記と同様にして、次にB1画像信号を得るフレームの紫色光Vの発光時間を、B2画像信号を得るフレームの青色光Bの発光時間よりも短くすることで、B1画像信号とB2画像信号の明るさのバランスを整える。
上記のB1画像信号及びB2画像信号の明るさのバランスの調整と並行して、特殊画像処理部67では、演算画像信号生成部76によって、演算画像信号ΔBを生成する(S21)。演算画像信号ΔBは、元の画像信号(例えば図11のB1画像信号や図12のB2画像信号)に対して、比較的深い位置にある表層血管123の画素値は小さく、かつ、極表層血管124の画素値は大きくなる。このため、図15に示すように、演算画像信号ΔBでは、極表層血管124と比較的深い位置にある表層血管123の違いが元の画像信号よりも顕著になる。特殊画像処理部67は、演算画像信号ΔBを生成すると、さらに低解像度化処理部77によって演算画像信号ΔBを低解像度化する(S22)。図16に示すように、低解像度化処理部77を経た演算画像信号ΔBでは、表層血管123や極表層血管124はぼやけた状態になる。
その後、特殊画像処理部67は、画像生成部78によって、極表層血管124のコントラストが高いB1画像信号を輝度チャンネルYに割り当て、低解像度化された演算画像信号ΔBを色差チャンネルCr,Cbを割り当てることにより、特定深さ血管強調画像を生成する(S23)。図17に示すように、特定深さ血管強調画像130では、表層血管123はシアン系の色に着色して表示され、極表層血管124がマゼンタ系に着色して表示される。このため、特定深さ血管強調画像130では、表層血管123と極表層血管124を色で識別可能であり、実質的に極表層血管124が観察しやすい強調画像として表示される。特定深さ血管強調画像130の生成は、特殊観察モードを終了するまで同様に行われる(S24)。
上記のように、内視鏡システム10は、紫色光Vに対応するB1画像信号と青色光Bに対応するB2画像信号との差(または比)によって演算画像信号ΔBを算出し、輝度チャンネルYに強調したい血管のコントラストが高い画像信号を割り当て、かつ、色差チャンネルCb,Crに演算画像信号ΔBを割り当てる。これにより、従来では識別が難しかった極表層血管124と、極表層血管124に対して比較的深い位置にある表層血管123とを、色の違いで可視化し、強調表示することができる。
また、B1画像信号とB2画像信号の取得タイミングの違いによって、輝度チャンネルYに割り当てるB1画像信号と演算画像信号ΔBと間に齟齬が生じ、結果として、特定深さ血管強調画像130に色ずれが表れることがある。このため、内視鏡システム10では、演算画像信号ΔBを色差チャンネルCb,Crに割り当てるときに、低解像度化処理部77によって低解像度化してから演算画像信号ΔBを色差チャンネルCb,Crに割り当てるので色ずれは低減されている。
また、上記特定深さ血管画像を生成するためには、B1画像信号とB2画像信号の明るさが等しい(あるいは特定の明るさの比率になっている)ことが必要であるが、内視鏡システム10では、明るさ比較部71と制御部72によって、常に明るさが等しいB1画像信号及びB2画像信号が得られるので、B1画像信号やB2画像信号に明るさを補正するための処理をする必要がない。B1画像信号とB2画像信号の明るさのバランスを整えるために、例えばゲイン補正をするとノイズが顕在化してしまう場合があるが、内視鏡システム10では、光源20の制御によって、明るさのバランスが整えられたB1画像信号とB2画像信号が予め得られるようになっているので、ノイズが少ない正確な特定深さ血管画像を生成及び表示することができる。
なお、上記第1実施形態では、制御部72は、明るさ比較部71の比較結果を用いて、紫色光Vまたは青色光Bの発光時間の長さを変更しているが、紫色光Vまたは青色光Bの発光量を変更しても良い。この場合、紫色光Vまたは青色光Bの発光量だけを変更しても良いし、紫色光Vまたは青色光Bの発光時間の長さを変更した上でさらに紫色光Vまたは青色光Bの発光量を変更しても良い。
なお、上記第1実施形態では、制御部72は、明るさ比較部71の比較結果を用いて、紫色光Vまたは青色光Bの発光時間の長さを変更しているが、この代わりに、紫色光Vと青色光Bの発光タイミングを変えることにより、紫色光Vが照射された観察対象を撮像するフレームと、青色光Bが照射された観察対象を撮像するフレームとのフレーム数の比を変更しても良い。例えば、フレームF1に得たB1画像信号とフレームF2に得たB2画像信号とを比較して、B1画像信号よりもB2画像信号の方が2倍明るい場合には、図18に示すように、紫色光Vを照射した観察対象を撮像するフレームを2倍に増設し、フレームF3及びフレームF4を、紫色光Vを照射した観察対象を撮像するフレームとし、フレームF5を、青色光Bを照射した観察対象を撮像するフレームとする。すなわち、紫色光Vを照射した観察対象を撮像するフレームと、青色光Bを照射した観察対象を撮像するフレームのフレーム数の比を2:1にする。そして、特殊画像処理部67において、フレームF3に得た画像信号とフレームF4に得た画像信号と合算した画像信号を、上記第1実施形態のB1画像信号として用いる。
もちろん、B1画像信号とB2画像信号の明るさの比が、1:N(整数)の場合には、紫色光Vを照射した観察対象を撮像するフレームと、青色光Bを照射した観察対象を撮像するフレームのフレーム数の比をN:1にすれば良い。B2画像信号の方がB1画像信号よりも明るい場合も同様である。但し、第1照明光と第2照明光のうち相対的に短波長帯域を有する照明光が照射された観察対象を撮像するフレームに得る画像信号は暗くなりやすいので、第1照明光と第2照明光のうち相対的に短波長帯域を有する照明光が照射された観察対象を撮像するフレームを、第1照明光と第2照明光のうち相対的に長波長帯域を有する照明光が照射された観察対象を撮像するフレームよりも多くすると良い。また、上記第1実施形態のように照明光の発光時間の変更を組み合わせ、照明光の発光時間の変更とフレーム数の比を両方とも変更すれば、B1画像信号とB2画像信号の明るさの比が、整数倍でない場合でも、B1画像信号とB2画像信号の明るさの比を適切に調節可能である。
また、上記第1実施形態では、制御部72は、明るさ比較部71の比較結果を用いて、紫色光Vまたは青色光Bの発光時間の長さを変更しているが、代わりに、紫色光Vまたは青色光Bの発光タイミングを変え、紫色光Vを照射した観察対象を撮像するフレーム中に、青色光Bを加えて発光させたり、青色光Bを照射した観察対象を撮像するフレーム中に、紫色光Vを加えて発光させたりしても良い。例えば、図19に示すように、フレームF1に得たB1画像信号とフレームF2に得たB2画像信号とを比較して、B1画像信号よりもB2画像信号の方が明るい場合には、紫色光Vを照射された観察対象を撮像するフレームF3中に、青色光Bを追加して発光させる。こうすると、フレームF3の露光期間は、紫色光V及び青色光Bが照射された観察対象を撮像する露光期間(「VB露光」)になるので、フレームF3にB画素から得られる画像信号は、紫色光V及び青色光Bの混合光に対応する画像信号(以下、VB混合光画像信号という)になる。上記第1実施形態のB1画像信号は、VB混合光画像信号から、次のフレームF4に得られるB2画像信号を適数倍(例えばα倍(α<1))して減算することにより生成することができる。B2画像信号よりもB1画像信号の方が明るい場合には、上記と同様に、青色光Bを照射された観察対象を撮像するフレームF4中に、紫色光Vを追加して発光させれば良い。
また、上記変形例では、B1画像信号が暗い場合には、青色光Bを追加発光してB1画像信号の明るさを補い、B2画像信号が暗い場合には、紫色光Vを追加発光してB2画像信号の明るさを補っているが、青色光Bや紫色光V以外の光を追加しても良い。すなわち、紫色光Vや青色光Bを照射した観察対象を撮像するフレーム中に、紫色光Vとは異なる波長帯域を有する照明光を加えて発光させても良い。例えば、図20に示すように、フレームF1に得たB1画像信号とフレームF2に得たB2画像信号とを比較して、B1画像信号よりもB2画像信号の方が明るい場合には、次にB1画像信号を得るフレームF3中に、緑色光Gを追加発光させ、紫色光V及び緑色光Gで観察対象を撮像しても良い(「VG露光」)。撮像センサ48のBカラーフィルタは、僅かながら緑色光Gにも感度を有するので、こうして緑色光Gを追加発光させたフレームF3に得られるB1画像信号は、上記変形例と同様に明るさが補填された画像信号となる。
[第2実施形態]
上記第1実施形態では、制御部72は、B1画像信号を得る場合とB2画像信号を得る場合とで、光源20の制御を変更しているが、この代わりに、B1画像信号を得る場合とB2画像信号を得る場合とで、撮像センサ48の制御を変更しても良い。この場合、例えば、図21に示す内視鏡システム200のように、第1実施形態の制御部72の代わりに、制御部272を設ける。制御部272は、明るさ比較部71の比較結果を用いて、B1画像信号を得る場合とB2画像信号を得る場合とで、撮像センサ48の制御を変更する。このため、制御部272が、明るさ比較部71の比較結果を用いて求める撮像パラメータは、撮像センサ48の制御を変更するためのものである。明るさ比較部71による比較の結果、フレームF1に得たB1画像信号よりもフレームF2に得たB2画像信号の方が明るい場合には、例えば、図22に示すように、制御部272は、撮像センサ48の電子シャッタのタイミングを制御し、フレームF4で撮像センサ48に読み出し動作及びリセット動作を行わせるための駆動パルスの入力タイミングを早める。こうすると、B1画像信号を得るためのフレームF3の露光時間T3に対して、B2画像信号を得るためのフレームF4の露光時間T4が短縮される。この結果、フレームF4において青色光Bが規定の時間だけ観察対象に照射されるとしても、得られるB2画像信号には露光時間T4の短さに対応して暗くなり、フレームF3に得るB1画像信号とフレームF4に得るB2画像信号との明るさを等しくすることができる。
明るさ比較部71による比較の結果、フレームF2に得たB2画像信号よりもフレームF1に得たB1画像信号の方が明るい場合には、次に紫色光Vを照射するフレームF3の電子シャッタのタイミングを制御し、読み出し動作及びリセット動作を行わせるための駆動パルスの入力タイミングを早めれば良い。
上記第2実施形態では、制御部272は、撮像センサ48の電子シャッタのタイミングを制御しているが、この代わりに、撮像センサ48に画素加算をした画像信号を出力させるように撮像センサ48の制御を変更しても良い。フレームF1に得たB1画像信号よりもフレームF2に得たB2画像信号の方が明るい場合には、例えば、図23に示すように、次に紫色光Vを照射してB1画像信号を得るフレームF3において、撮像センサ48に画素加算をしたB1画像信号を出力させる。画素加算は、複数の画素から得る信号を加算する処理なので、画素加算をしないで得る画像信号よりも各画素の信号値は大きくなるので、明るい画像信号となる。このため、上記のように相対的に暗いB1画像信号を得るフレームF3で画素加算をすれば、B1画像信号の明るさが向上し、フレームF4に得るB2画像信号と明るさが等しいB1画像信号を得ることができる。
また、上記変形例では、制御部272は、撮像センサ48に画素加算をさせているが、この代わりに、撮像センサ48を制御し、複数色の画素の信号を加算して生成されるB1画像信号やB2画像信号を出力させても良い。例えば、GカラーフィルタやRカラーフィルタでも、僅かながら紫色光Vや青色光Bに感度を有する。このため、B2画像信号の明るさに対してB1画像信号の明るさが不足している場合には、紫色光Vを受光したB画素の信号とG画素(あるいはR画素)の信号を加算して生成したB1画像信号を撮像センサ48から出力させる。同様に、B1画像信号の明るさに対してB2画像信号の明るさが不足している場合には、青色光Bを受光したB画素の信号とG画素(あるいはR画素)の信号を加算して生成したB2画像信号を撮像センサ48から出力させる。こうすると、G画素やR画素の信号を加算した分、B1画像信号やB2画像信号の明るさを向上するので、B1画像信号とB2画像信号の明るさのバランスを整えることができる。
なお、上記第2実施形態及び変形例における撮像センサ48の制御は、第1実施形態及び変形例における光源20の制御と任意に組み合わせることができる。この場合、第1実施形態の制御部72と第2実施形態の制御部272の機能を統合した制御部を設ければ良い。
なお、上記第1,第2実施形態では、画像生成部78は、B1画像信号とB2画像信号のうち相対的に極表層血管124のコントラストが高いB1画像信号を輝度チャンネルYに割り当て、かつ、演算画像信号ΔBを色差チャンネルCb,Crに割り当てることで、極表層血管124を選択的に強調する特定深さ血管強調画像130を生成しているが、画像生成部78は、比較的深い位置にある表層血管123を強調した特定深さ血管画像を生成しても良い。この場合、演算画像信号生成部76は、上記実施形態とは逆に、対数変換後のB1画像信号からB2画像信号を減算して演算画像信号ΔBを生成する。そして、画像生成部78は、B1画像信号とB2画像信号のうち比較的深い位置にある表層血管123のコントラストが高いB2画像信号を輝度チャンネルYに割り当て、かつ、B1画像信号からB2画像信号を減算して生成された演算画像信号ΔBを色差チャンネルCb,Crに割り当てて、特定深さ血管強調画像を生成する。
上記第1,第2実施形態の特定深さ血管強調画像130が極表層血管124を強調することができるのは、演算画像信号ΔBをB2画像信号からB1画像信号を減算して生成した演算画像信号を用いているからである。このため、上記第1,第2実施形態では、画像生成部78は、極表層血管124を強調する特定深さ血管強調画像130を生成するときに、B1画像信号とB2画像信号のうち極表層血管124のコントラストが高いB1画像信号を輝度チャンネルYに割り当てているが、B2画像信号を輝度チャンネルYに割り当てた場合でも、極表層血管124を強調する特定深さ血管強調画像を生成することができる。
画像生成部78が、特定深さ血管強調画像を生成するときに、B1画像信号とB2画像信号のうちどちらを輝度チャンネルYに割り当てるかを選択できるようにすることが好ましい。例えば、画像生成部78の動作モードに、B1画像信号を輝度チャンネルYに割り当てる第1モードと、B2画像信号を輝度チャンネルYに割り当てる第2モードとを用意しておき、第1モードと第2モードうち選択されたモードで画像を生成するようにしておくことができる。また、輝度チャンネルYに割り当てる画像信号を選択可能にする場合には、画像生成部78が輝度チャンネルYに割り当てる画像信号を自動的に選択しても良い。例えば、B1画像信号とB2画像信号とを比較し、画像信号全体または指定された関心領域内のノイズが少ない方の画像信号を自動的に輝度チャンネルYに自動的に割り当てても良いし、画像信号全体または指定された関心領域内のコントラストが高い方の画像信号を輝度チャンネルYに自動的に割り当てても良い。
また、上記第1,第2実施形態では、画像生成部78は、B1画像信号を輝度チャンネルYに割り当て、かつ、演算画像信号ΔBを色差チャンネルCb,Crに割り当てて、YCbCr形式の特定深さ血管強調画像130を生成しているが、RチャンネルとGチャンネルとBチャンネルを有するRGB形式の画像を生成しても良い。この場合、画像生成部78は、図24に示すように、輝度に最も寄与するGチャンネルにB1画像信号を割り当て、残りのBチャンネル及びRチャンネルに演算画像信号ΔBを割り当てる。
上記実施形態では、低解像度化処理部77で用いるLPFのカットオフ周波数は予め設定されているが、LPFのカットオフ周波数を可変にし、LPFのカットオフ周波数を動的に設定することが好ましい。例えば、図25に示すように、低解像度化処理部77に、位置合わせ処理部62からB1画像信号とB2画像信号の位置合わせ精度が入力されるようにする。そして、低解像度化処理部77は、B1画像信号とB2画像信号の位置合わせ精度に応じてLPFのカットオフ周波数(低解像度化処理の強度)を変更する。具体的には、B1画像信号とB2画像信号の位置合わせ精度が高いほど、LPFのカットオフ周波数を高周波数に設定して低解像度化処理の強度を小さくし、B1画像信号とB2の位置合わせ精度が低いほど、LPFのカットオフ周波数を低周波数に設定して低解像度化処理の強度を大きくすると良い。こうすると、低解像度化処理部77による演算画像信号ΔBの低解像度化の程度が最適化され、特定深さの血管(例えば、極表層血管124)を適切に強調表示することができる。
なお、特定深さ血管強調画像を静止画として表示または保存する場合、LFPのカットオフ周波数は、生成する特定深さ血管強調画像の解像度を基準として、少なくともナイキスト周波数の1/8以下の周波数を残す範囲内で設定することが好ましい。
上記変形例では、位置合わせ処理部62の位置合わせ処理の精度に応じて、低解像度化処理部77が低解像度化処理の強度を調節しているが、これとは逆に、低解像度化処理部77が行う低解像度化処理の強度に応じて、位置合わせ処理部62が位置合わせ処理の精度を調節しても良い。この場合、位置合わせ処理部62は、LPFのカットオフ周波数が大きく、低解像度化処理の強度が小さく設定されているほど、B1画像信号とB2画像信号の位置合わせ精度を高く設定する。
位置合わせ処理部62が行うB1画像信号とB2画像信号との位置合わせ処理の精度は可変にし、特定深さ血管強調画像の静止画を表示または保存する場合と、特定深さ血管強調画像の動画を表示する場合とで位置合わせ処理の精度を変えることが好ましい。例えば、モニタ18に特定深さ血管画像で構成される動画を表示する場合には、位置合わせ処理部62は、特定深さ血管画像の静止画をモニタ18に表示する(あるいは保存する)場合よりも低い第1精度で、B1画像信号とB2画像信号との位置合わせをする。これとは逆に、特定深さ血管画像の静止画をモニタ18に表示する場合、位置合わせ処理部62は、特定深さ血管画像の動画をモニタ18に表示する場合よりも高い第2精度で、B1画像信号とB2画像信号の位置合わせをする。こうすると、動画表示時には、色ずれが目立たない範囲内で高速に特定深さ血管強調画像を生成することができ、かつ、色ずれが目立ちやすい静止画の取得時には、色ずれがない特定深さ血管強調画像を生成することができる。
また、位置合わせ処理部62は、生成する特定深さ血管画像の大きさによって、B1画像信号とB2画像信号との位置合わせ精度を変更しても良い。例えば、生成する特定深さ血管画像が大きい場合には、僅かな位置ずれも目立つので、位置合わせ処理部62は高精度にB1画像信号とB2画像信号の位置合わせをし、生成する特定深さ血管画像が小さい場合には、位置ずれは目立ち難いので、低精度でB1画像信号とB2画像信号の位置合わせをする。生成する特定深さ血管画像の大きさによらずプロセッサ装置16の処理負荷が一定になるように、生成する特定深さ血管画像が大きい場合は、許容できる処理負荷になるように位置合わせの精度を落としても良い。
上記のように、位置合わせ処理部62が動画表示時と静止画取得時とで位置合わせ処理の精度を変更する場合や特定深さ血管画像の大きさに応じて位置合わせ精度を変更する場合に、低解像度化処理部77は位置合わせ精度によってLPFのカットオフ周波数を変更することが好ましい。例えば、動画表示時には、位置合わせ処理部62はB1画像信号とB2画像信号の位置合わせ精度を低下させ、その代わりに、低解像度化処理部77ではLPFのカットオフ周波数を低周波数側にシフトさせると良い。また、静止画取得時には、位置合わせ処理部62は、B1画像信号とB2画像信号の位置合わせ精度を上げ、その代わりに、低解像度化処理部77ではLFPのカットオフ周波数を高周波側にシフトさせると良い。すなわち、動画表示時にはプロセッサ装置16の処理負担が小さい低解像度化処理部77のLPFを優先し、静止画取得時には位置合わせ処理部62による正確な位置合わせを優先すると良い。
なお、位置合わせ処理部62は、動画表示時にはB1画像信号とB2画像信号との位置合わせを行わず、静止画取得時にだけB1画像信号とB2画像信号との位置合わせを行っても良い。
上記第1,第2実施形態では、低解像度化処理部77は、LPFによって演算画像信号ΔBを低解像度化しているが、LPFの代わりに、演算画像信号ΔBを縮小し、その後元の大きさにまで拡大することでも低解像度化することができる。このように、演算画像信号ΔBを縮小及び拡大して低解像度課する場合、演算画像信号ΔBの縮小時には、エリアジングの少ない縮小方法を採用することが好ましい。例えば、面積平均法によって縮小した後、キュービックスプライン補間によって拡大して、演算画像信号ΔBを低解像度化することができる。
上記第1,第2実施形態では、第1発光モードでは紫色光Vを照明光として用い、第2発光モードでは青色光Bを照明光として用いているが、特殊観察モード時に用いる互いに波長帯域が異なる二つの照明光は、他の波長帯域の光でも良い。波長帯域を変えることにより、強調する血管の深さを任意に変更した特定深さ血管画像を得ることができる。
また、撮像センサ48のBカラーフィルタは緑色光Gにも感度がある(図6参照)。そして、緑色光Gの反射光等のうちB画素で受光可能な波長帯域の光と、緑色光Gの反射光等のうちG画素で受光可能な波長帯域の光は、観察対象の散乱係数に差があり、かつ、ヘモグロビンの吸光係数がほぼ等しい。このため、例えば、緑色光Gだけを照明光として使用し、緑色光Gが照射された観察対象をB画素が撮像して出力するB画像信号と、緑色光Gが照射された観察対象をG画素が撮像して出力するG画像信号とを、上記実施形態のB1画像信号及びB2画像信号の代わりに用いることができる。このように、B画像信号とG画像信号とを用いる場合、例えば、中深層血管のうち比較的浅い位置にある中深層血管、または、中深層血管のうち比較的深い位置にある中深層血管を、中深層血管の中から選り分けて強調表示することができる。
同様に、撮像センサ48のRカラーフィルタは緑色光Gにも感度があり(図6)、緑色光Gの反射光等のうちG画素で受光可能な波長帯域の光と、緑色光Gの反射光等のうちR画素で受光可能な波長帯域の光は、観察対象の散乱係数に差があり、かつ、ヘモグロビンの吸光係数がほぼ等しい。このため、光源20は特殊観察モードで使用する第1照明光と第2照明光とを含む広帯域の緑色光Gを照明光として使用し、緑色光Gが照射された観察対象をG画素が撮像して出力するG画像信号(第1画像信号)と、緑色光Gが照射された観察対象をR画素が撮像して出力するR画像信号(第2画像信号)とを、上記第1,第2実施形態のB1画像信号及びB2画像信号の代わりに用いることができる。すなわち、光源20が緑色光Gのように第1照明光と第2照明光を含む広帯域の照明光を発生する場合、画像信号取得部53は、第1画像信号をB画素またはG画素から取得し、第2画像信号をG画素またはR画素から取得することができる。
また、撮像センサ48のGカラーフィルタが紫色光Vや青色光Bにも感度があることを利用して、撮像センサ48が受光する紫色光Vや青色光Bに対応する信号を補っても良い。例えば、紫色光Vを照射したときに、B画素から得られる信号値に、G画素から得られる信号値を加算することで、紫色光Vに対応する信号値を増大させることができる。同様に、青色光Bを照射したときに、G画素から得られる信号値を加算することで、青色光Bに対応する信号値を増大させることができる。
上記第1,第2実施形態のように、極表層血管124を表層血管123と峻別して強調表示する場合には、第1照明光及び第2照明光の波長帯域は、ともに波長500nm以下の範囲内であることが好ましい。具体的には、上記実施形態の通り、405±10nmに中心波長を有する紫色光Vと、460±10nmに中心波長を有する青色光Bとを、第1照明光及び第2照明光として用いることが好ましい。405±10nmに中心波長を有する紫色光と445±10nmに中心波長を有する青色光を第1照明光及び第2照明光として用いることがさらに好ましい。445±10nmに中心波長を有する青色光は、例えば、B−LED23bの長波長側をカットする光学フィルタをB−LED23bの光路中に用いることで、上記青色光Bから生成することができる。また、B−LED23bを445±10nmに中心波長を有する青色光を発する別のLEDに替えても良い。
中深層血管を、比較的浅い位置にある中深層血管と比較的深い位置にある中深層血管とに分けて強調表示をする場合には、第1照明光及び第2照明光の波長帯域は、ともに500nm以上であることが好ましい。具体的には、波長が約500nmの光と、波長が約600nmの光とを、第1照明光及び第2照明光として用いることが好ましい。
なお、上記第1,第2実施形態では、演算画像信号生成部76は、粘膜下の特定深さにある極表層血管124の走行パターンを表す演算画像信号ΔBを生成しているが、代わりに、血管密度を表す演算画像信号Dや血管等に含まれるヘモグロビンの酸素飽和度(以下、血管の酸素飽和度という)を表す演算画像信号Sを生成しても良い。
血管密度を表す演算画像信号Dは、上記実施形態の演算画像信号ΔBを用いて算出することができる。例えば、上記実施形態の演算画像信号ΔBは、極表層血管124を抽出した画像信号になっているので(図13参照)、演算画像信号ΔBを用いて単位面積中の極表層血管124の面積の割合を各画素について算出することにより、極表層血管124の血管密度を表す演算画像信号Dを生成することができる。このように演算画像信号Dを生成する場合、画像生成部78は、輝度チャンネルYにB1画像信号を割り当て、かつ、演算画像信号Dを色差チャンネルCb,Crに割り当てることにより、極表層血管124の血管密度を表す血管密度画像を生成する。血管密度画像は、バレット腺癌のステージ判別等の診断に直接的な示唆を与えることができる。
血管の酸素飽和度を表す演算画像信号Sを生成する場合は、例えば、中心波長445±10nmの第1青色光と緑色光Gと赤色光Rとを照射して観察対象を撮像し、かつ、中心波長473±10nmの第2青色光と緑色光Gと赤色光Rとを照射して観察対象を撮像する。第1青色光は、上記中心波長445±10nmになるようにB−LED23bが発する青色光Bの波長帯域を制限する第1光学フィルタ(例えば、青色光Bの長波長側をカットする光学フィルタ)を用いることで、青色光Bから生成することができる。同様に、第2青色光は、上記中心波長473±10nmとなるようにB−LED23bが発する青色光Bの波長帯域を制限する第2光学フィルタ(例えば、青色光Bの短波長側をカットする光学フィルタ)を用いることで、青色光Bから生成することができる。
上記第1青色光は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差が殆どない波長帯域を有する。一方、上記第2青色光は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある波長帯域を有する。このため、第1青色光及び第2青色光が照射された観察対象を撮像して得る各画像信号の比または差は、酸素飽和度と相関がある。したがって、第1青色光及び第2青色光に対応する各画像信号の比または差を、酸素飽和度に対応付ける相関関係を実験等により予め求め、演算画像信号生成部76はこの相関関係を予め保持しておく。そして、演算画像信号生成部76は、第1青色光及び第2青色光に対応する各画像信号の比または差を算出して上記相関関係と照らし合わせることで、各画素が観察対象の酸素飽和度の値を表す演算画像信号Sを生成する。画像生成部78は、通常画像処理部66と同様にして、第1青色光と緑色光Gと赤色光とを照射して観察対象を撮像して得た各画像信号を用いて通常画像信号を生成する。そして、輝度チャンネルYに通常画像信号を割り当て、かつ、酸素飽和度を表す演算画像信号Sを色差チャンネルCb,Crに割り当てることにより、観察対象の酸素飽和度を表す酸素飽和度画像を生成する。こうして生成される酸素飽和度画像は、酸素飽和度という診断に有益な情報を表示することができる。
なお、上記実施形態では、撮像センサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システム10によって本発明を実施しているが、カプセル内視鏡システムにも本発明は好適である。例えば、図26に示すように、カプセル内視鏡システムでは、カプセル内視鏡400と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡400は、光源402と光源制御部403と、撮像センサ404と、信号処理部406と、送受信アンテナ408とを備えている。光源402は、上記各実施形態の光源20と同様に構成される。光源制御部403は、上記各実施形態の光源制御部22と同様にして光源402の駆動を制御する。また、光源制御部403は、送受信アンテナ408によって、カプセル内視鏡システムのプロセッサ装置と無線で通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記各実施形態のプロセッサ装置16とほぼ同様であるが、信号処理部406は、通常画像処理部66及び特殊画像処理部67の機能を有している。信号処理部406が生成した血管強調画像信号等は、送受信アンテナ408を介してプロセッサ装置に送信される。撮像センサ404は上記各実施形態の撮像センサ48と同様に構成される。
10 内視鏡システム
12 内視鏡
14 光源装置
16 プロセッサ装置
20 光源
53 画像信号取得部
67 特殊画像処理部
71 明るさ比較部
72,272 制御部
76 演算画像信号生成部
77 低解像度化処理部
78 画像生成部

Claims (14)

  1. 照明光を発生する光源と、
    前記照明光が照射された観察対象を撮像する撮像センサと、
    前記照明光のうち第1照明光に対応する第1画像信号を取得し、かつ、前記照明光のうち前記第1照明光とは波長帯域が異なる第2照明光に対応する第2画像信号を取得する画像信号取得部と、
    前記第1画像信号及び前記第2画像信号を用いて、前記観察対象の特定の深さにある血管に関する演算画像信号を生成する演算画像信号生成部と、
    前記演算画像信号の生成に用いる前記第1画像信号及び前記第2画像信号の明るさを比較する明るさ比較部と、
    前記明るさ比較部の比較結果を用いて、前記演算画像信号の生成に用いる前記第1画像信号及び前記第2画像信号の明るさの比率が、前記第1画像信号及び前記第2画像信号の明るさを補正するための処理を必要としない特定の比率となるように、前記第1画像信号を得る場合と前記第2画像信号を得る場合とで、前記光源または前記撮像センサの制御を変更する制御部と、
    を備える内視鏡システム。
  2. 前記制御部は、前記第1照明光または前記第2照明光の発光時間を制御する請求項1に記載の内視鏡システム。
  3. 前記制御部は、前記第1照明光が照射された前記観察対象を撮像するフレームと、前記第2照明光が照射された前記観察対象を撮像するフレームとのフレーム数の比を変更する請求項1に記載の内視鏡システム。
  4. 前記制御部は、前記第1照明光と前記第2照明光のうち相対的に短波長帯域を有する照明光が照射された前記観察対象を撮像するフレームを、前記第1照明光と前記第2照明光のうち相対的に長波長帯域を有する照明光が照射された前記観察対象を撮像するフレームよりも多くする請求項に記載の内視鏡システム。
  5. 前記制御部は、前記第1照明光または前記第2照明光の露光時間を制御する請求項1に記載の内視鏡システム。
  6. 前記制御部は、前記撮像センサの電子シャッタのタイミングを制御することにより、前記第1照明光または前記第2照明光の露光時間を制御する請求項に記載の内視鏡システム。
  7. 前記制御部は、前記第1照明光を照射された前記観察対象を撮像するフレーム中に、前記第1照明光に加えて、前記第1照明光とは異なる波長帯域を有する照明光を発光させる、または、前記第2照明光が照射された前記観察対象を撮像するフレーム中に、前記第2照明光に加えて、前記第2照明光とは異なる波長帯域を有する照明光を発光させる請求項1に記載の内視鏡システム。
  8. 前記制御部は、前記撮像センサを制御し、複数色の画素の信号を加算して生成される前記第1画像信号または前記第2画像信号を出力させる請求項1に記載の内視鏡システム。
  9. 前記制御部は、前記撮像センサを制御し、画素加算をした前記第1画像信号または前記第2画像信号を前記画像信号取得部に取得させる請求項1に記載の内視鏡システム。
  10. 前記第1画像信号または前記第2画像信号を輝度チャンネルに割り当て、前記演算画像信号を二つの色差チャンネルに割り当てた画像を生成する画像生成部を備える請求項1〜のいずれか1項に記載の内視鏡システム。
  11. 前記第1画像信号または前記第2画像信号の少なくとも一方を補正し、前記第1画像信号が表す前記観察対象と、前記第2画像信号が表す前記観察対象との位置合わせをする位置合わせ処理部を備える請求項10に記載の内視鏡システム。
  12. 照明光を発生する光源と、前記照明光が照射された観察対象を撮像する撮像センサと、を有する内視鏡システムのプロセッサ装置において、
    前記照明光のうち第1照明光に対応する第1画像信号を取得し、かつ、前記照明光のうち前記第1照明光とは波長帯域が異なる第2照明光に対応する第2画像信号を取得する画像信号取得部と、
    前記第1画像信号及び前記第2画像信号を用いて、前記観察対象の特定の深さにある血管に関する演算画像信号を生成する演算画像信号生成部と、
    前記演算画像信号の生成に用いる前記第1画像信号及び前記第2画像信号の明るさを比較する明るさ比較部と、
    前記明るさ比較部の比較結果を用いて、前記演算画像信号の生成に用いる前記第1画像信号及び前記第2画像信号の明るさの比率が、前記第1画像信号及び前記第2画像信号の明るさを補正するための処理を必要としない特定の比率となるように、前記第1画像信号を得る場合と前記第2画像信号を得る場合とで、前記光源または前記撮像センサの制御を変更する制御部と、
    を備えるプロセッサ装置。
  13. 光源が、照明光を発生するステップと、
    撮像センサが、前記照明光が照射された観察対象を撮像するステップと、
    画像信号取得部が、前記照明光のうち第1照明光に対応する第1画像信号を取得し、かつ、前記照明光のうち前記第1照明光とは波長帯域が異なる第2照明光に対応する第2画像信号を取得するステップと、
    演算画像信号生成部が、前記第1画像信号及び前記第2画像信号を用いて、前記観察対象の特定の深さにある血管に関する演算画像信号を生成するステップと、
    明るさ比較部が、前記演算画像信号の生成に用いる前記第1画像信号及び前記第2画像信号の明るさを比較するステップと、
    制御部が、前記明るさ比較部の比較結果を用いて、前記演算画像信号の生成に用いる前記第1画像信号及び前記第2画像信号の明るさの比率が、前記第1画像信号及び前記第2画像信号の明るさを補正するための処理を必要としない特定の比率となるように、前記第1画像信号を得る場合と前記第2画像信号を得る場合とで、前記光源または前記撮像センサの制御を変更するステップと、
    を備える内視鏡システムの作動方法。
  14. 照明光を発生する光源と、前記照明光が照射された観察対象を撮像する撮像センサと、を有する内視鏡システムのプロセッサ装置の作動方法において、
    画像信号取得部が、前記照明光のうち第1照明光に対応する第1画像信号を取得し、かつ、前記照明光のうち前記第1照明光とは波長帯域が異なる第2照明光に対応する第2画像信号を取得するステップと、
    演算画像信号生成部が、前記第1画像信号及び前記第2画像信号を用いて、前記観察対象の特定の深さにある血管に関する演算画像信号を生成するステップと、
    明るさ比較部が、前記演算画像信号の生成に用いる前記第1画像信号及び前記第2画像信号の明るさを比較するステップと、
    制御部が、前記明るさ比較部の比較結果を用いて、前記演算画像信号の生成に用いる前記第1画像信号及び前記第2画像信号の明るさの比率が、前記第1画像信号及び前記第2画像信号の明るさを補正するための処理を必要としない特定の比率となるように、前記第1画像信号を得る場合と前記第2画像信号を得る場合とで、前記光源または前記撮像センサの制御を変更するステップと、
    を備えるプロセッサ装置の作動方法。
JP2018128449A 2018-07-05 2018-07-05 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 Active JP6615950B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018128449A JP6615950B2 (ja) 2018-07-05 2018-07-05 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018128449A JP6615950B2 (ja) 2018-07-05 2018-07-05 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014214898A Division JP6367683B2 (ja) 2014-10-21 2014-10-21 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Publications (2)

Publication Number Publication Date
JP2018158152A JP2018158152A (ja) 2018-10-11
JP6615950B2 true JP6615950B2 (ja) 2019-12-04

Family

ID=63795880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018128449A Active JP6615950B2 (ja) 2018-07-05 2018-07-05 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Country Status (1)

Country Link
JP (1) JP6615950B2 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4575720B2 (ja) * 2004-07-23 2010-11-04 Hoya株式会社 電子内視鏡システム
JP5393525B2 (ja) * 2010-02-18 2014-01-22 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理装置の作動方法
JP2011200367A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp 画像撮像方法および装置
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5616304B2 (ja) * 2010-08-24 2014-10-29 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5371921B2 (ja) * 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
CN103429136B (zh) * 2011-08-26 2015-09-30 奥林巴斯医疗株式会社 内窥镜装置
JP5922955B2 (ja) * 2012-03-08 2016-05-24 Hoya株式会社 電子内視鏡システム
JP5774531B2 (ja) * 2012-03-28 2015-09-09 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及び画像処理プログラム
JP6367683B2 (ja) * 2014-10-21 2018-08-01 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Also Published As

Publication number Publication date
JP2018158152A (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
JP6367683B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6234350B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US10039439B2 (en) Endoscope system and method for operating the same
US10709310B2 (en) Endoscope system, processor device, and method for operating endoscope system
US8301229B2 (en) Biological observation display apparatus for presenting color or spectral images
JP6522539B2 (ja) 内視鏡システム及びその作動方法
JP6196598B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP4009626B2 (ja) 内視鏡用映像信号処理装置
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP6525918B2 (ja) 内視鏡システム、画像処理装置、及び画像処理装置の作動方法
JP5288775B2 (ja) 内視鏡装置
CN111770717B (zh) 内窥镜系统
JP6576895B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6562554B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの信号処理方法
JP2016192985A (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
EP3673787A1 (en) Light source device and endoscope system
JP6153913B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6570490B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6615950B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6153912B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP7163386B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び内視鏡装置の作動プログラム
CN113454514B (zh) 内窥镜系统
JP2018192043A (ja) 内視鏡及び内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20190312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191106

R150 Certificate of patent or registration of utility model

Ref document number: 6615950

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250