JP6210962B2 - 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 - Google Patents

内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 Download PDF

Info

Publication number
JP6210962B2
JP6210962B2 JP2014202648A JP2014202648A JP6210962B2 JP 6210962 B2 JP6210962 B2 JP 6210962B2 JP 2014202648 A JP2014202648 A JP 2014202648A JP 2014202648 A JP2014202648 A JP 2014202648A JP 6210962 B2 JP6210962 B2 JP 6210962B2
Authority
JP
Japan
Prior art keywords
blood vessel
image signal
signal
image
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014202648A
Other languages
English (en)
Other versions
JP2016067778A (ja
Inventor
青山 達也
達也 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014202648A priority Critical patent/JP6210962B2/ja
Priority to US14/869,062 priority patent/US10052015B2/en
Publication of JP2016067778A publication Critical patent/JP2016067778A/ja
Application granted granted Critical
Publication of JP6210962B2 publication Critical patent/JP6210962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、観察対象を撮像して得た画像信号を用いて、観察対象の血管を抽出する内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法に関する。
医療分野においては、光源装置、内視鏡システム、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いる医療診断においては、内視鏡の挿入部を被検体内に挿入し、その先端部から観察対象に照明光を照射する。そして、照明光で照射中の観察対象を先端部の撮像センサで撮像し、得られた画像信号を用いて観察対象の画像を生成してモニタに表示する。
また、内視鏡システムを用いた診断では、血管の形状や分布等が重要であるため、近年では、様々な方法で血管を抽出する内視鏡システムが知られている。例えば、パターンマッチングによって血管を抽出する内視鏡システムが知られている(特許文献1,2)。この他にも、画像信号から血管を抽出する方法としては、ガボールフィルタやニューラルネットワーク等を用いる方法も知られている(非特許文献1)。
特許05435746号 特開2013−255808号公報
An Automated Tracking Approach for Extraction of Retinal Vasculature in Fundus Images, A.Osareh et al., J Ophthalmic Vis Res 2010; 5(1): 20-26
近年では、血管の有無だけでなく、血管の密度等、血管の位置及び幅(太さ)をともに正確に抽出しなければ見積ることができない情報が、疾患の進行度(癌のステージ等)の判断に利用できることが分かってきている。例えば、血管密度は、消化管の表在癌の進行度の判断に利用できる。より具体的な例を挙げれば、食道の疾患であるバレット腺癌では、バレット食道からバレット腺癌に進行する過程において、粘膜表面付近にある血管(以下、表層血管という)の中でも粘膜下の特に浅い位置にある血管(以下、極表層血管という)の密度変化が大きい。このため、極表層血管を強調して表示することができれば、あるいは極表層血管の血管密度を算出することができれば、バレット腺癌のステージ判別精度が向上すると考えられている。
しかしながら、従来の内視鏡システムで行われている血管の抽出方法では、血管の位置は正しく抽出されても血管の幅が正確でない場合がある。逆に、血管の幅が正しく抽出されても、ノイズが多く血管の位置が不正確な場合もある。このため、従来の内視鏡システムでは、疾患の有無が判別可能であるとしても、疾患の進行度等、さらに詳細な診断をすることは難しい。また、従来の内視鏡システムで行われているパターンマッチング等だけで血管を抽出する方法では、粘膜下の特定の深さにある血管を峻別して抽出することができないので、疾患の進行度等の詳細な診断をすることは難しい。
本発明は、血管の密度等に基づいた詳細な診断を正確に行えるようにするために、粘膜下の特定深さにある血管の位置及び幅を正確に抽出する内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法を提供することを目的とする。
本発明の内視鏡システムは、照明光を発生させる光源と、照明光が照射された観察対象を撮像する撮像センサと、照明光のうち第1照明光に対応する第1画像信号を撮像センサから取得し、かつ、照明光のうち第1照明光とは波長帯域または分光スペクトルが異なる第2照明光に対応する第2画像信号を取得する画像信号取得部と、第1画像信号及び第2画像信号を用いて、観察対象の血管の位置を表す血管位置信号を生成する血管位置信号生成部と、第1画像信号または第2画像信号を用いて、観察対象の血管の幅を表す血管幅信号を生成する血管幅信号生成部と、血管位置信号で表される位置にあり、かつ、血管幅信号で表される幅を有する観察対象の血管を表す血管画像信号を、血管幅信号と血管位置信号の論理積により生成する血管画像信号生成部と、を備える。
第1画像信号または第2画像信号の少なくとも一方を補正し、第1画像信号が表す観察対象と、第2画像信号が表す観察対象との位置合わせをする位置合わせ処理部を備え、血管位置信号生成部は、位置合わせ処理部によって観察対象が位置合わせされた第1画像信号及び第2画像信号を用いて血管位置信号を生成し、血管幅信号生成部は、位置合わせ処理部によって観察対象が位置合わせされた第1画像信号または第2画像信号を用いて血管幅信号を生成することが好ましい。
第1画像信号または第2画像信号の少なくとも一方を補正し、第1画像信号の明るさと第2画像信号の明るさとの比を特定比にする明るさ補正処理部を備え、血管位置信号生成部は、明るさ補正処理部によって明るさが補正された第1画像信号及び第2画像信号を用いて血管位置信号を生成し、血管幅信号生成部は、明るさ補正処理部によって明るさが補正された第1画像信号または第2画像信号を用いて血管幅信号を生成することが好ましい。
血管幅信号生成部は、第1画像信号または第2画像信号を二階微分し、二階微分後の第1画像信号または第2画像信号の零点を用いて血管幅信号を生成することが好ましい。
血管幅信号生成部は、第1画像信号または第2画像信号のノイズを除去し、ノイズが除去された第1画像信号または第2画像信号を二階微分することが好ましい。
血管位置信号生成部は、画像信号にモルフォロジー処理を施すことにより、血管位置信号を生成することが好ましい。
第1画像信号、第2画像信号、または、第1画像信号及び第2画像信号以外の画像信号を用いて、第1画像信号及び第2画像信号から照明光による陰影またはハレーションを除去する第1除去部を備え、血管位置信号生成部は陰影またはハレーションが除去された第1画像信号及び第2画像信号を用いて血管位置信号を生成し、血管幅信号生成部は陰影またはハレーションが除去された第1画像信号または第2画像信号を用いて血管幅信号を生成することが好ましい。
第1除去部は、照明光のうち赤色波長帯域の光に対応する赤色画像信号を用いて、第1画像信号及び第2画像信号から陰影を除去することが好ましい。
血管画像信号を用いて血管密度を算出する血管密度算出部を備えることが好ましい。
第1画像信号または第2画像信号と、血管密度とを用いて、血管密度を表す血管密度画像信号を生成する血管密度画像信号生成部を備えることが好ましい。
第1画像信号または第2画像信号を用いてベース画像を生成し、ベース画像に血管画像信号を重畳した血管強調画像信号を生成する血管強調画像信号生成部を備えることが好ましい。
第1画像信号及び第2画像信号を解像度が異なる複数の画像信号にそれぞれ分解する解像度分解部を有し、血管位置信号生成部は、解像度毎に血管位置信号を生成し、血管幅信号生成部は、解像度毎に血管幅信号を生成し、血管画像信号生成部は、解像度毎の血管位置信号と血管幅信号とを用いて、解像度毎に血管画像信号を生成することが好ましい。
本発明のプロセッサ装置は、照明光を発生させる光源と、照明光が照射された観察対象を撮像する撮像センサと、を有する内視鏡システムのプロセッサ装置において、照明光のうち第1照明光に対応する第1画像信号を撮像センサから取得し、かつ、照明光のうち第1照明光とは波長帯域または分光スペクトルが異なる第2照明光に対応する第2画像信号を取得する画像信号取得部と、第1画像信号及び第2画像信号を用いて、観察対象の血管の位置を表す血管位置信号を生成する血管位置信号生成部と、第1画像信号または第2画像信号を用いて、観察対象の血管の幅を表す血管幅信号を生成する血管幅信号生成部と、血管位置信号で表される位置にあり、かつ、血管幅信号で表される幅を有する観察対象の血管を表す血管画像信号を、血管幅信号と血管位置信号の論理積により生成する血管画像信号生成部と、を備える。
本発明の内視鏡システムの作動方法は、光源が、照明光を発生させる照明光発生ステップと、撮像センサが、照明光が照射された観察対象を撮像する撮像ステップと、画像信号取得部が、照明光のうち第1照明光に対応する第1画像信号を撮像センサから取得する第1画像信号取得ステップと、画像信号取得部が、照明光のうち第1照明光とは波長帯域または分光スペクトルが異なる第2照明光に対応する第2画像信号を取得する第2画像信号取得ステップと、血管位置信号生成部が、第1画像信号及び第2画像信号を用いて、観察対象の血管の位置を表す血管位置信号を生成する血管位置信号生成ステップと、血管幅信号生成部が、第1画像信号または第2画像信号を用いて、観察対象の血管の幅を表す血管幅信号を生成する血管幅信号生成ステップと、血管画像信号生成部が、血管位置信号で表される位置にあり、かつ、血管幅信号で表される幅を有する観察対象の血管を表す血管画像信号を、血管幅信号と血管位置信号の論理積により生成する血管画像信号生成ステップと、を備える。
本発明のプロセッサ装置の作動方法は、照明光を発生させる光源と、照明光が照射された観察対象を撮像する撮像センサと、を有する内視鏡システムのプロセッサ装置の作動方法において、画像信号取得部が、照明光のうち第1照明光に対応する第1画像信号を撮像センサから取得する第1画像信号取得ステップと、画像信号取得部が、照明光のうち第1照明光とは波長帯域または分光スペクトルが異なる第2照明光に対応する第2画像信号を撮像センサから取得する第2画像信号取得ステップと、血管位置信号生成部が、第1画像信号及び第2画像信号を用いて、観察対象の血管の位置を表す血管位置信号を生成する血管位置信号生成ステップと、血管幅信号生成部が、第1画像信号または第2画像信号を用いて、観察対象の血管の幅を表す血管幅信号を生成する血管幅信号生成ステップと、血管画像信号生成部が、血管位置信号で表される位置にあり、かつ、血管幅信号で表される幅を有する観察対象の血管を表す血管画像信号を、血管幅信号と血管位置信号の論理積により生成する血管画像信号生成ステップと、を備える。

本発明によれば、粘膜下の特定深さにある血管の位置及び幅を正確に抽出する内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法を提供することができる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光、青色光、緑色光、及び赤色光の分光スペクトルを示すグラフである。 カラーフィルタの分光特性を示すグラフである。 特殊画像処理部の機能を示すブロック図である。 照明光の波長毎の、血管の深さと血管のコントラストの関係を模式的に表すグラフである。 血管からの光が拡散される様子を示す説明図である。 撮像センサでの受光量の分布を表すグラフである。 血管位置信号の生成方法を示す説明図である。 血管幅信号の生成方法を示す説明図である。 第1実施形態のフローチャートである。 RGB各色の画像信号から生成される画像の模式図である。 差分画像信号の模式図である。 血管位置信号の模式図である。 血管幅信号の模式図である。 血管画像信号の模式図である。 血管強調画像信号の模式図である。 アーチファクトがある画像の模式図である。 第2実施形態の特殊画像処理部の機能を示すブロック図である。 R画像信号の模式図である。 変形例の特殊画像処理部の機能を示すブロック図である。 第3実施形態の特殊画像処理部の機能を示すブロック図である。 血管密度画像信号の模式図である。 解像度分解部を有する特殊画像処理部のブロック図である。 カプセル内視鏡の概略図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作によって、先端部が所望の方向に向けられる。
また、操作部12bには、アングルノブ12eの他、モード切り替えスイッチ13a、ズーム操作部13b、静止画像取得指示部(図示しない)等が設けられている。モード切り替えスイッチ13aは、観察モードの切り替え操作に用いられる。内視鏡システム10は、観察モードとして通常観察モードと特殊観察モードとを有している。通常観察モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像(以下、通常画像という)をモニタ18に表示する。特殊観察モードでは、観察対象を撮像して得た画像信号を用いて、観察対象に含まれる血管を抽出した血管画像信号を生成する。そして、血管画像信号を用いることにより、血管を強調表示する画像(以下、血管強調画像という)をモニタ18に表示する。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置16には、画像や画像情報等を記録する外付けの記録部(図示省略)を接続しても良い。
図2に示すように、光源装置14は、光源20と、光源20を制御する光源制御部22と、を備えている。光源20は、例えば複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象に照射する照明光を発生する。本実施形態では、光源20は、V−LED(Violet Light Emitting Diode)23a、B−LED(Blue Light Emitting Diode)23b、G−LED(Green Light Emitting Diode)23c、及びR−LED(Red Light Emitting Diode)23dの四色のLEDを有する。図3に示すように、V−LED23aは、中心波長405nm、波長帯域380〜420nmの紫色光Vを発光する紫色光源である。B−LED23bは、中心波長460nm、波長帯域420〜500nmの青色光Bを発する青色半導体光源である。G−LED23cは、波長帯域が480〜600nmに及ぶ緑色光Gを発する緑色半導体光源である。R−LED23dは、中心波長620〜630nmで、波長帯域が600〜650nmに及び赤色光Rを発光する赤色半導体光源である。なお、V−LED23aとB−LED23bの中心波長は±5nmから±10nm程度の幅を有する。
これらの各LED23a〜23dの点灯や消灯、点灯時の発光量等は、光源制御部22が各々に独立した制御信号を入力するによって各々に制御することができる。通常観察モードの場合、光源制御部22は、V−LED23a、B−LED23b、G−LED23c、及びR−LED23dを全て点灯させる。このため、通常観察モードでは、紫色光V、青色光B、緑色光G、及び赤色光Rを含む白色光が照明光として用いられる。一方、特殊観察モードの場合、光源制御部22は、V−LED23aを点灯し、B−LED23bを消灯する第1発光パターンと、V−LED23aを消灯し、B−LED23bを点灯する第2発光パターンとで光源20を制御する。また、本実施形態では、第2発光パターンのときにG−LED23c及びR−LED23dをB−LED23bとともに点灯させる。したがって、特殊観察モードの場合、第1発光パターンの場合には紫色光Vが照明光として用いられ、第2発光パターンの場合には、青色光B、緑色光G、及び赤色光Rからなる白色光が照明光として用いられ、紫色光Vとは波長帯域が異なる照明光を照射する。第1発光パターンの紫色光Vが第1照明光であり、第2発光パターンの白色光に含まれる青色光Bが第2照明光である。第1照明光と第2照明光とは、波長帯域、または、波長成分のバランス(いわゆる分光スペクトル)が異なっていれば良い。すなわち、第2照明光は、第1照明光とは波長帯域が異なる照明光、または、第1照明光と波長帯域がほぼ同じでも第1照明光とは分光スペクトルが異なる照明光である。
各LED23a〜23dが発する各色の光は、ミラーやレンズ等で形成される光路結合部(図示しない)を介して、挿入部12a内に挿通されたライトガイド41に入射される。ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と、光源装置14及びプロセッサ装置16を接続するコード)に内蔵されている。ライトガイド41は、光源20が発生した照明光を、内視鏡12の先端部12dまで伝搬する。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、ライトガイド41によって伝搬された照明光は照明レンズ45を介して観察対象に照射される。撮像光学系30bは、対物レンズ46、ズームレンズ47、撮像センサ48を有している。照明光を照射したことによる観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ46及びズームレンズ47を介して撮像センサ48に入射する。これにより、撮像センサ48に観察対象の像が結像される。なお、ズームレンズ47は、ズーム操作部13bを操作することでテレ端とワイド端との間で自在に移動され、撮像センサ48に結像する観察対象の反射像を拡大または縮小する。
撮像センサ48は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ48の各画素には、図4に示すR(赤色)カラーフィルタ、G(緑色)カラーフィルタ、B(青色)カラーフィルタのいずれかが各画素に設けられている。このため、撮像センサ48は、紫色から青色の光をBカラーフィルタが設けられたB画素(青色画素)で受光し、緑色の光をGカラーフィルタが設けられたG画素(緑色画素)で受光し、赤色の光をRカラーフィルタが設けられたR画素(赤色画素)で受光する。そして、各色の画素から、RGB各色の画像信号を出力する。特に、特殊観察モードでは、光源20の発光パターンが第1発光パターンの場合には、紫色光Vが照明光として用いられるので、撮像センサ48は、紫色光Vが照射された観察対象を撮像し、紫色光Vに対応する第1青色画像信号(以下、B1画像信号という)をB画素から出力する。また、光源20の発光パターンが第2発光パターンの場合には、青色光B、緑色光G、及び赤色光Rからなる白色光が照明光として用いられるので、撮像センサ48は、青色光B,緑色光G,赤色光Rが照射された観察対象を色毎に撮像し、青色光Bに対応する第2青色画像信号(以下、B2画像信号という)をB画素から出力し、緑色光Gに対応する画像信号(以下、G画像信号という)をG画素から出力し、かつ、赤色光Rに対応する画像信号(以下、R画像信号という)をR画素から出力する。B1画像信号が第1画像信号であり、B2画像信号が第2画像信号である。
撮像センサ48としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサを利用可能である。また、原色の撮像センサ48の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの四色の画像信号が出力されるので、補色−原色色変換によって、CMYGの四色の画像信号をRGBの三色の画像信号に変換することにより、撮像センサ48と同様のRGB画像信号を得ることができる。また、撮像センサ48の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
CDS/AGC回路51は、撮像センサ48から得られるアナログの画像信号に相関二重サンプリング(CDS;Correlated Double Sampling)や自動利得制御(AGC;Automatic Gain Control)を行う。CDS/AGC回路51を経た画像信号は、A/D(Analog to Digital)コンバータ52により、デジタル画像信号に変換される。A/D変換後のデジタル画像信号がプロセッサ装置16に入力される。
プロセッサ装置16は、画像信号取得部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、画像処理切替部61と、通常画像処理部66と、特殊画像処理部67と、映像信号生成部68と、を備えている。画像信号取得部53は、CDS/AGC回路51及びA/Dコンバータ52を介して、撮像センサ48からデジタルの画像信号を取得する。
DSP56は、取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。
ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。ガンマ変換処理後の画像信号には、デモザイク処理(等方化処理、または同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ除去部58は、DSP56でデモザイク処理等が施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等による)を施すことによってノイズを除去する。ノイズが除去された画像信号は、画像処理切替部61に送信される。モード切り替えスイッチ13aの操作によって通常観察モードにセットされている場合、画像処理切替部61は、RGB各色の画像信号を通常画像処理部66に送信し、特殊観察モードにセットされている場合には、RGB画像信号を特殊画像処理部67に送信する。
通常画像処理部66は、通常観察モードに設定されている場合に作動し、受信した画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行い、通常画像信号を生成する。色変換処理では、RGB画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(ルックアップテーブル)処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みの画像信号に対して行われる。構造強調処理は、例えば表層血管やピットパターン等の観察対象の構造を強調する処理であり、色彩強調処理後の画像信号に対して行われる。上記のように、構造強調処理まで各種画像処理等を施した通常画像信号を用いたカラー画像が通常画像である。
特殊画像処理部67は、特殊観察モードに設定されている場合に作動する画像処理部であり、第1発光パターンの照明光が照射された観察対象を撮像することで得られる紫色光Vに対応するB1画像信号と、第2発光パターンの照明光が照射された観察対象を撮像することで偉える青色光Bに対応するB2画像信号と、緑色光Gに対応するG画像信号と、赤色光Rに対応するR画像信号との四個の画像信号が入力される。また、これらの画像信号は、位置合わせ処理部62及び明るさ補正処理部63を介して入力される。
位置合わせ処理部62は、順次取得されたB1画像信号と、B2画像信号,G画像信号,及びR画像信号との位置合わせを行う。位置合わせ処理部62は、第1発光パターンで得たB1画像信号、または、第2発光パターンで得たB2画像信号,G画像信号,及びR画像信号のうち少なくとも一方を補正する。
明るさ補正処理部63は、位置合わせ処理部62によって位置合わせされたB1画像信号及びB2画像信号の明るさが特定比になるように、第1発光パターンで得たB1画像信号、または、第2発光パターンで得たB2画像信号,G画像信号,及びR画像信号のうち少なくとも一方の明るさを補正する。具体的には、第1発光パターンの紫色光Vと第2発光パターンの青色光Bの光量比は既知なので、これらの光量比を用いて、それぞれ同等の光量の紫色光V及び青色光Bを観察対象に照射して得る場合の明るさになるように、B1画像信号の明るさを、B2画像信号の明るさに一致させるようにゲイン補正をする。
図5に示すように、特殊画像処理部67は、血管位置信号生成部76と、血管幅信号生成部77と、血管画像信号生成部78と、血管強調画像信号生成部79と、を備える。
血管位置信号生成部76は、画像処理切替部61から受信した画像信号を用いて、観察対象の血管の位置を表す血管位置信号を生成する。具体的には、血管位置信号生成部76は、紫色光Vに対応するB1画像信号及び青色光Bに対応するB2画像信号をそれぞれ対数変換し、対数変換後のB2画像信号とB1画像信号の差分を算出することにより差分画像信号を生成する。そして、算出した差分画像信号にトップハット処理を施すことによって、入力された画像信号から観察対象の特定の深さにある血管を抽出する。本実施形態では、対数変換後のB2画像信号からB1画像信号を減算して差分画像信号を生成する。そして、血管位置信号生成部76は、トップハット処理後の差分画像信号を、二値化することにより、特定の深さにある血管を表す画素の画素値が特定の正値(例えば「1」)を有し、それ以外の画素の画素値が零の血管位置信号を生成する。血管位置信号は、血管画像信号生成部78に入力される。
図6に示すように、紫色光Vは青色光Bと比較して波長が短いので、観察対象への深達度が小さく、青色光Bに対して相対的に粘膜下の浅い位置Asにある血管しか写し出せない代わりに、浅い位置Asにある血管のコントラスト(血管からの反射光量に対する周辺の粘膜からの反射光量の比)は青色光Bを用いる場合よりも大きい。一方、青色光Bは紫色光Vと比較して波長が長いので、観察対象への深達度が大きく、紫色光Vに対して相対的に粘膜下の深い位置Adにある血管まで写し出せる代わりに、浅い位置Asにある血管のコントラストは紫色光Vを用いる場合よりも小さい。このため、青色光Bに対応するB2画像信号から紫色光Vに対応するB1画像信号を減算すれば、特に粘膜下の浅い位置Asにある極表層血管を表す画素の画素値は大きい値(白色)になる。逆に、極表層血管よりも深い位置Adにある表層血管を表す画素の画素値は小さい値(黒色)になる。
トップハット処理は、モルフォロジー処理(モルフォロジーフィルタ処理、モフォロジー処理等とも言う)であり、元の画像信号から、オープニング処理を施した画像信号を減算する処理である。オープニング処理は、明るい領域を収縮(erosion)させた後、明るい領域を膨張(dilation)させる処理である。すなわち、トップハット処理は、ノイズを除きつつ、近隣の画素と比較して画素値が大きい(明るい)画素を抽出する処理なので、上記のように、B2画像信号からB1画像信号を減算して生成した差分画像信号にトップハット処理をすると、比較的深い位置Adにある表層血管と峻別して、画素値が大きい極表層血管が抽出される。
トップハット処理に用いる構造要素(カーネルともいう)の大きさや形状等が適切に設定されていれば、トップハット処理後の画像信号を二値化することにより、ほぼ極表層血管だけを正確に抽出することができる。このため、血管位置信号生成部76が生成する血管位置信号は、極表層血管の位置を正確に表している。但し、血管位置信号が表す極表層血管は、幅(画像上での太さ)が不正確であり、誤差を含んでいる。これは、図7に示すように、極表層血管124からの光102は、観察対象103を伝搬する間に、散乱等によって拡散されるからである。図8に示すように、極表層血管124からの光102が散乱等によって拡散されることで、撮像センサ48での受光量の分布が下凸のガウス関数型に広がるとすると、図9に示すように、トップハット処理後の差分画像信号128は、上凸のガウス関数型になる。このトップハット処理後の差分画像信号128を二値化して血管位置信号131を生成すると、二値化するための閾値Thの設定値によって、血管位置信号131中での極表層血管124の幅は変化してしまう。したがって、血管位置信号131は極表層血管124の位置は正確であるが、極表層血管124の幅には誤差がある。なお、極表層血管124の位置が正確であるとは、ノイズがなく、抽出されたものがほぼ極表層血管124だけであることを言う。
血管幅信号生成部77は、画像処理切替部61から受信した画像信号を用いて、観察対象の血管の幅を表す血管幅信号を生成し、血管画像信号生成部78に入力する。具体的には、血管幅信号生成部77は、B1画像信号とB2画像信号のうち、極表層血管のコントラストが高いB1画像信号にLOGフィルタ(Laplacian Of Gaussian Filter)を施す。そして、LOGフィルタを施した後の画像信号の零点を用いて、二値の血管幅信号を生成する。LOGフィルタは、ガウシアンフィルタとラプラシアンフィルタとの複合フィルタであり、ガウシアンフィルタによって画像信号を平滑化してノイズを除去した後に、ラプラシアンフィルタによって二階微分をするフィルタである。すなわち、血管幅信号生成部77は、二階微分後の画像信号の零点を用いて血管幅信号を生成する。
例えば、図10(A)に示すB1画像信号115に対してLOGフィルタを施すと、図10(B)に示すように、LOGフィルタ後の画像信号107の零点は、極表層血管124のエッジをほぼ正確に表す。このため、図10(C)に示すように、血管幅信号生成部77は、LOGフィルタ後のB1画像信号117の零点間かつ画素値が正の領域を抽出することにより、血管幅信号141を生成する。血管幅信号141では、血管を表す領域を特定の正値(例えば「1」)を有する「白」の画素で表し、血管以外の領域を画素値が零の「黒」の画素で表す。上記生成方法から分かる通り、血管幅信号141は極表層血管124の幅は正確である。但し、微分をするラプラシアンフィルタを用いるので、極僅かな信号も検出する。したがって、血管幅信号141は、極表層血管124の幅を正確に表すが、極表層血管124以外のノイズ成分をも含んでいる。
血管画像信号生成部78は、上記のように生成される血管位置信号と血管幅信号とを用いて、観察対象の特定の深さにある血管を表す血管画像信号を生成する。具体的には、血管位置信号と血管幅信号との論理積(“AND”)によって、血管画像信号を生成する。血管位置信号と血管幅信号との論理積をとると、血管位置信号と血管幅信号とで共通して特定の正値を有する画素だけが抽出され、血管位置信号または血管幅信号のいずれかのみで特定の正値を有する画素は画素値が零の画素になる。したがって、血管画像信号が表す血管は、血管位置信号で表される位置に有り、かつ、血管幅信号で表される幅を有する。さらに、血管画像信号には、血管以外のノイズ成分もほとんど含まれない。すなわち、本実施形態の血管画像信号は、位置及び幅を正確に、元の画像信号から極表層血管だけを抽出した画像信号に対応する。
血管強調画像信号生成部79は、B2画像信号、G画像信号、及びR画像信号と、血管画像信号生成部78が生成した血管画像信号を用いて、血管強調画像信号を生成する。具体的には、血管強調画像信号生成部79は、まず、特殊画像処理部67がB2画像信号、G画像信号、及びR画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行い、通常画像処理部66が生成する通常画像信号に対応する血管強調画像信号のベースとなる画像信号(以下、ベース画像信号という)を生成する。次いで、血管強調画像信号生成部79は、ベース画像信号に血管画像信号を重畳して血管強調画像信号を生成する。したがって、血管強調画像信号では、観察対象に含まれる血管の位置及び幅が、ほぼ誤差なく、正確に強調されている。
通常画像処理部66が生成する通常画像信号、及び、特殊画像処理部67が生成する血管強調画像信号は、映像信号生成部68に入力される。映像信号生成部68は通常画像信号や血管強調画像信号をモニタ18で表示可能な画像として表示するための映像信号に変換する。この映像信号を用いて、モニタ18は、通常画像や血管強調画像を表示する。
次に、特殊観察モードにおける画像処理の一連の流れを図11に沿って説明する。まず、光源20が第1発光モードと第2発光モードで照明光を発生し、紫色光Vと、青色光B,緑色光G,及び赤色光Rからなる白色光をそれぞれ照明光として発生する(S11:照明光発生ステップ)。具体的には、第1発光モードでは紫色光Vを発光し、第2発光モードでは、青色光B,緑色光G,及び赤色光Rからなる白色光を発光する。撮像センサ48は、各照明光が照射された観察対象をそれぞれ撮像する(S12:撮像ステップ)。そして、プロセッサ装置16は、画像信号取得部53によって撮像センサ48から各照明光によって観察対象を撮像して得た画像信号を取得する。具体的には、画像信号取得部53によって、紫色光Vに対応するB1画像信号を取得する(S13:第1画像信号取得ステップ)。また、青色光Bに対応するB2画像信号と、緑色光Gに対応するG画像信号と、赤色光Rに対応するR画像信号を取得する(S14:第2画像信号取得ステップ)。画像信号取得部53が順次取得した各画像信号は、位置合わせ処理部62によって位置合わせされ(S15:位置合わせステップ)、かつ、明るさ補正処理部63によって明るさが補正された後(S16:明るさ補正ステップ)、特殊画像処理部67に入力される。
特殊画像処理部67が受信するB2画像信号、G画像信号、及びR画像信号を使用してカラー画像を生成すれば、図12に示す画像121のように、観察対象の起伏等の形状122が観察可能であり、さらに、粘膜の表層付近にある表層血管123が観察できる他、表層血管123の中でも粘膜の表面に極めて近い深さに分布する極表層血管124が観察できる。
特殊画像処理部67は、観察対象を撮像して得た各画像信号を受信すると、血管位置信号生成部76において、青色光Bに対応するB2画像信号から紫色光Vに対応するB1画像信号を減算することにより、差分画像信号を生成する。差分画像信号128では、元の画像信号(例えば図12の画像121)に対して、比較的深い位置にある表層血管123は画素値が小さくなり、かつ、極表層血管124は画素値が大きくなる。このため、図13に示すように、極表層血管124と比較的深い位置にある表層血管123の違いが元の画像信号(例えば図12の画像121)よりも顕著になる。血管位置信号生成部76は、生成した差分画像信号128に対してトップハット処理をし、トップハット処理後の画像信号を特定の閾値を用いて二値化することにより、血管位置信号を生成する(S17:血管位置信号生成ステップ)。図14に示すように、血管位置信号131は、差分画像信号128から極表層血管124が抽出された画像信号になっている。血管位置信号131は、極表層血管124の位置は正しいが、その幅(太さ)は誤差を含む。例えば、図14の血管位置信号131では、差分画像信号128に対して、極表層血管124が太く抽出されている。
また、特殊画像処理部67は、観察対象を撮像して得た画像信号を受信すると、血管幅信号生成部77において、B1画像信号とB2画像信号のうち、極表層血管のコントラストが高いB1画像信号にLOGフィルタを施す。そして、LOGフィルタが施された画像信号の零点間かつ画素値が正の領域にある画素の画素値を特定の正値とし、それ以外の領域にある画素の画素値を零とした血管幅信号を生成する(S18:血管幅信号生成ステップ)。図15に示すように、血管幅信号141は、極表層血管124の幅(太さ)は正しいが、比較的深い位置にある表層血管123も含まれている。また、微分を含むLOGフィルタを用いているので、ノイズ成分142も含まれている。
そこで、特殊画像処理部67は、血管位置信号131と血管幅信号141との論理積をとることにより、血管画像信号を生成する(S19:血管画像信号生成ステップ)。図16に示すように、血管画像信号151には、血管幅信号141に表れるノイズ成分142はなく、血管画像信号151は、極表層血管124の位置が正しく、かつ、極表層血管124の幅も正しい画像信号である。
特殊画像処理部67は、上記のように血管画像信号生成部78によって血管画像信号151を生成すると、血管強調画像信号生成部79によって、B2画像信号、G画像信号、及びR画像信号を用いてカラーのベース画像信号を生成し、さらに生成したベース画像信号に血管画像信号151を重畳して血管強調画像信号を生成する(S20:血管強調画像信号生成ステップ)。図17に示すように、血管強調画像信号161では、観察対象の起伏等の形状122が観察可能な他、極表層血管124が強調されており、極表層血管124の位置及び幅も正確である。血管強調画像信号生成部79が生成した血管強調画像信号161は、映像信号生成部68によってモニタ18に表示可能な形式の信号に変換され、モニタ18に出力表示される(S21)。
上記のように、内視鏡システム10では、観察対象を撮像して得た画像信号から血管を抽出するときに、紫色光V(第1照明光)で観察対象を撮像して得たB1画像信号(第1画像信号)と、紫色光Vとは波長帯域が異なる青色光B(第2照明光)、緑色光G、赤色光Gで観察対象を撮像して得た画像信号のうち、青色光Bに対応するB2画像信号(第2画像信号)との差分画像信号を算出する。そして、この差分画像信号を用いてノイズが少なく血管の位置が正確な血管位置信号131する。また、B1画像信号とB2画像信号のうち、極表層血管のコントラストが高いB1画像信号を用いて、ノイズが含まれるが血管の幅が正確な血管幅信号141を生成する。そして、これらの論理積をとることによって、元の画像信号に対して極表層血管124が抽出された血管画像信号151を生成する。このため、内視鏡システム10は、極表層血管124の位置及び幅を両方とも正確に抽出することができる。そして、上記のように生成した血管画像信号151を用いることで、従来の血管を強調表示する従来の内視鏡システムと比較すると、内視鏡システム10は極表層血管124の位置及び幅を両方とも正確に強調表示することができる。
例えば、ベース画像信号に、血管位置信号131を重畳して血管強調をすると、強調された極表層血管124の位置は正しいが、幅が不正確であるため、元の画像信号に対応する画像121よりも太い範囲が強調されてしまう。また、ベース画像信号に、血管幅信号141を重畳して血管強調をすると、極表層血管124は太さが正確に強調されるが、ノイズ成分142や比較的深い位置にある表層血管123があるため、極表層血管124の有無や密度を誤認し易い。これに対して、内視鏡システム10は、上記のように生成した血管画像信号151を用いるので、極表層血管124の位置及び幅を正確に強調表示することができる。
なお、第1実施形態では、血管位置信号生成部76において、青色光Bに対応するB2画像信号から、紫色光Vに対応するB1画像信号を減算した差分画像信号を生成することにより、紫色光Vや青色光Bを用いて観察可能な表層血管のうち、粘膜下の特に浅い位置Asにある極表層血管124を抽出しているが、B1画像信号からB2画像信号を減算して差分画像信号を生成すれば、表層血管の中でも、極表層血管124を除いた、比較的深い位置にある表層血管123だけを抽出することができる。この場合、血管幅信号生成部77では、表層血管のなかでも比較的深い位置にある表層血管123のコントラストが高いB2画像信号を用いる。
また、上記第1実施形態では、紫色光Vに対応するB1画像信号と青色光Bに対応するB2画像信号を用いているが、例えば、第1の緑色波長帯域を有する第1照明光と、第1の緑色波長帯域とは波長帯域または分光スペクトルが異なる第2の緑色波長帯域を有する第2照明光を用いて観察対象を撮像し、各々に得られる第1緑色画像信号と、第2緑色画像信号とを用いても、上記第1実施形態と同様に、緑色光で観察可能な血管のうち、特定深さ以上(あるいは特定深さ以下)にある血管を、位置が正確かつ幅を正確に抽出することができる。すなわち、第1照明光と第2照明光の組み合わせは任意である。但し、血管の抽出に用いるこれらの照明光は、狭帯域光であることが好ましい。狭帯域光を生成するために、光源20等に狭帯域光を生成するための光学フィルタを用いても良い。上記第1実施形態のように極表層血管124を抽出する場合には、405±10nmに中心波長を有する紫色光Vと、445±10nmに中心波長を有する青色光を用いることが好ましい。445±10nmに中心波長を有する青色光は、例えば、B−LED23bの長波長側をカットする光学フィルタをB−LED23bの光路中に用いることで、上記青色光Bから生成することができる。
[第2実施形態]
上記第1実施形態では、血管位置信号生成部76は、特殊画像処理部67に入力された画像信号を用いて血管位置信号を生成する。また、血管幅信号生成部77は、特殊画像処理部67に入力された画像信号を用いて血管幅信号を生成する。すなわち、血管位置信号生成部76及び血管幅信号生成部77は、観察対象を撮像して得た画像信号をそのまま使用して、それぞれ血管位置信号と血管幅信号とを生成する。しかしながら、観察対象を撮像して得た画像信号には、照明光の照射の仕方等の撮像時の問題によって、血管の抽出を妨げる(誤抽出の原因となる)ノイズが含まれている場合がある。血管の抽出を妨げるノイズ成分や、このノイズ成分によって誤抽出された血管は、アーチファクトと称される。
例えば、図18に示すように、観察対象を撮像して得た画像信号を生成して得た画像信号221には、ハレーション226や陰影227等の照明光の照射によるアーチファクトが含まれている場合がある。ハレーション226は、観察対象に付着した液滴や観察対象の起伏等の形状122によって、照明光の反射光の光量が局所的に大きくなってしまった箇所である。ハレーション226の境界付近では画素値の変動が大きく、細かい暗線と輝線が繰り返されるノイズ成分が生じる。このため、ハレーション226があると、ハレーション226の境界付近に表れるノイズ成分のうち、暗線の部分が血管として抽出されてしまうことがある。また、陰影227は、観察対象の起伏等の形状122と照明光の照射角度の相対的な関係によって、照明光が届きにくく、周辺の画素と比べて画素値が小さくなってしまった箇所である。陰影227のスケールが表層血管123や極表層血管124と同程度のスケールの場合、陰影227が血管として抽出されてしまう場合がある。
このため、第2実施形態の内視鏡システムでは、図19に示すように、特殊画像処理部67に第1除去部201を備える。それ以外の構成は、第1実施形態の内視鏡システム10と同じである。第1除去部201は、特殊画像処理部67が画像処理切替部61から受信した画像信号から、ハレーション226とハレーション226の境界付近に表れるノイズ成分(以下、ハレーション等という)や陰影227等のアーチファクトを検出し、検出したハレーション226や陰影227を除去する。そして、血管位置信号生成部76及び血管幅信号生成部77は、アーチファクトが除去された画像信号を用いて、それぞれ血管位置信号と血管幅信号を生成する。こうしてアーチファクトが除去された画像信号を用いることにより、正確に表層血管123及び極表層血管124を抽出することができる。
第1除去部201は、例えば、特殊画像処理部67が受信する画像信号のうち、赤色波長帯域に対応するR画像信号を用いて、アーチファクトを検出する。青色波長帯域に対応するB画像信号は、表層血管123及び極表層血管124のコントラストが高く、緑色波長帯域に対応するG画像信号は、表層血管123よりも深い位置にある血管が写し出されていることがある。これに対し、図20に示すように、R画像信号281は、観察対象の起伏等の形状122、ハレーション等、及び陰影227は写し出されているが、血管に関する情報はほとんど担持していない。このため、第1除去部201は、B1画像信号、B2画像信号及びG画像信号からR画像信号を減算することによって、B1画像信号、B2画像信号及びG画像信号からアーチファクトを除去する。これにより、血管位置信号生成部76及び血管幅信号生成部77は、アーチファクトを除いた血管位置信号及び血管幅信号を生成する。
なお、アーチファクトとしてハレーション等を除去する場合、第1除去部201は、画素値が特定閾値以上の領域をハレーション226として検出し、その境界付近の暗線及び輝線のパターンを検出する。そして、第1除去部201は、検出したハレーション等がある領域内では、血管位置信号生成部76及び血管幅信号生成部77において血管を抽出しないようにしても良い。
また、第1除去部201は、R画像信号を用いて、ハレーション等及び陰影227を一括して除去しているが、ハレーション等の除去と陰影227の除去をそれぞれ別に行っても良い。例えば、陰影227を考慮せず、ハレーション等を除去するだけであれば、血管位置信号生成部76及び血管幅信号生成部77が使用する画像信号を用いてハレーション等を検出し、除去することが好ましい。したがって、第1除去部201は、血管位置画像信号生成部76及び血管幅画像信号77が用いるB1画像信号、B2画像信号、またはG画像信号を用いてハレーション等を検出及び除去するようにしても良い。そして、これとは別に、第1除去部201は、R画像信号を用いてB1画像信号、B2画像信号、またはG画像信号から陰影227を除去する検出及び除去するようにしても良い。
上記第2実施形態では、血管位置画像信号生成部76及び血管幅信号生成部77が使用する画像信号からアーチファクトを除去し、アーチファクトを除去した画像信号を用いて血管位置信号及び血管幅信号を生成しているが、代わりに、血管位置画像信号生成部76及び血管幅信号生成部77が生成した血管位置信号及び血管幅信号から、アーチファクト(陰影227やハレーション等に由来するノイズ)を除去しても良い。この場合、図21に示すように、特殊画像処理部67に第2除去部211を設ける。第2除去部211は、血管位置信号生成部76が生成する血管位置信号からアーチファクトまたはアーチファクトに由来するノイズを除去する。かつ、第2除去部211は、血管幅画像信号生成部77が生成する血管幅信号からアーチファクトまたはアーチファクトに由来するノイズを除去する。
例えば、第2除去部211は、特殊画像処理部67に入力されるRGB画像信号のうちのいずれかを用いてハレーション等を検出する。そして、血管位置信号生成部76及び血管幅信号生成部77が生成した血管位置信号及び血管幅信号から、ハレーション等が検出された範囲内に抽出された誤抽出の可能性が高い血管(ハレーション等に由来するノイズ)を除去する。また、第2除去部211は、特殊画像処理部67に入力されたRGB画像信号のうち、例えばR画像信号を用いて陰影227の領域を検出する。そして、血管位置信号生成部76及び血管幅信号生成部77が生成した血管位置信号及び血管幅信号から、検出した陰影227がある範囲内に抽出された誤抽出の可能性が高い血管(陰影227に由来するノイズ)を除去する。
第2除去部211は、上記のようにアーチファクトを除去した血管位置信号及び血管幅信号を血管画像信号生成部78に入力する。血管画像信号生成部78は、アーチファクトが除去された血管位置信号及び血管幅信号を用いて血管画像信号を生成する。このように、アーチファクトを含む血管位置信号及び血管幅信号から、アーチファクトを除去することでも、上記第2実施形態と同様に正確に表層血管123及び極表層血管124を抽出することができる。
上記第2実施形態では、ハレーション等や陰影227、またはこれらに由来するノイズを除去しているが、この他にも腺管構造(ピットパターン)は血管抽出においてアーチファクトになり得る。例えば、腺管構造は、画像信号上で高輝度の筋に見え、腺管構造の筋の間は腺管構造に比べて低輝度の領域になるので、腺管構造間の低輝度領域は、血管として誤抽出される場合がある。このため、第1除去部201(図19参照)を設ける場合、第1除去部201は、特殊画像処理部67に入力される画像信号のうち、B1画像信号またはB2画像信号を用いて、筋状の高輝度領域である腺管構造を検出し、血管位置信号生成部76及び血管幅信号生成部77が使用する画像信号から腺管構造の像を除去することが好ましい。これにより、腺管構造間の低輝度領域は、血管位置信号及び血管幅信号の生成時には誤抽出されなくなる。また、第1除去部201は、腺管構造が検出された領域を血管の抽出対象から除外させることで、血管位置信号及び血管幅信号に誤抽出されなくなるようにしても良い。
第2除去部211(図21参照)を設けて、血管位置信号及び血管幅信号からアーチファクトまたはアーチファクトに由来するノイズ成分を除去する場合には、第2除去部211は、特殊画像処理部67に入力されるRGB画像信号のいずれかを用いて腺管構造が写し出された領域を検出し、血管位置信号及び血管幅信号から、腺管構造が検出された領域内に抽出された血管を除去することが好ましい。こうすると、血管位置信号及び血管幅信号から、腺管構造があることによって誤抽出された血管を除去することができる。
上記第2実施形態のように、赤色波長帯域に対応するR画像信号を用いて、アーチファクトまたはアーチファクトに由来するノイズ成分を除去する場合、第1発光パターンではV−LED23aに加え、R−LED23dを点灯する。すなわち、紫色光Vと赤色光Rとを含む照明光を照射して観察対象を撮像し、B1画像信号に加えて、赤色波長帯域に対応するR画像信号(以下、R1画像信号という)を得られるようにすることが好ましい。そして、B1画像信号からアーチファクトを除去するときには、R1画像信号を用いる。また、第2発光パターンの照明光が照射された観察対象を撮像して得られるB2画像信号やG画像信号からアーチファクトを除去する場合には、第2発光パターンの照明光に含まれる赤色光に対応したR画像信号(R2画像信号)を用いてアーチファクトを除去する。このように、観察対象を同時に撮像して得られる画像信号同士を用いてアーチファクトを除去すると、アーチファクトの除去精度を向上させることができる。
[第3実施形態]
上記第1実施形態及び第2実施形態では、特殊画像処理部67は、血管画像信号生成部78によって血管画像信号151を生成した後、血管強調画像信号生成部79によって、ベース画像信号に血管画像信号151を重畳することにより血管強調画像信号161を生成しているが、血管強調画像信号161を生成する代わりに、あるいは、血管強調画像信号161を生成した上でさらに、血管画像信号151を用いて、診断の指標となる血管に関する情報を求めても良い。診断の指標となる血管に関する情報とは、血管の密度(以下、血管密度という)、異常な形状の血管の有無や割合、単位面積中の血管の本数、血管の走行方向、血管の走行方向のばらつきの程度(血管の走行方向の揃い具合)、等である。
例えば、診断の指標となる血管に関する情報として血管密度を算出する場合、図22に示すように、特殊画像処理部67に血管密度算出部301と血管密度画像信号生成部302とを設ける。血管密度算出部301は、血管画像信号生成部78が生成した血管画像信号151または、血管画像信号151から生成される画像を用いて血管密度を算出する。血管密度は、単位面積中にある血管の割合であり、血管密度算出部301は、血管密度を画素毎に算出する。具体的には、血管画像信号151から、血管密度を算出する画素を中心に含む特定の大きさ(単位面積)の領域を切り出し、その領域内の全画素に占める表層血管123及び極表層血管124の割合を算出する。これを血管画像信号151の全画素について行うことで、血管画像信号151の各画素の血管密度を算出する。
図23に示すように、血管密度画像信号生成部302は、血管密度画像信号321を生成する。血管密度画像信号321は、血管強調画像信号生成部79と同様に生成したベース画像信号の各画素を、血管密度の値に応じて着色することによって血管密度を色温度で表す画像信号である。
上記のように、血管画像信号151を用いて、診断の指標となる血管密度等を算出する内視鏡システムは、血管の位置及び幅を正確に抽出した血管画像信号151を用いることができるので、従来の内視鏡システムよりも正確で有益な指標を算出することができる。このため、従来では不正確さのために、算出しても診断の指標とまではなりえなかった数値も、診断に利用可能な指標にすることができる。
上記第3実施形態では、血管画像信号151を用いて血管密度を画素毎に算出し、血管密度を色で表す血管密度画像信号321を生成しているが、血管密度を血管画像信号151の全体を単位面積として、血管画像信号151に対して一つの血管密度を算出する場合には、ベース画像信号あるいは血管強調画像信号161とともに血管密度の数値をモニタ18に出力しても良い。また、上記のように各画素について血管密度を算出する場合に、ベース画像または血管強調画像信号161をモニタ18に表示し、モニタ18上で指定された箇所の血管密度を数値でモニタ18に出力するようにしても良い。
なお、上記第1実施形態、第2実施形態、及び第3実施形態では、特殊画像処理部67が画像処理切替部61から取得する画像信号の各画素は、撮像センサ48の各画素の受光量に比例する画素値を有する。そして、血管位置信号生成部76では、この受光量に比例する画素値を有するB1画像信号及びB2画像信号を対数変換し、対数変換後のB1画像信号とB2画像信号の差分画像信号を生成する。このように、対数変換を濃度に比例する画像信号になるので、対数変換後のB1画像信号とB2画像信号を用いて差分画像信号を生成することにより、照明光の照度によらず、安定して血管位置信号及び血管幅信号を生成することができるという利点がある。上記第1実施形態、第2実施形態、及び第3実施形態のように、対数変換後のB1画像信号及びB2画像信号を用いて差分画像信号を生成する代わりに、画素毎に比を算出することにより、B1画像信号とB2画像信号の比(以下、信号比という)を求め、この信号比を対数変換して上記差分画像信号を生成しても良い。この場合も、上記第1実施形態、第2実施形態、及び第3実施形態と同様に、照明光の照度によらず、安定して血管位置信号及び血管幅信号を生成することができる。第1照明光と第2照明光の照度が整っている場合には、対数変換前のB1画像信号とB2画像信号を用いて差分画像信号を生成しても良く、信号比を上記差分画像信号の代わりに用いても良い。
上記第1実施形態、第2実施形態、及び第3実施形態では、血管位置信号生成部76において、トップハット処理を行っているが、画像信号を反転させ、血管が高輝度(白色)で写し出される画像信号に変換して用いる場合には、トップハット処理の代わりに、ブラックハット処理を行うようにしても良い。ブラックハット処理は、ノイズを除きつつ、近隣の画素と比較して画素値が小さい画素を抽出するモルフォロジー処理であり、元の画像からクロージング処理をした画像信号を減算する処理である。クロージング処理は、明るい領域を膨張させた後に、明るい領域を収縮させる処理である。
上記第1実施形態、第2実施形態、及び第3実施形態では、トップハット処理を用いて血管位置信号を生成しているが、トップハット処理に用いる構造要素は、ひし形であることが好ましい。また、円形の構造要素を用いても良い。これは、血管の走行方向が360度全ての方向であり得るからである。ガボールフィルタ処理等によって、予め血管の走行方向が判明している場合には、判明している血管の走行方向に特化した構造要素を使用しても良い。
上記第1実施形態、第2実施形態、及び第3実施形態では、血管位置信号を生成するときに、トップハット処理を用いているが、その代わりに、テンプレートマッチング、ガボールフィルタ、閾値法、機械学習法等を用いても良い。テンプレートマッチングは、血管のテンプレートを予め用意し、テンプレートに一致する形状を抽出する処理である。テンプレートマッチングを用いて血管位置信号を生成する場合、全ての血管を抽出するのではなく、特定の血管(例えば、病変と関連性が高い異常な形状の血管)だけを抽出しても良い。テンプレートマッチングを用いて、特定の血管だけを抽出する場合には、血管の特徴から診断をアシストする情報をモニタ18に表示させても良い。例えば、AA分類BB型の血管が抽出されたときには、「病変CCの可能性があります」等とモニタ18に表示する。
ガボールフィルタは、特定の方向性を有する構造を抽出するフィルタである。このため、血管位置信号を生成するときに、ガボールフィルタを用いる場合には、縦横斜めのガボールフィルタを用いて血管を抽出する。また、ガボールフィルタを用いる場合には、血管の走行方向に偏りがあるか否かを判別できるので、例えば縦横斜めの全ての成分が均一である場合には、不整走行の可能性があることをモニタ18に表示し、診断をアシストすることが好ましい。
閾値法は、特定の閾値を設定し、画素値が特定の閾値以下の領域を血管として抽出する方法である。トップハット処理の代わりに、閾値法を用いて血管位置信号を生成する場合、照明光の照射光量にムラがある場合には、これを打ち消す処理を加えることが好ましい。例えば、低周波成分で規格化したり、ヘモグロビンによる吸収が殆どないために血管が殆ど写し出されないR画像信号で規格化したりすることで、照明光の照射光量のムラを打ち消すことができる。また、閾値法を用いる場合、閾値は動的に決定しても良い。閾値を動的に決定する方法には、大津法などがある。
上記第1実施形態、第2実施形態、及び第3実施形態では、LOGフィルタを用いて血管幅信号を生成しているが、LOGフィルタの代わりに、ラプラシアンフィルタだけを用いて血管幅信号を生成しても良い。但し、ノイズに対するロバスト性を高めるためには、ガウシアンフィルタを組み合わせて用いるLOGフィルタを用いる方が良い。また、LOGフィルタを用いると、ガウシアンフィルタによって平滑化されている分、画像信号にボケが含まれるようになるので、LOGフィルタ後の画像信号に対して、さらにモルフォロジー処理を行ってガウシアンフィルタでぼけた分を補正することが好ましい。
また、上記第1実施形態、第2実施形態、及び第3実施形態では、血管のボケをガウス関数型になると仮定しているが、ガウス関数以外に仮定しても良い。この場合、LOGフィルタの代わりに、血管の幅方向の粘膜と血管の境界を解析解として解くフィルタを予め用意し、そのフィルタを用いて血管幅信号を生成すると良い。粘膜と血管の境界は、例えば、ピーク値の半値幅(あるいは特定割合X%に減衰する点)、勾配が最も急峻になる点である。
上記第1実施形態、第2実施形態、及び第3実施形態では、血管のボケをガウス関数型になると仮定しているが、さらに厳密には、血管のボケ方は、粘膜の状態や血管の深さ等によって変化するので、画像信号からこれらの状態を推定し、血管幅信号を補正することが好ましい。
上記第1実施形態、第2実施形態、及び第3実施形態では、光源20に四色のLED23a〜23dを用いているが、LEDの代わりに、レーザー光源やキセノンランプ等を用いても良い。さらに、光源20には、LEDを用いる場合も含め、波長帯域を任意に制限する光学フィルタを組み合わせて用いても良い。この光学フィルタは、撮像センサ48の入射面に設けても良い。
上記第1実施形態、第2実施形態、及び第3実施形態では、受信する画像信号をそのまま用いて血管位置信号及び血管幅信号を生成しているが、ノイズ除去処理を行ってから血管位置信号及び血管幅信号を生成すると、血管の抽出精度が向上する。特に、血管位置信号を生成する場合に、差分画像信号に対してノイズ除去処理を行ってからトップハットフィルタ処理を施すと良い。血管位置信号及び血管幅信号を生成する場合に行うノイズ除去処理としては、平滑化フィルタやガウシアンフィルタが望ましい。複数の画像信号を保持している場合には、連続して取得した複数の画像信号を加算平均してノイズ除去処理を行っても良い。
上記第1実施形態、第2実施形態、及び第3実施形態では、第1発光パターンの場合には紫色光Vを照明光として用い、第2発光パターンの場合には、青色光B、緑色光G、赤色光Rからなる白色光を照明光として用いるので、血管強調画像信号生成部79は第2発光パターンの場合に得られる画像信号を用いて、通常画像と同じ白色のベース画像を生成し、このベース画像に血管画像信号を重畳して血管強調画像信号を生成している。このようにベース画像及び血管強調画像信号を生成する代わりに、元のB1画像信号またはB2画像信号を、ベース画像の青色チャンネル及び緑色チャンネルに割り当て、元のG画像信号を、ベース画像の赤色チャンネルに割り当てる等して、血管を強調する配色のベース画像を生成しても良い。そして、この血管を強調するベース画像に対して血管画像信号を重畳させることにより、血管強調画像を生成しても良い。この場合、第2発光パターンでは、B−LED23bだけを点灯させて、青色光Bだけを照明光として用いても良い。こうすると、B2画像信号には、緑色光Gや赤色光Rの混入がなくなる。この結果、図6に示す青色光Bの血管コントラストが上がって、青色光Bによる血管コントラストのグラフと、紫色光Vの血管コントラストのグラフの交点は、粘膜下のさらに浅い位置にシフトする。したがって、対数変換後のB1画像信号とB2画像信号の差分画像信号を用いることによって、さらに粘膜の表層側に絞った極表層血管の情報を得ることができるようになる。
上記第1実施形態、第2実施形態、及び第3実施形態では、血管の位置及び太さを画像で表示しているが、撮像距離(撮像センサ48から観察対象までの距離)が得られる場合には、画像信号上での画素数と撮像距離とに基づいて血管の太さを算出し、血管画像信号が表す血管の平均太さを数値でモニタ18に表示すると良い。モニタ18で指定された血管の太さを数値で表示しても良い。撮像距離の測定は、レーザー干渉計を用いることができる。また、画像信号の周波数成分の分布によっても撮像距離を推定することができる。
上記第1実施形態、第2実施形態、及び第3実施形態では、血管強調画像信号等をリアルタイムにモニタ18に表示するが、内視鏡システム10の外部記憶装置(図示しない)等に記憶された画像信号を用いて上記各実施形態のように血管強調画像信号等を生成しても良い。
上記第1実施形態、第2実施形態、及び第3実施形態のように、血管位置信号、血管幅信号、及び血管強調画像信号をリアルタイムで表示する場合、処理速度を高めるために、入力された各画像信号から複数の解像度の画像信号を生成し、各解像度の画像信号に対して血管位置信号及び血管幅信号をそれぞれ生成しても良い。この場合、図24に示すように、特殊画像処理部67に、解像度分解部350を設ける。解像度分解部350は、B1画像信号及びB2画像信号を解像度が異なる複数の画像信号にそれぞれ分解する。例えば、解像度分解部350は、B1画像信号及びB2画像信号から、第1解像度を有する第1解像度B1画像信号及び第1解像度B1画像信号を生成し、かつ、第1解像度とは異なる第2解像度を有する第2解像度B1画像信号及び第2解像度B2画像信号を生成する。
そして、血管位置信号生成部76及び血管幅信号生成部77では、解像度毎に、血管位置信号及び血管幅信号を生成する。すなわち、血管位置信号生成部76及び血管幅信号生成部77は、第1解像度B1画像信号及び第1解像度B2画像信号から第1血管位置信号と第1血管幅信号を生成し、第2解像度B1画像信号及び第2解像度B2画像信号から第2血管位置信号と第2血管幅信号をそれぞれ生成する。その後、血管画像信号生成部78は、第1血管位置信号と第1血管幅信号とを用いて第1血管画像信号を生成し、第2血管位置信号と第2血管幅信号とを用いて第2血管画像信号を生成する。血管強調画像信号生成部79は、第1血管画像信号と第2血管画像信号の解像度をベース画像に合わせ、ベース画像に重畳することで、上記各実施形態と同様の血管強調画像信号を生成する。このように、複数の解像度に分けて血管抽出を行うと、モルフォロジー処理で用いる構造要素のサイズを小さくすることができるのでプロセッサ装置16の処理負担を低減できる。また、粘膜下の同程度の深さに太さが異なる血管が存在する場合があるが、上記のように複数解像度に分けてそれぞれ血管抽出を行えば、粘膜下の同程度の深さにある太さが異なる血管を全て確実に抽出することができる。
なお、血管画像信号生成部78は、第1血管画像信号と第2血管画像信号の解像度を合わせて合成した合成血管画像信号を生成しても良い。この場合、血管強調画像信号生成部79は、ベース画像に合成血管画像信号の解像度を合わせて重畳させることにより、血管強調画像を生成する。
なお、上記第1実施形態、第2実施形態、及び第3実施形態では、撮像センサ48が設けられた内視鏡12を被検体内に挿入して観察を行う内視鏡システム10によって本発明を実施しているが、カプセル内視鏡システムにも本発明は好適である。例えば、図25に示すように、カプセル内視鏡システムでは、カプセル内視鏡400と、プロセッサ装置(図示しない)とを少なくとも有する。
カプセル内視鏡400は、光源402と光源制御部403と、撮像センサ404と、信号処理部406と、送受信アンテナ408とを備えている。光源402は、上記各実施形態の光源20と同様に構成される。光源制御部403は、上記各実施形態の光源制御部22と同様にして光源402の駆動を制御する。また、光源制御部403は、送受信アンテナ408によって、カプセル内視鏡システムのプロセッサ装置と無線で通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記各実施形態のプロセッサ装置16とほぼ同様であるが、信号処理部406は、通常画像処理部66及び特殊画像処理部67の機能を有している。信号処理部406が生成した血管強調画像信号等は、送受信アンテナ408を介してプロセッサ装置に送信される。撮像センサ404は上記各実施形態の撮像センサ48と同様に構成される。
10 内視鏡システム
12 内視鏡
14 光源装置
16 プロセッサ装置
20 光源
53 画像信号取得部
67 特殊画像処理部
76 血管位置信号生成部
77 血管幅信号生成部
78 血管画像信号生成部
128 差分画像信号
131 血管位置信号
141 血管幅信号
151 血管画像信号
201 第1除去部
211 第2除去部
301 血管密度算出部
302 血管密度画像信号生成部
321 血管密度画像信号

Claims (15)

  1. 照明光を発生させる光源と、
    前記照明光が照射された観察対象を撮像する撮像センサと、
    前記照明光のうち第1照明光に対応する第1画像信号を前記撮像センサから取得し、かつ、前記照明光のうち前記第1照明光とは波長帯域または分光スペクトルが異なる第2照明光に対応する第2画像信号を取得する画像信号取得部と、
    前記第1画像信号及び前記第2画像信号を用いて、前記観察対象の血管の位置を表す血管位置信号を生成する血管位置信号生成部と、
    前記第1画像信号または前記第2画像信号を用いて、前記観察対象の血管の幅を表す血管幅信号を生成する血管幅信号生成部と、
    前記血管位置信号で表される位置にあり、かつ、前記血管幅信号で表される幅を有する前記観察対象の血管を表す血管画像信号を、前記血管幅信号と前記血管位置信号の論理積により生成する血管画像信号生成部と、
    を備える内視鏡システム。
  2. 前記第1画像信号または前記第2画像信号の少なくとも一方を補正し、前記第1画像信号が表す前記観察対象と、前記第2画像信号が表す前記観察対象との位置合わせをする位置合わせ処理部を備え、
    前記血管位置信号生成部は、前記位置合わせ処理部によって前記観察対象が位置合わせされた前記第1画像信号及び前記第2画像信号を用いて前記血管位置信号を生成し、
    前記血管幅信号生成部は、前記位置合わせ処理部によって前記観察対象が位置合わせされた前記第1画像信号または前記第2画像信号を用いて前記血管幅信号を生成する請求項に記載の内視鏡システム。
  3. 前記第1画像信号または前記第2画像信号の少なくとも一方を補正し、前記第1画像信号の明るさと前記第2画像信号の明るさとの比を特定比にする明るさ補正処理部を備え、
    前記血管位置信号生成部は、前記明るさ補正処理部によって明るさが補正された前記第1画像信号及び前記第2画像信号を用いて前記血管位置信号を生成し、
    前記血管幅信号生成部は、前記明るさ補正処理部によって明るさが補正された前記第1画像信号または前記第2画像信号を用いて前記血管幅信号を生成する請求項1または2に記載の内視鏡システム。
  4. 前記血管幅信号生成部は、前記第1画像信号または前記第2画像信号を二階微分し、二階微分後の前記第1画像信号または前記第2画像信号の零点を用いて前記血管幅信号を生成する請求項1〜3のいずれか1項に記載の内視鏡システム。
  5. 前記血管幅信号生成部は、前記第1画像信号または前記第2画像信号のノイズを除去し、ノイズが除去された前記第1画像信号または前記第2画像信号を二階微分する請求項に記載の内視鏡システム。
  6. 前記血管位置信号生成部は、前記画像信号にモルフォロジー処理を施すことにより、前記血管位置信号を生成する請求項1〜5のいずれか1項に記載の内視鏡システム。
  7. 前記第1画像信号、前記第2画像信号、または、前記第1画像信号及び前記第2画像信号以外の画像信号を用いて、前記第1画像信号及び前記第2画像信号から前記照明光による陰影またはハレーションを除去する第1除去部を備え、
    前記血管位置信号生成部は、前記陰影または前記ハレーションが除去された前記第1画像信号及び前記第2画像信号を用いて前記血管位置信号を生成し、
    前記血管幅信号生成部は、前記陰影または前記ハレーションが除去された前記第1画像信号または前記第2画像信号を用いて前記血管幅信号を生成する請求項1〜6のいずれか1項に記載の内視鏡システム。
  8. 前記第1除去部は、前記照明光のうち赤色波長帯域の光に対応する赤色画像信号を用いて、前記第1画像信号及び前記第2画像信号から前記陰影を除去する請求項に記載の内視鏡システム。
  9. 前記血管画像信号を用いて血管密度を算出する血管密度算出部を備える請求項1〜7のいずれか1項に記載の内視鏡システム。
  10. 前記第1画像信号または前記第2画像信号と、前記血管密度とを用いて、前記血管密度を表す血管密度画像信号を生成する血管密度画像信号生成部を備える請求項に記載の内視鏡システム。
  11. 前記第1画像信号または前記第2画像信号を用いてベース画像を生成し、前記ベース画像に前記血管画像信号を重畳した血管強調画像信号を生成する血管強調画像信号生成部を備える請求項1〜10のいずれか1項に記載の内視鏡システム。
  12. 前記第1画像信号及び前記第2画像信号を解像度が異なる複数の画像信号にそれぞれ分解する解像度分解部を有し、
    前記血管位置信号生成部は、前記解像度毎に前記血管位置信号を生成し、
    前記血管幅信号生成部は、前記解像度毎に前記血管幅信号を生成し、
    前記血管画像信号生成部は、解像度毎の前記血管位置信号と前記血管幅信号とを用いて、解像度毎に前記血管画像信号を生成する請求項1〜11のいずれか1項に記載の内視鏡システム。
  13. 照明光を発生させる光源と、前記照明光が照射された観察対象を撮像する撮像センサと、を有する内視鏡システムのプロセッサ装置において、
    前記照明光のうち第1照明光に対応する第1画像信号を前記撮像センサから取得し、かつ、前記照明光のうち前記第1照明光とは波長帯域または分光スペクトルが異なる第2照明光に対応する第2画像信号を取得する画像信号取得部と、
    前記第1画像信号及び前記第2画像信号を用いて、前記観察対象の血管の位置を表す血管位置信号を生成する血管位置信号生成部と、
    前記第1画像信号または前記第2画像信号を用いて、前記観察対象の血管の幅を表す血管幅信号を生成する血管幅信号生成部と、
    前記血管位置信号で表される位置にあり、かつ、前記血管幅信号で表される幅を有する前記観察対象の血管を表す血管画像信号を、前記血管幅信号と前記血管位置信号の論理積により生成する血管画像信号生成部と、
    を備えるプロセッサ装置。
  14. 光源が、照明光を発生させる照明光発生ステップと、
    撮像センサが、前記照明光が照射された観察対象を撮像する撮像ステップと、
    画像信号取得部が、前記照明光のうち第1照明光に対応する第1画像信号を前記撮像センサから取得する第1画像信号取得ステップと、
    前記画像信号取得部が、前記照明光のうち前記第1照明光とは波長帯域または分光スペクトルが異なる第2照明光に対応する第2画像信号を取得する第2画像信号取得ステップと、
    血管位置信号生成部が、前記第1画像信号及び前記第2画像信号を用いて、前記観察対象の血管の位置を表す血管位置信号を生成する血管位置信号生成ステップと、
    血管幅信号生成部が、前記第1画像信号または前記第2画像信号を用いて、前記観察対象の血管の幅を表す血管幅信号を生成する血管幅信号生成ステップと、
    血管画像信号生成部が、前記血管位置信号で表される位置にあり、かつ、前記血管幅信号で表される幅を有する前記観察対象の血管を表す血管画像信号を、前記血管幅信号と前記血管位置信号の論理積により生成する血管画像信号生成ステップと、
    を備える内視鏡システムの作動方法。
  15. 照明光を発生させる光源と、前記照明光が照射された観察対象を撮像する撮像センサと、を有する内視鏡システムのプロセッサ装置の作動方法において、
    画像信号取得部が、前記照明光のうち第1照明光に対応する第1画像信号を前記撮像センサから取得する第1画像信号取得ステップと、
    前記画像信号取得部が、前記照明光のうち前記第1照明光とは波長帯域または分光スペクトルが異なる第2照明光に対応する第2画像信号を前記撮像センサから取得する第2画像信号取得ステップと、
    血管位置信号生成部が、前記第1画像信号及び前記第2画像信号を用いて、前記観察対象の血管の位置を表す血管位置信号を生成する血管位置信号生成ステップと、
    血管幅信号生成部が、前記第1画像信号または前記第2画像信号を用いて、前記観察対象の血管の幅を表す血管幅信号を生成する血管幅信号生成ステップと、
    血管画像信号生成部が、前記血管位置信号で表される位置にあり、かつ、前記血管幅信号で表される幅を有する前記観察対象の血管を表す血管画像信号を、前記血管幅信号と前記血管位置信号の論理積により生成する血管画像信号生成ステップと、
    を備えるプロセッサ装置の作動方法。
JP2014202648A 2014-09-30 2014-09-30 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 Active JP6210962B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014202648A JP6210962B2 (ja) 2014-09-30 2014-09-30 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US14/869,062 US10052015B2 (en) 2014-09-30 2015-09-29 Endoscope system, processor device, and method for operating endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014202648A JP6210962B2 (ja) 2014-09-30 2014-09-30 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Publications (2)

Publication Number Publication Date
JP2016067778A JP2016067778A (ja) 2016-05-09
JP6210962B2 true JP6210962B2 (ja) 2017-10-11

Family

ID=55863378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014202648A Active JP6210962B2 (ja) 2014-09-30 2014-09-30 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Country Status (1)

Country Link
JP (1) JP6210962B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3520673A4 (en) * 2016-10-03 2019-09-18 FUJIFILM Corporation ENDOSCOPE SYSTEM AND METHOD OF OPERATION
US20200085287A1 (en) * 2017-03-29 2020-03-19 Sony Corporation Medical imaging device and endoscope
WO2019082993A1 (ja) * 2017-10-26 2019-05-02 富士フイルム株式会社 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
WO2019087269A1 (ja) * 2017-10-31 2019-05-09 オリンパス株式会社 内視鏡システム
JPWO2020035929A1 (ja) * 2018-08-16 2021-08-10 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
WO2020100630A1 (ja) * 2018-11-14 2020-05-22 富士フイルム株式会社 医療画像処理システム
US11363177B2 (en) 2019-03-20 2022-06-14 Hoya Corporation Endoscope system
JP2022068055A (ja) 2020-10-21 2022-05-09 株式会社日立製作所 生体認証装置および生体認証方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04193254A (ja) * 1990-11-27 1992-07-13 Olympus Optical Co Ltd 内視鏡画像処理装置
JP4409166B2 (ja) * 2002-12-05 2010-02-03 オリンパス株式会社 画像処理装置
JP4640582B2 (ja) * 2005-03-09 2011-03-02 ソニー株式会社 照合装置、登録装置、画像補正方法及びプログラム
WO2007119297A1 (ja) * 2006-03-16 2007-10-25 Olympus Medical Systems Corp. 医療用画像処理装置及び医療用画像処理方法
JP2011110230A (ja) * 2009-11-27 2011-06-09 Fujifilm Corp 蛍光画像撮像装置
JP5393525B2 (ja) * 2010-02-18 2014-01-22 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理装置の作動方法
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5753105B2 (ja) * 2012-01-16 2015-07-22 富士フイルム株式会社 電子内視鏡システム、画像処理装置及び画像処理装置の作動方法
JP5757891B2 (ja) * 2012-01-23 2015-08-05 富士フイルム株式会社 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム

Also Published As

Publication number Publication date
JP2016067778A (ja) 2016-05-09

Similar Documents

Publication Publication Date Title
JP6210962B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US10052015B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP6234350B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
CN110325100B (zh) 内窥镜系统及其操作方法
JP6367683B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6577088B2 (ja) 内視鏡システム
JP5393554B2 (ja) 電子内視鏡システム
WO2017057574A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
US20150339817A1 (en) Endoscope image processing device, endoscope apparatus, image processing method, and information storage device
JP7021183B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6522539B2 (ja) 内視鏡システム及びその作動方法
US20180214004A1 (en) Image processing apparatus, endoscope system, and image processing method
US20150294463A1 (en) Image processing device, endoscope apparatus, image processing method, and information storage device
US20180218499A1 (en) Image processing apparatus, endoscope system, and image processing method
JP6196598B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
CN110337259B (zh) 内窥镜系统、处理器装置及内窥镜系统的工作方法
US10702136B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP2016192985A (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2016121811A1 (ja) 画像処理装置及び画像処理方法、並びに内視鏡システム
JP6184928B2 (ja) 内視鏡システム、プロセッサ装置
JP7163386B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び内視鏡装置の作動プログラム
US20220192470A1 (en) Endoscope system
JP2016067777A (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6196599B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法
JP6153912B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170912

R150 Certificate of patent or registration of utility model

Ref document number: 6210962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250