JP6054806B2 - 画像処理装置及び内視鏡システムの作動方法 - Google Patents

画像処理装置及び内視鏡システムの作動方法 Download PDF

Info

Publication number
JP6054806B2
JP6054806B2 JP2013092246A JP2013092246A JP6054806B2 JP 6054806 B2 JP6054806 B2 JP 6054806B2 JP 2013092246 A JP2013092246 A JP 2013092246A JP 2013092246 A JP2013092246 A JP 2013092246A JP 6054806 B2 JP6054806 B2 JP 6054806B2
Authority
JP
Japan
Prior art keywords
image
display control
unit
extraction
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013092246A
Other languages
English (en)
Other versions
JP2014212925A (ja
Inventor
昌之 蔵本
昌之 蔵本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013092246A priority Critical patent/JP6054806B2/ja
Publication of JP2014212925A publication Critical patent/JP2014212925A/ja
Application granted granted Critical
Publication of JP6054806B2 publication Critical patent/JP6054806B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Endoscopes (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)

Description

本発明は、検体内における腺管構造や微細血管に着目して診断を行う画像処理装置及び内視鏡システムの作動方法に関する。
近年の医療においては、光源装置、電子内視鏡、プロセッサ装置を備える内視鏡システムを用いた診断等が広く行われている。内視鏡システムによる検体内の観察としては、ブラウニッシュエリアや発赤など病変部である可能性が高い病変可能性部位を遠景状態から検出するスクリーニング観察の他、そのような病変可能性部位を検出したときに、ズーミングレンズを用いて、その病変可能性部位を拡大して精査する拡大観察が行われている。この拡大観察では、近年、微細な粘膜構造について着目して診断する「VS classification」が行わるようになってきている。
この「VS classification」では、粘膜表層にある微細血管と粘膜表層の微細構造をそれぞれ独立に診断するため、微細血管と微細構造の両方を強調表示することが求められている。この強調表示に関しては、例えば、特許文献1のように、所定の画像から血管部分を抽出し、その抽出した血管部分だけを強調することが考えられる。この特許文献1のように、血管部分は強調するものの、その血管部分以外の微細構造については消滅させることなく表示を維持することで、微細血管と微細構造の両方を観察しやすくなる。また、微細血管と微細構造はいずれも中周波〜高周波成分を有するため、特許文献2のように、ハイパスフィルタリング処理を行うことで、微細血管と微細構造の両方を強調表示することができる。
特開2012−152459号公報 特許5057675号公報
最近の「VS classification」では、微細構造に着目して診断を行う際に、血管の存在が正確な微細構造の診断に妨げになることが分かってきた。例えば、微細構造が一部消滅しているのにも関わらず、その一部消滅した領域の中に血管が混じっている場合には、その血管に囲まれた部分が、あたかも微細構造のように見えてしまうおそれがある。このような場合には、誤診断の可能性が高くなる。したがって、微細血管、微細構造のうち一方を強調し、他方を抑制すること(微細血管、微細構造の選択的強調・抑制)など互いの視認性を異ならせる表示制御を行うことにより、一方の構造が他方の構造の視認性を妨げることがない内視鏡画像を生成して表示することが求められている。
これに関して、特許文献1には、表層血管と深層血管の選択的強調・抑制については記載があるものの、微細血管、微細構造の選択的強調・抑制に関する説明はない。また、特許文献2には、微細構造と微細血管の両方を強調できるフィルタリング処理が記載されているものの、この特許文献2のフィルタリング処理では微細血管、微細構造の選択的強調・抑制を行うことはできない。
本発明は、微細血管、微細構造をそれぞれ独立に診断する場合であっても、一方の構造が他方の構造の視認性を妨げることがない内視鏡画像を生成することができる画像処理装置及び内視鏡システムの作動方法を提供することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、粘膜表面を撮像して、短波長の成分を含む短波長画像信号を有する複数色の画像信号を生成する画像信号生成部であり、第1構造の画素は前記粘膜表面よりも明るく、第2構造の画素は前記粘膜表面よりも暗い短波長画像信号を生成する画像信号生成部と、複数色の画像信号に基づいてベース画像を生成するベース画像生成部と、短波長画像信号に対して、第1周波数成分を抽出する第1周波数成分抽出処理を施すことにより、出力値が正である第1構造の画素を抽出した第1構造抽出画像を生成し、短波長画像信号に対して、第1周波数成分の2〜3倍の第2周波数成分を抽出する第2周波数成分抽出処理を施すことにより、出力値が負である第2構造の画素を抽出した第2構造抽出画像を生成する構造抽出画像生成部と、第1及び第2構造抽出画像に基づいて、第1構造又は第2構造の表示制御に用いる表示制御用画像を生成する表示制御用画像生成部と、ベース画像と表示制御用画像を合成して、第1構造又は第2構造の表示を制御した表示制御画像を生成する画像合成部と、を備えることを特徴とする。
短波長画像信号は青色狭帯域画像信号であることが好ましい。青色狭帯域画像信号は、青色狭帯域光で照明された粘膜表面を撮像して得られることが好ましい。青色狭帯域画像信号は、複数色の画像信号に基づく分光演算で得られることが好ましい。短波長画像信号は、検体を拡大する拡大手段を用いる拡大観察時に得られることが好ましい。
表示御用画像生成部は、第1構造抽出画像及び第2構造抽出画像の入力に対して、第1又は第2構造の画素が表示制御量に応じた値を持つ表示制御用画像を出力する変換部であることが好ましい。変換部は、第1構造の表示を強調するときには、第1構造抽出画像の入力に対して、第1構造の画素が強調度に応じた正の値を持つ表示制御用画像を出力することが好ましい。変換部は、第1構造の表示を抑制するときには、第1構造抽出画像の入力に対して、第1構造の画素が抑制度に応じた負の値を持つ表示制御画像を出力することが好ましい。
変換部は、第2構造の表示を強調するときには、第2構造抽出画像の入力に対して、第2構造の画素が強調度に応じた負の値を持つ表示制御用画像を出力することが好ましい。変換部は、第2構造の表示を抑制するときには、第2構造抽出画像の入力に対して、第2構造の画素が抑制度に応じた正の値を持つ表示制御用画像を出力することが好ましい。変換部は、第1及び第2構造の両方を強調しつつ、第1構造と第2構造の視認性を異ならせるときには、第1構造の画素が正の値持ち、第2構造の画素が負の値を持つとともに、第1構造の画素の値と第2構造の画素の値の絶対値とが異なる表示制御用画像を出力することが好ましい。
粘膜表面を撮像して複数色の画像信号を生成する画像信号生成部と、複数色の画像信号に基づいてベース画像を生成するベース画像生成部と、複数色の画像信号のうち短波長の成分を含む短波長画像信号に対して、第1周波数成分を抽出する第1周波数成分抽出処理を施すことにより、出力値が正である第1構造の画素を抽出した第1構造抽出画像を生成し、短波長画像信号に対して、第1周波数成分と異なる第2周波数成分を抽出する第2周波数成分抽出処理を施すことにより、出力値が負である第2構造の画素を抽出した第2構造抽出画像を生成する構造抽出画像生成部と、第1及び第2構造抽出画像に基づいて、第1構造又は第2構造の表示制御に用いる表示制御用画像を生成する表示制御用画像生成部と、ベース画像と表示制御用画像を合成して、第1構造又は第2構造の表示を制御した表示制御画像を生成する画像合成部を有し、第1構造抽出画像のうち正の値を持つ画素と「0」の値を持つ画素とを判別し、第2構造抽出画像のうち負の値を持つ画素と「0」の値を持つ画素とを判別する判別部と、判別部で正の値を有すると判別された画素に対して、第1構造の表示制御量に応じたゲイン処理を施し、又は判別部で負の値を有すると判別された画素に対して、第2構造の表示制御量に応じたゲイン処理を施すことによって、表示制御用画像を生成するゲイン処理部とを有することが好ましい。
ゲイン処理部は、第1及び第2構造の両方を強調しつつ、第1構造と第2構造の視認性を異ならせるときには、判別部で正の値を有すると判別された画素と負の値を有すると判別された画素に対して、それぞれ強調度が異なる強調用のゲイン処理を施すことが好ましい。第1構造は腺管構造であり、第2構造は微細血管であることが好ましい。
本発明の内視鏡システムの作動方法は、画像信号生成部が、粘膜表面を撮像して、短波長の成分を含む短波長画像信号を有する複数色の画像信号を生成するステップであり、第1構造の画素は粘膜表面よりも明るく、第2構造の画素は粘膜表面よりも暗い短波長画像信号を生成するステップと、ベース画像生成部が、複数色の画像信号に基づいてベース画像を生成するステップと、構造抽出画像生成部が、短波長画像信号に対して、第1周波数成分を抽出する第1周波数成分抽出処理を施すことにより、出力値が正である第1構造の画素を抽出した第1構造抽出画像を生成し、短波長画像信号に対して、第1周波数成分の2〜3倍の第2周波数成分を抽出する第2周波数成分抽出処理を施すことにより、出力値が負である第2構造の画素を抽出した第2構造抽出画像を生成するステップと、表示制御用画像生成部が、第1及び第2構造抽出画像に基づいて、第1構造又は第2構造の表示制御に用いる表示制御用画像を生成するステップと、画像合成部が、ベース画像と表示制御用画像を合成して、第1構造又は第2構造の表示を制御した表示制御画像を生成するステップと、を有することを特徴とする。
本発明によれば、微細血管、微細構造をそれぞれ独立に診断する場合であっても、微細血管、微細構造のうち一方の構造が他方の構造の視認性を妨げることがない内視鏡画像を生成することができる。
内視鏡システムの外観図である。 第1実施形態の内視鏡システムの各構成を示すブロック図である。 白色光の発光スペクトルを示すグラフである。 特殊光の発光スペクトルを示すグラフである。 構造強調・抑制部の各構成を示すブロック図である。 (A)はB画像信号のBchの所定ラインにおける輝度分布を示すグラフであり、(B)は周波数フィルタリング処理後の構造抽出画像信号における出力値の分布を示すグラフである。 LUTの各構成を示すブロック図である。 LUTの各変換部における入出力関係を説明するための説明図である。 腺管構造の強調、微細血管の抑制を行うときの設定メニュー画面の画像図である。 腺管構造の強調、微細血管の抑制を行うときのLUTの入出力関係を示す説明図である。 腺管構造の強調、微細血管の抑制を行うときに用いられる強調・抑制用画像の出力値の分布を示すグラフである。 微細血管の強調のみを行うときの設定メニュー画面の画像図である。 微細血管の強調のみを行うときのLUTの入出力関係を示す説明図である。 微細血管の強調のみを行うときに用いられる強調・抑制用画像の出力値の分布を示すグラフである。 腺管構造の強調、微細血管の強調を行うときの設定メニュー画面の画像図である。 腺管構造の強調、微細血管の強調を行うときのLUTの入出力関係を示す説明図である。 腺管構造の強調、微細血管の強調を行うときに用いられる強調・抑制用画像の出力値の分布を示すグラフである。 図8Cの強調・抑制用画像をベース画像に合成して得られる構造強調・抑制画像の輝度分布を示すグラフである。 図9Cの強調・抑制用画像をベース画像に合成して得られる構造強調・抑制画像の輝度分布を示すグラフである。 図10Cの強調・抑制用画像をベース画像に合成して得られる構造強調・抑制画像の輝度分布を示すグラフである。 第1実施形態における一連の流れを表したフローチャートである。 別実施形態の構造強調・抑制部の各構成を示すブロック図である。 第2実施形態における構造強調・抑制部の各構成を示すブロック図である。 第3実施形態における構造強調・抑制部の各構成を示すブロック図である。 面順次方式の内視鏡システムにおける各構成を示すブロック図である。 回転フィルタの平面図である。 分光演算部を有する特殊光画像処理部のブロック図である。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール20とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、検体内に挿入される挿入部21と、挿入部の基端部分に設けられた操作部22と、挿入部21の先端側に設けられる湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作に伴って、先端部24が所望の方向に向けられる。
また、操作部22には、アングルノブ22aの他、モード切替SW22bと、ズーム操作部22cが設けられている。モード切替SW22bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、白色光を用いる観察モードであり、主に、スクリーニング等で使用される。特殊観察モードは青味を帯びた特殊光を用いる観察モードであり、主に、拡大観察等で使用される。ズーム操作部22cは、内視鏡12内のズーミングレンズ47(図2参照)を駆動させて、検体を拡大させるズーム操作に用いられる。
プロセッサ装置16は、モニタ18及びコンソール20と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール20は、機能設定等の入力操作を受け付けるUI(ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源部14は、中心波長445nmの青色レーザ光を発する青色レーザ光源(445LD)34と、中心波長405nmの青紫色レーザ光を発する青紫色レーザ光源(405LD)36とを発光源として備えている。これら各光源34、36の半導体発光素子からの発光は、光源制御部40により個別に制御されており、青色レーザ光源34の出射光と、青紫色レーザ光源36の出射光の光量比は変更自在になっている。光源制御部40は、通常観察モードの場合には、青色レーザ光源34のみを駆動させる。これに対して、特殊観察モードの場合には、青色レーザ光源34と青紫色レーザ光36の両方を駆動させるとともに、青紫色レーザ光の発光比率を青色レーザ光の発光比率よりも大きくなるように制御している。なお、青色レーザ光源34及び青紫色レーザ光源36のいずれか又は両方が、本発明の狭帯域光源部を構成する。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、通常観察モードの場合にも、青紫色レーザ光36を駆動してもよい。ただし、この場合には、青紫色レーザ光36の発光強度を低く抑えることが好ましい。また、青色レーザ光源34及び青紫色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
これら各光源34、36から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド(LG)41に入射する。ライトガイド41は、光源装置14と内視鏡12を接続するユニバーサルコード(図示せず)内に内蔵されている。中心波長445nmの青色レーザ光又は中心波長405nmの青紫色レーザは、ライトガイド41を介して、内視鏡12の先端部24まで伝搬される。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径が φ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡の先端部24は照明光学系24aと撮像光学系24bを有している。照明光学系24aには、ライトガイド41からの中心波長445nmの青色レーザ光又は中心波長405nmの青紫色レーザが入射する蛍光体44と、照明レンズ45が設けられている。蛍光体44に、青色レーザ光が照射されることで、蛍光体44から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体44を透過する。青紫色レーザ光は、蛍光体44を励起させることなく透過する。蛍光体44を出射した光は、照明レンズ45を介して、検体内に照射される。
ここで、通常観察モードにおいては、青色レーザ光のみが蛍光体44に入射するため、図3Aに示すように、青色レーザ光、及び青色レーザ光により蛍光体44から励起発光する蛍光を合波した白色光が、検体内に照射される。一方、特殊観察モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体44に入射するため、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体44から励起発光する蛍光を合波した特殊光が、検体内に照射される。この特殊観察モードでは、青紫色レーザ光の発光比率を青色レーザ光の発光比率よりも大きくしているため、特殊光は、青色成分を多く含み且つ波長範囲がほぼ可視光全域に及ぶ光となっている。
なお、蛍光体44は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
図2に示すように、内視鏡12の撮像光学系24bは、撮像レンズ46、ズーミングレンズ47、センサ48を有している。検体からの反射光は、撮像レンズ46及びズーミングレンズ47を介して、センサ48に入射する。これにより、センサ48に検体の反射像が結像される。ズーミングレンズ47は、ズーム操作部22cを操作することで、テレ端とワイド端との間を移動する。ズーミングレンズ47がワイド端側に移動すると検体の反射像が拡大する一方で、テレ端側に移動することで、検体の反射像が縮小する。
センサ48はカラーの撮像素子であり、検体の反射像を撮像して画像信号を出力する。なお、センサ48は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等であることが好ましい。本発明で用いられるイメージセンサは、R(赤)、G(緑)及びB(青)の3色の画像信号を得るためのカラーイメージセンサ、撮像面にRGBフィルタを備えた、いわゆるRGBイメージセンサであっても良いし、撮像面にC(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色イメージセンサであっても良い。補色イメージセンサの場合には、CMYGの4色の画像信号から色変換によってRGBの3色の画像信号を得ることができる。この場合には、CMYGの4色の画像信号からRGBの3色の画像信号に色変換する色変換手段を、内視鏡12、光源装置14又はプロセッサ装置16のいずれかに備えている必要がある。
センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/Dコンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、受信部54と、画像処理切替部60と、通常光画像処理部62と、特殊光画像処理部64と、画像表示信号生成部66とを備えている。受信部54は内視鏡12からのデジタル画像信号を受信する。この受信部54は、DSP(Digital Signal Processor)56とノイズ除去部58を備えている。DSP56は、デジタル画像信号に対してガンマ補正、色補正処理を行う。ノイズ除去部58は、DSP56でガンマ補正等が施されたデジタル画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、デジタル画像信号からノイズを除去する。ノイズが除去されたデジタル画像信号は、画像処理切替部60に送信される。
画像処理切替部60は、モード切替SW22bにより通常観察モードにセットされている場合には、デジタル画像信号を通常光画像処理部62に送信し、特殊観察モードに設定されている場合には、デジタル画像信号を特殊光画像処理部64に送信する。なお、本発明においては、区別のため、通常光画像処理部62及び特殊光画像処理部64による画像処理前のデジタル画像信号を画像信号といい、画像処理後のデジタル画像信号を画像データと呼ぶことにする。
通常光画像処理部62は、色変換部68と、色彩強調部70と、構造強調部72とを有する。色変換部68は、入力されたRGB3チャンネルのデジタル画像信号を、それぞれR画像データ、G画像データ、B画像データに割り付ける。これらRGBの画像データに対しては、更に、3×3のマトリックス処理、階調変換処理、3次元LUT処理などの色変換処理を行い、色変換処理済RGB画像データに変換する。
色彩強調部70は、色変換済RGB画像データに対して、各種色彩強調処理を施す。構造強調部72は、色彩強調処理済RGB画像データに対して、シャープネスや輪郭強調等の構造強調処理を行う。構造強調部72で構造強調処理が施されたRGB画像データは、通常光画像として通常光画像処理部62から画像表示信号生成部66に入力される。
特殊光画像処理部64は、色彩強調部76と、構造強調・抑制部78とを有する。色彩強調部76は、入力されたRGB3チャンネルのデジタル画像信号に対して各種色彩強調処理を施すことにより、色彩強調済のRGBの画像信号を生成する。構造強調・抑制部78は、色彩強調処理済のRGB画像信号に対し、腺管構造又は血管を強調・抑制する構造強調・抑制処理を施すことにより、構造強調・抑制画像生成する。構造強調・抑制部78で構造強調・抑制処理が施された構造強調・抑制画像は、特殊光画像として特殊光画像処理部64から画像表示信号生成部66に入力される。
図4に示すように、構造強調・抑制部78は、ベース画像生成部80と、周波数フィルタリング処理部81と、強調・抑制用画像生成部82と、画像合成部83とを備えている。ベース画像生成部80は、色彩強調処理済のRGB画像信号のうち、G画像信号をR画像データに割り付け、B画像信号をG画像データ及びB画像データに割り付ける。これらRGB画像データがベース画像となる。このベース画像は、B画像データにはB画像信号が割り付けられているものの、G画像データにはG画像信号ではなくB画像信号が割り付けられており、R画像データにはR画像信号ではなくG画像信号が割り付けられているため、ベース画像は疑似カラー画像となる。なお、ベース画像生成部では、色変換部68のように、RGB画像信号をそれぞれRGB画像データに割り付けて、疑似カラーでない白色ベースのベース画像を生成してもよい。
周波数フィルタリング処理部81は、色彩強調済のB画像信号に対して、粘膜表層にある腺管構造と微細血管に対応する周波数帯域成分を抽出する周波数フィルタリング処理を施す。ここで、周波数フィルタリング処理で抽出する腺管構造S(Structure)は、白く縁取られて見えている辺縁部とする(腺管には辺縁部の他、腺管開口部も含まれている)(図5(A)参照)。これにより、腺管構造と微細血管が抽出された構造抽出画像信号が得られる。B画像信号に対して周波数フィルタリング処理を施すのは、B画像信号は、腺管構造や微細血管に対して構造強調効果を施すことができる青紫色レーザ光及び青色レーザ光など青色帯域の反射成分を有しているためである。
なお、図5(A)に示すように、腺管構造Sは、青紫色レーザ光及び青色レーザ光など青色成分の光によって乱反射するため、B画像信号84上では粘膜よりも明るく光っている。また、青紫色レーザ光及び青色レーザ光は、キセノン光などの広帯域光を波長分離して得られる青色狭帯域光と異なり、直進性の高い光であるため、腺管構造のpit部分の底面まで深達する。この効果によって、腺管構造Sは更に明るく光るようになる。これに対して、微細血管V(Vascular)は、特殊光のうち青紫色レーザ光及び青色レーザ光などヘモグロビンの吸光係数が高い青色成分の光を良く吸収するため、B画像信号84上では粘膜よりも暗くなっている。したがって、周波数フィルタリング処理後の構造抽出画像信号85では、(B)に示すように、腺管構造Sの画素は出力値が「正」となるアップエッジとなっており、微細血管Vの画素は出力値が「負」となるダウンエッジとなっている。また、構造抽出画像信号85における粘膜M(Mucous membrane)は、輝度値の変化がほとんど無いため、出力値はほぼ「0」となっている。
強調・抑制用画像生成部82は、構造抽出画像信号から、腺管構造又は微細血管の強調・抑制に用いられるための強調・抑制用画像を生成する。強調・抑制用画像生成部82は、構造抽出画像信号を入力して強調・抑制用画像を出力するLUT86と、強調・抑制条件を設定するとともに、設定した強調・抑制条件に従ってLUTを制御する構造強調・抑制設定部87とを備えている(図4参照)。
図6に示すように、LUT86は、腺管強調用変換部90と、腺管抑制用変換部91と、血管強調用変換部92と、血管抑制用変換部93と、腺管表示維持用変換部94と、血管表示維持用変換部95とからなる。腺管強調用変換部90は、腺管構造を強調するときに用いられ、構造抽出画像信号の入力に対して、図7に示す入出力関係90aに従った値を出力する。入出力関係90aは正の傾きで定義されているため、正の値の入力に対して、正の値を出力する。この出力した正の値を、ベース画像上の腺管構造に加算することで、粘膜よりも明るい腺管構造が更に明るくなり、粘膜と腺管構造とのコントラストが向上する。これにより、腺管強調効果が得られる。なお、腺管強調用変換部90では、4つの第1〜第4強調度E1〜E4に対応する入出力関係が定義されており、それらの傾きは、強調度が高くなる程、大きくなっている。
腺管抑制用変換部91は、腺管構造を抑制するときに用いられ、構造抽出画像信号の入力に対して、図7に示す入出力関係91aに従った値を出力する。入出力関係91aは負の傾きで定義されているため、正の値の入力に対して、負の値を出力する。この出力した負の値を、ベース画像上の腺管構造に加算することで、腺管構造の明るさが粘膜に近づいて、粘膜と腺管構造とのコントラストが低下する。これにより、腺管抑制効果が得られる。なお、腺管抑制用変換部91では、4つの第1〜第4抑制度R1〜R4に対応する入出力関係が定義されており、それらの傾きは、抑制度が高くなる程、大きくなっている。
血管強調用変換部92は、微細血管を強調するときに用いられ、構造抽出画像信号の入力に対して、図7に示す入出力関係92aに従った値を出力する。入出力関係92aは正の傾きで定義されているため、負の値の入力に対して、負の値を出力する。この出力した負の値を、ベース画像上の微細血管に加算することで、粘膜よりも暗い微細血管が更に暗くなって、粘膜と微細血管とのコントラストが向上する。これにより、微細血管強調効果が得られる。なお、血管強調用変換部92では、4つの第1〜第4強調度E1〜E4に対応する入出力関係が定義されており、それらの傾きは、強調度が高くなる程、大きくなっている。
血管抑制用変換部93は、微細血管を抑制するときに用いられ、図7に示す入出力関係93aに従った値を出力する。入出力関係93aは負の傾きで定義されているため、負の値の入力に対して、正の値を出力する。この出力した正の値を、ベース画像上の微細血管に加算することで、微細血管の明るさが粘膜に近づいて、粘膜と微細血管とのコントラストが低下する。これにより、微細血管抑制効果が得られる。なお、血管抑制用変換部93では、4つの第1〜第4抑制度R1〜R4に対応する入出力関係が定義されており、それらの傾きは、抑制度が高くなる程、大きくなっている。
腺管表示維持用変換部94は、腺管構造の明るさを維持するときに用いられ、構造抽出画像信号のうち正の値の入力に対して、図7に示す入出力関係94aに従って、「0」の値を出力する。この「0」の値をベース画像上の腺管構造に加算することで、腺管構造の明るさは維持される。血管表示維持用変換部95は、微細血管の明るさを維持するときに用いられ、構造抽出画像信号のうち負の値の入力に対して、図7に示す入出力関係95aに従って、「0」の値を出力する。この「0」の値をベース画像上の微細血管に加算することで、微細血管の明るさは維持される。
構造強調・抑制設定部87は、コンソール20によって入力される強調・抑制条件に基づいて、LUT86を制御する。強調・抑制条件の設定は、図8A、図9A、図10Aに示すような設定メニュー画面をモニタ18に表示して行われる。この設定メニュー画面は、腺管構造の強調・抑制条件を設定するためのS用スライドバー97と、微細血管の強調・抑制条件を設定するためのV用スライドバー98とが表示される。
S用スライドバー97上でスライダ97aを中央の「0」にセットしたときには、腺管構造の明るさを維持する条件に設定される。この場合には、構造抽出画像信号は腺管表示維持用変換部94に入力される。また、S用スライドバー97上でスライダ97aを右側の強調側にスライドさせたときには、腺管構造を強調する条件に設定される。この場合には、構造抽出画像信号は腺管強調用変換部90に入力される。また、スライダ97aを左側の抑制側にスライドさせたときには、腺管構造を抑制する条件に設定される。この場合には、構造抽出画像信号は腺管抑制用変換部91に入力される。
また、S用スライドバー97上の目盛り「1」〜「4」及び「−1」〜「−4」は、LUT上で定義された第1〜第4強調度E1〜E4及び第1〜第4抑制度R1〜R4に対応している。したがって、スライダ97aを所定の目盛りをセットすると、LUT86では、そのセットされた目盛りに対応する強調度・抑制度に設定される。なお、V用スライドバー98についても、S用スライドバー97と同様の方法で、スライダ98aを用いて微細血管の強調・抑制の条件設定を行う。
例えば、図8Aに示すように、S用スライドバー97上でスライダ97aを「+2」をセットし、V用スライドバー98上でスライダ98aを「−1」にセットした場合には、図8Bに示すように、腺管強調用変換部90では、第2強調度E2の傾きにセットされるとともに、血管抑制用変換部93では、第1抑制度R1の傾きにセットされる。そして、構造抽出画像信号を腺管強調用変換部90及び血管抑制用変換部93に入力することにより、図8Cに示すような、腺管構造Sの画素と微細血管Vの画素の出力値が共に正となる強調・抑制用画像100が出力される。この強調・抑制用画像100は、腺管構造に着目して診断を行う場合に用いられる。
また、図9Aに示すように、S用スライドバー97上でスライダ97aを「0」をセットし、V用スライドバー98上でスライダ98aを「+2」にセットした場合には、図9Bに示すように、血管強調用変換部92では、第2強調度E2の傾きにセットされる。そして、構造抽出画像信号を腺管表示維持用変換部94及び血管強調用変換部92に入力することにより、図9Cに示すような、腺管構造Sの画素の出力値が「0」で、微細血管Vの画素の出力値が負となる強調・抑制用画像101が出力される。この強調・抑制用画像101は、微細血管に着目して診断を行う場合に用いられる。
また、図10Aに示すように、S用スライドバー97上でスライダ97aを「+2」をセットし、V用スライドバー98上でスライダ98aを「+1」にセットした場合には、図10Bに示すように、腺管強調用変換部90では、第2強調度E2の傾きにセットされるとともに、血管強調用変換部92では、第1強調度E1の傾きにセットされる。そして、構造抽出画像信号を腺管強調用変換部90及び血管強調用変換部92に入力することにより、図10Cに示すような、腺管構造の画素の出力値が正であり、微細血管の画素の出力値が負である強調・抑制用画像102が出力される。
この強調・抑制用画像102では、腺管構造の強調度が微細血管の強調度よりも高いため、腺管構造の画素の値の絶対値が微細血管の画素の値の絶対値よりも大きくなっている。したがって、強調・抑制用画像102は、腺管構造と微細血管の両方を強調しつつ、腺管構造の視認性を微細血管よりも高めたい場合に用いられる。
画像合成部83は、強調・抑制用画像をベース画像に合成することにより、腺管構造又は微細血管を強調・抑制した構造強調・抑制画像を作成する。この画像合成部83では、ベース画像のうちB画像データの各画素(Bch)に対して、強調・抑制画像の各画素の値を加算するが、G画像データ又はR画像データの各画素に対しても強調・抑制画像の各画素の値を加算してもよい。
例えば、図8Cのような、腺管構造Sの画素と微細血管Vの画素の出力値が共に正となる強調・抑制用画像100をベース画像105のBch(B画像データの各画素)に合成した場合には、図11に示すように、腺管構造Sと周囲の粘膜Mとのコントラストが向上する一方で、微細血管Vと周囲の粘膜Mとのコントラストが低下した構造強調・抑制画像110が得られる(点線は合成前の輝度値を示している)。
また、図9Cのような、微細血管Vの画素の出力値が負となる強調・抑制用画像101をベース画像105に合成した場合には、図12に示すように、微細血管Vと周囲の粘膜Mとのコントラストが向上した構造強調・抑制画像111が得られる(図11と同様、点線は合成前の輝度値を示している)。また、図10Cのような、腺管構造Sの画素の出力値が正であり、微細血管Vの画素の出力値が負である強調・抑制用画像102をベース画像105に合成した場合には、図13に示すように、腺管構造S及び微細血管Vと周囲の粘膜Mとのコントラストが向上した構造強調・抑制画像112が得られる(図11と同様、点線は合成前の輝度値を示している)。
画像表示信号生成部66は、通常光画像処理部62又は特殊光画像処理部64から入力された通常光画像又は特殊光画像を、モニタ18で表示可能画像として表示するための表示画像信号に変換する。この変換後の表示画像信号に基づいて、モニタ18は、通常光画像又は特殊光画像を表示する。
次に、本実施形態における一連の流れを図14のフローチャートに沿って説明する。まず、通常観察モードにおいて、遠景状態からスクリーニングを行う。このスクリーニング時に、ブラウニッシュエリアや発赤など病変の可能性がある部位(病変可能性部位)を検出したときには、ズーム操作部22cを操作して、その病変可能性部位を拡大表示する拡大観察を行う。これに合わせて、モード切替SW22bを操作して、特殊観察モードに切り替える。これにより、特殊光画像がモニタ18に表示される。
術者は、モニタ18に表示された特殊光画像を観察して、腺管構造及び微細血管の状態を読み取って、病変部が否かを判断する。特殊光画像から腺管構造及び微細血管の状態を正確に読み取ることができる場合には、その特殊光画像に基づいて、病変可能性部位が病変もしくは非病変か否かの判断を行う。一方、腺管構造及び微細血管の状態を正確に読み取ることができない場合には、コンソール20を操作して、図8A等に示す設定メニュー画面を立ち上げる。この設定メニュー画面上で、S用スライドバー97及びV用スライドバー98上にあるスライダ97a,98aを操作して、特殊光画像上での腺管構造及び微細血管の強調・抑制を行う。
例えば、腺管構造に着目して診断を行う際に、微細血管の表示が妨げになっている場合には、図8Aに示すように、S用スライドバー97上のスライダ97aを強調方向にスライドさせる一方、V用スライドバー98上のスライダ98aを抑制方向にスライドさせる。これにより、腺管構造の表示を強調する一方で、微細血管の表示が抑制された特殊光画像がモニタ18に表示される。この腺管構造及び微細血管の強調・抑制は、腺管構造及び微細血管の状態を正確に読み取ることができるまで継続して行われる。
なお、第1実施形態では、周波数フィルタリング画像の構造抽出画像信号において、アップエッジとダウンエッジを判別せずに、構造抽出画像信号全体を強調・抑制用画像生成部82に入力して、強調・抑制用画像を生成したが、アップエッジとダウンエッジを判別し、それぞれにゲイン処理を施すことによって強調・抑制用画像を生成してもよい。例えば、図15に示すように、周波数フィルタリング処理部81と強調・抑制用画像生成部82との間に設けた信号判別部120で、構造抽出画像信号のうち正の値を持つ画素をアップエッジの画素と判別し、負の値を持つ画素をダウンエッジの画素と判別する。そして、強調・抑制用画像生成部82内のゲイン処理部122で、アップエッジ及びダウンエッジの画素に対して、強調度・抑制度に応じたゲイン処理を施して、強調・抑制用画像を生成する。
この場合、腺管構造を強調するときには、アップエッジの画素に対して、強調用のゲイン処理を施して、アップエッジの画素の値が正となる強調・抑制用画像を生成する。この場合におけるアップエッジの画素の値(正)は、強調度が大きくなる程、大きくなる。また、腺管構造を抑制するときには、アップエッジの画素に対して、抑制用のゲイン処理を施して、アップエッジの画素の値が負となる強調・抑制用画像を作成する。この場合におけるアップエッジの画素の値(負)は、抑制度が大きくなる程、小さくなる。
また、微細血管を強調するときには、ダウンエッジの画素に対して、強調度に応じた強調用のゲイン処理を施して、ダウンエッジの画素の値が負となる強調・抑制用画像を生成する。この場合におけるダウンエッジの画素の値(負)は、強調度が大きくなる程、小さくなる。また、微細血管を抑制するときには、ダウンエッジの画素に対して、抑制度に応じた抑制用のゲイン処理を施して、ダウンエッジの画素の値が正となる強調・抑制用画像を作成する。この場合におけるダウンエッジの画素の値(正)は、抑制度が大きくなる程、大きくなる。
また、腺管構造と微細血管の両方を強調しつつ、微細血管の視認性を腺管構造の視認性よりも低くする場合には、アップエッジ及びダウンエッジの画素に対して強調用のゲイン処理を行うときに、ダウンエッジに対する強調度を、アップエッジに対する強調度よりも低くする。この場合には、強調・抑制用画像上では、アップエッジの画素の値(正)の絶対値は、ダウンエッジの画素の値(負)の絶対値よりも大きくなる。
[第2実施形態]
第1実施形態では、周波数フィルタリング処理により、B画像信号から腺管構造及び微細血管の両方を抽出したが、第2実施形態では、腺管抽出用のフィルタリング処理と血管抽出用のフィルタリング処理とを分けて、B画像信号から腺管構造と微細血管を別々に抽出する。腺管構造の周波数帯域と微細血管の周波数帯域は若干微細血管のほうが高周波寄りであることを考慮すると、第2実施形態のように、腺管抽出用のフィルタリング処理と血管抽出用のフィルタリング処理とに分けて、抽出することが好ましい。
第2実施形態の構造強調・抑制部130は、第1実施形態の周波数フィルタリング処理部81に代えて、腺管抽出用フィルタリング部131と血管抽出用フィルタリング部132が設けられている。なお、それ以外については、第3実施形態の内視鏡システムは、第1実施形態とほぼ同様の構成を有している。
腺管抽出用フィルタリング部131では、B画像信号に対して、腺管構造が多く含まれる第1周波数成分を抽出する周波数フィルタリングを行う。これにより、腺管構造を抽出した腺管抽出画像信号が生成される。この腺管抽出画像信号は、LUT86の腺管強調用変換部90、腺管抑制用変換部91、腺管表示維持用変換部94のいずれかに入力される。一方、血管抽出用フィルタリング部132では、B画像信号に対して、微細血管が多く含まれる第2周波数成分を抽出する周波数フィルタリングを行う。これにより、微細血管を抽出した血管抽出画像信号が生成される。この血管抽出画像信号は、LUT86の血管強調用変換部92、血管抑制用変換部93、血管表示維持用変換部95のいずれかに入力される。
なお、第2周波数成分(微細血管抽出用の周波数帯域)は、以下の理由により、第1周波数成分(腺管構造抽出用の周波数帯域)の2〜3倍にすることが好ましい。腺管は約60μmの太さを有している。この腺管のうち、白く縁取られた辺縁部(図5(A)参照)である腺管構造は16μm〜24μmの太さを有している。ただし、腺管構造(辺縁部)の太さ「16μm〜24μm」は、腺管が開いた時に斜めから見た場合の平均的な太さであり、一番細く見える場合の腺管構造(辺縁部)の太さは15μm程度である。これに対して、微細血管の太さは約8μmである。したがって、微細血管は、辺縁部である腺管構造に対して1/2〜1/3倍の太さとなっている。各構造の太さと空間周波数とは略反比例の関係にあることを鑑みると、第2周波数成分は第1周波数成分の2〜3倍に設定することが好ましい。
ここで、約8μmの微細血管は、ズーミングレンズ47の拡大倍率を最大倍率(例えば、100倍(8μmの微細血管を800μmに拡大表示することができる倍率))にセットすることで解像することができ、それよりも低い倍率の場合だと、解像できずに途切れてしまうことが多くなる。したがって、第1及び第2周波数成分で周波数フィルタリング処理を行う場合には、ズーミングレンズ47を最大倍率に設定することが好ましい。
[第3実施形態]
第1実施形態では、強調・抑制用画像をベース画像に合成することによって、腺管構造、微細血管の強調・抑制を行ったが、第3実施形態では、腺管構造、微細血管の強調については、強調用画像をベース画像に合成して行う一方で、腺管構造、微細構造の抑制については、ベース画像をぼかす処理で行う。
第3実施形態の構造強調・抑制部140では、ベース画像生成部80と画像合成部83との間に、ベース画像をぼかす抑制処理部142が設けられている。また、第1実施形態の強調・抑制用画像生成部82の代わりに、強調用画像を作成する強調用画像生成部144が設けられている。また、構造強調・抑制設定部87は、設定した強調・抑制条件に基づいて、抑制処理部142及び強調用画像生成部144を制御する。なお、それ以外については、第3実施形態の内視鏡システムは、第1実施形態とほぼ同様の構成を有している。
抑制処理部142は、構造強調・抑制設定部87で設定された抑制度に基づいて、ベース画像をぼかす処理を行う。ぼかしの程度は、抑制度が高くなる程、大きくする。なお、ぼかし処理としては、例えばローパスフィルタリングなどを用いることが好ましい。強調用画像生成部144は、構造抽出画像信号を入力して強調用画像を出力するLUT145を備えている。LUT145は、LUT86と異なり、腺管強調用変換部90、血管強調用変換部92と、腺管表示維持用変換部94と、血管表示維持用変換部95が設けられており、抑制に関する変換部(腺管抑制用変換部91、血管抑制用変換部93)は設けられていない。
上記第1〜第3実施形態では、各観察モードに必要な複数の画像信号をカラーのセンサで同時に取得する同時方式で本発明の実施を行ったが、これに代えて、各観察モードに必要な複数の画像信号をモノクロのセンサで順次取得する面順次式であっても同様に本発明の実施が可能である。
図18に示すように、面順次式の内視鏡システム200の光源装置14には、青色レーザ光源34、青紫色レーザ光源36、光源制御部40の代わりに、広帯域光源202、回転フィルタ204、フィルタ切替部205が設けられている。また、内視鏡12の照明光学系24aには、蛍光体44が設けられていない。また、撮像光学系24bには、カラーのセンサ48の代わりに、カラーフィルタが設けられていないモノクロのセンサ206が設けられている。それ以外については、第1実施形態の内視鏡システム10と同様である。
広帯域光源22はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、内側に設けられた通常観察モード用フィルタ208と、外側に設けられた特殊観察モード用フィルタ209とを備えている(図19参照)。フィルタ切替部205は、回転フィルタ204を径方向に移動させるものであり、モード切替SW22bにより通常観察モードにセットされたときに、回転フィルタ204の通常観察モード用フィルタ208を白色光の光路に挿入し、特殊観察モードにセットされたときに、回転フィルタ204の特殊観察モード用フィルタ209を白色光の光路に挿入する。
図19に示すように、通常観察モード用フィルタ208には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ208a、白色光のうち緑色光を透過させるGフィルタ208b、白色光のうち赤色光を透過させるRフィルタ20cが設けられている。したがって、通常観察モード時には、回転フィルタ204が回転することで、青色光、緑色光、赤色光が交互に検体内に照射される。
特殊観察モード用フィルタ209には、周方向に沿って、白色光のうち中心波長415nmの青色狭帯域光を透過させるBnフィルタ209aと、白色光のうち中心波長540nmの緑色狭帯域光を透過させるGnフィルタ209bが設けられている。したがって、特殊観察モード時には、回転フィルタ204が回転することで、青色狭帯域光、緑色狭帯域光が交互に検体内に照射される。そのため、面順次式の内視鏡システム200では、広帯域光源202及び回転フィルタ204のBnフィルタ209が、本発明の狭帯域光源部を構成する。
面順次方式の内視鏡システム200では、通常観察モード時には、青色光、緑色光、赤色光が検体内に照射される毎にモノクロのセンサ206で検体内を撮像する。これにより、RGBの3色の画像信号が得られる。そして、それらRGBの画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。
一方、特殊観察モード時には、青色狭帯域光、緑色狭帯域光が検体内に照射される毎にモノクロのセンサ206で検体内を撮像する。これにより、Bn画像信号と、Gn画像信号が得られる。これらBn画像信号と、Gn画像信号に基づいて、特殊光画像の生成が行われる。上記第1実施形態と異なり、ベース画像の生成については、Bn画像信号がB画像データ及びG画像データに割り付けられ、Gn画像信号がR画像データに割り付けられる。また、強調・抑制用画像の生成には、B画像信号の代わりに、Bn信号が用いられる。それ以外については、第1実施形態と同様の方法で特殊光画像の生成が行われる。
なお、上記第1実施形態では、蛍光体44を内視鏡12の先端部24に設けたが、これに代えて、蛍光体44を光源装置14内に設けてもよい。この場合には、ライトガイド41と青色レーザ光源34との間に、蛍光体44を設けることが好ましい。
なお、上記同時式の内視鏡システム10では、構造強調・抑制画像の作成に、青色レーザ光及び青紫色レーザ光の狭帯域波長情報が含まれる狭帯域信号であるB画像信号を用い、上記面順次式の内視鏡システム200では、構造強調・抑制画像の作成に、青色狭帯域光の狭帯域波長情報が含まれる狭帯域信号であるBn画像信号を用いたが、白色画像などの広帯域画像に基づく分光演算により、腺管構造及び微細血管に関する情報を多く持つ青色狭帯域画像信号を生成し、この青色狭帯域画像を構造強調・抑制画像の作成に用いてもよい。
この場合には、同時式の内視鏡システム10の特殊観察モード時において、特殊光の代わりに、広帯域光である白色光を照明する。そして、図20に示すように、受信部54と色彩強調部76との間に設けた分光演算部300において、白色光の発光・撮像により得られるRGB画像信号に基づく分光演算処理を行う。これにより、腺管構造及び微細血管に関する情報を多く持つ青色狭帯域画像信号(例えば、415nmの波長情報を持つ青色狭帯域画像信号)が生成される。分光演算の方法は、特開2003-093336号公報に記載の方法を用いる。この分光演算部300で生成された青色狭帯域画像信号と、GR画像信号に基づいて、上記実施形態と同様の手順で、構造強調・抑制画像を生成する。なお、白色光としては、蛍光体44により得られる白色光の他、キセノンランプなどの広帯域光源から発せられる広帯域光を用いてもよい。
なお、上記実施形態では、本発明の実施を内視鏡の診断中に行ったが、これに限らず、内視鏡診断後、内視鏡システムの記録部に記録しておいた内視鏡画像に基づいて、本発明の実施を行ってもよく、また、カプセル内視鏡で取得したカプセル内視鏡画像に基づいて、本発明の実施を行ってもよい。
10,200 内視鏡システム
47 ズーミングレンズ(拡大手段)
48,206 センサ(画像信号生成部)
78,130,140 構造強調・抑制部
80 ベース画像生成部
81 周波数フィルタリング処理部(構造抽出画像生成部)
82 強調・抑制用画像生成部(表示制御用画像生成部)
83 画像合成部
86,145 LUT(変換部)
90 腺管強調用変換部
91 腺管抑制用変換部
92 血管強調用変換部
93 血管抑制用変換部
120 信号判別部(判別部)
122 ゲイン処理部
131 腺管抽出用フィルタリング部
132 血管抽出用フィルタリング部
142 抑制処理部
144 強調用画像生成部(表示制御用画像生成部)
300 分光演算部



Claims (15)

  1. 粘膜表面を撮像して、短波長の成分を含む短波長画像信号を有する複数色の画像信号を生成する画像信号生成部であり、第1構造の画素は前記粘膜表面よりも明るく、第2構造の画素は前記粘膜表面よりも暗い前記短波長画像信号を生成する画像信号生成部と、
    前記複数色の画像信号に基づいてベース画像を生成するベース画像生成部と、
    前記短波長画像信号に対して、第1周波数成分を抽出する第1周波数成分抽出処理を施すことにより、出力値が正である前記第1構造の画素を抽出した第1構造抽出画像を生成し、前記短波長画像信号に対して、前記第1周波数成分の2〜3倍の第2周波数成分を抽出する第2周波数成分抽出処理を施すことにより、出力値が負である前記第2構造の画素を抽出した第2構造抽出画像を生成する構造抽出画像生成部と、
    前記第1及び第2構造抽出画像に基づいて、前記第1構造又は前記第2構造の表示制御に用いる表示制御用画像を生成する表示制御用画像生成部と、
    前記ベース画像と前記表示制御用画像を合成して、前記第1構造又は前記第2構造の表示を制御した表示制御画像を生成する画像合成部と、
    を備えることを特徴とする画像処理装置。
  2. 前記短波長画像信号は青色狭帯域画像信号であることを特徴とする請求項1記載の画像処理装置。
  3. 前記青色狭帯域画像信号は、青色狭帯域光で照明された前記粘膜表面を撮像して得られることを特徴とする請求項2記載の画像処理装置。
  4. 前記青色狭帯域画像信号は、複数色の画像信号に基づく分光演算で得られることを特徴とする請求項2記載の画像処理装置。
  5. 前記短波長画像信号は、検体を拡大する拡大手段を用いる拡大観察時に得られることを特徴とする請求項1ないし4いずれか1項記載の画像処理装置。
  6. 前記表示御用画像生成部は、前記第1構造抽出画像及び第2構造抽出画像の入力に対して、前記第1又は第2構造の画素が表示制御量に応じた値を持つ表示制御用画像を出力する変換部であることを特徴とする請求項1ないし5いずれか1項記載の画像処理装置。
  7. 前記変換部は、前記第1構造の表示を強調するときには、前記第1構造抽出画像の入力に対して、前記第1構造の画素が強調度に応じた正の値を持つ表示制御用画像を出力することを特徴とする請求項6記載の画像処理装置。
  8. 前記変換部は、前記第1構造の表示を抑制するときには、前記第1構造抽出画像の入力に対して、前記第1構造の画素が抑制度に応じた負の値を持つ表示制御画像を出力することを特徴とする請求項6または7記載の画像処理装置。
  9. 前記変換部は、前記第2構造の表示を強調するときには、前記第2構造抽出画像の入力に対して、前記第2構造の画素が強調度に応じた負の値を持つ表示制御用画像を出力することを特徴とする請求項6ないし8いずれか1項記載の画像処理装置。
  10. 前記変換部は、前記第2構造の表示を抑制するときには、前記第2構造抽出画像の入力に対して、前記第2構造の画素が抑制度に応じた正の値を持つ表示制御用画像を出力することを特徴とする請求項6ないし9いずれか1項記載の画像処理装置。
  11. 前記変換部は、前記第1及び第2構造の両方を強調しつつ、前記第1構造と前記第2構造の視認性を異ならせるときには、前記第1構造の画素が正の値持ち、前記第2構造の画素が負の値を持つとともに、前記第1構造の画素の値と前記第2構造の画素の値の絶対値とが異なる表示制御用画像を出力することを特徴とする請求項6記載の画像処理装置。
  12. 粘膜表面を撮像して複数色の画像信号を生成する画像信号生成部と、
    前記複数色の画像信号に基づいてベース画像を生成するベース画像生成部と、
    前記複数色の画像信号のうち短波長の成分を含む短波長画像信号に対して、第1周波数成分を抽出する第1周波数成分抽出処理を施すことにより、出力値が正である第1構造の画素を抽出した第1構造抽出画像を生成し、前記短波長画像信号に対して、前記第1周波数成分と異なる第2周波数成分を抽出する第2周波数成分抽出処理を施すことにより、出力値が負である第2構造の画素を抽出した第2構造抽出画像を生成する構造抽出画像生成部と、
    前記第1及び第2構造抽出画像に基づいて、前記第1構造又は前記第2構造の表示制御に用いる表示制御用画像を生成する表示制御用画像生成部と、
    前記ベース画像と前記表示制御用画像を合成して、前記第1構造又は前記第2構造の表示を制御した表示制御画像を生成する画像合成部を有し、
    前記第1構造抽出画像のうち正の値を持つ画素と「0」の値を持つ画素とを判別し、前記第2構造抽出画像のうち負の値を持つ画素と「0」の値を持つ画素とを判別する判別部と、
    前記判別部で正の値を有すると判別された画素に対して、前記第1構造の表示制御量に応じたゲイン処理を施し、又は前記判別部で負の値を有すると判別された画素に対して、前記第2構造の表示制御量に応じたゲイン処理を施すことによって、表示制御用画像を生成するゲイン処理部とを有することを特徴とする画像処理装置。
  13. 前記ゲイン処理部は、前記第1及び第2構造の両方を強調しつつ、前記第1構造と前記第2構造の視認性を異ならせるときには、前記判別部で正の値を有すると判別された画素と負の値を有すると判別された画素に対して、それぞれ強調度が異なる強調用のゲイン処理を施すことを特徴とする請求項12記載の画像処理装置。
  14. 前記第1構造は腺管構造であり、前記第2構造は微細血管であることを特徴とする請求項1ないし13いずれか1項記載の画像処理装置。
  15. 画像信号生成部が、粘膜表面を撮像して、短波長の成分を含む短波長画像信号を有する複数色の画像信号を生成するステップであり、第1構造の画素は前記粘膜表面よりも明るく、第2構造の画素は前記粘膜表面よりも暗い前記短波長画像信号を生成するステップと、
    ベース画像生成部が、前記複数色の画像信号に基づいてベース画像を生成するステップと、
    構造抽出画像生成部が、前記短波長画像信号に対して、第1周波数成分を抽出する第1周波数成分抽出処理を施すことにより、出力値が正である前記第1構造の画素を抽出した第1構造抽出画像を生成し、前記短波長画像信号に対して、前記第1周波数成分の2〜3倍の第2周波数成分を抽出する第2周波数成分抽出処理を施すことにより、出力値が負である前記第2構造の画素を抽出した第2構造抽出画像を生成するステップと、
    表示制御用画像生成部が、前記第1及び第2構造抽出画像に基づいて、前記第1構造又は前記第2構造の表示制御に用いる表示制御用画像を生成するステップと、
    画像合成部が、前記ベース画像と前記表示制御用画像を合成して、前記第1構造又は前記第2構造の表示を制御した表示制御画像を生成するステップと、
    を有することを特徴とする内視鏡システムの作動方法。
JP2013092246A 2013-04-25 2013-04-25 画像処理装置及び内視鏡システムの作動方法 Active JP6054806B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013092246A JP6054806B2 (ja) 2013-04-25 2013-04-25 画像処理装置及び内視鏡システムの作動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013092246A JP6054806B2 (ja) 2013-04-25 2013-04-25 画像処理装置及び内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2014212925A JP2014212925A (ja) 2014-11-17
JP6054806B2 true JP6054806B2 (ja) 2016-12-27

Family

ID=51939273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013092246A Active JP6054806B2 (ja) 2013-04-25 2013-04-25 画像処理装置及び内視鏡システムの作動方法

Country Status (1)

Country Link
JP (1) JP6054806B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5892985B2 (ja) * 2013-09-27 2016-03-23 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法
WO2016185733A1 (ja) 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6626783B2 (ja) * 2016-06-02 2019-12-25 Hoya株式会社 画像処理装置および電子内視鏡システム
WO2018079217A1 (ja) * 2016-10-27 2018-05-03 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7217351B2 (ja) * 2019-07-08 2023-02-02 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理装置の作動方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2011097987A (ja) * 2009-11-04 2011-05-19 Olympus Corp 内視鏡装置
JP5501210B2 (ja) * 2010-12-16 2014-05-21 富士フイルム株式会社 画像処理装置
JP5274591B2 (ja) * 2011-01-27 2013-08-28 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5550574B2 (ja) * 2011-01-27 2014-07-16 富士フイルム株式会社 電子内視鏡システム
JP5670264B2 (ja) * 2011-06-13 2015-02-18 富士フイルム株式会社 内視鏡システム、及び内視鏡システムの作動方法
JP5948203B2 (ja) * 2011-10-12 2016-07-06 富士フイルム株式会社 内視鏡システム及びその作動方法
CN105007801B (zh) * 2013-02-27 2016-09-28 富士胶片株式会社 图像处理装置以及内窥镜系统的工作方法

Also Published As

Publication number Publication date
JP2014212925A (ja) 2014-11-17

Similar Documents

Publication Publication Date Title
JP6427625B2 (ja) 画像処理装置及びその作動方法
CN110325100B (zh) 内窥镜系统及其操作方法
JP6495539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5789280B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP4951256B2 (ja) 生体観測装置
JP5647752B1 (ja) 画像処理装置及び内視鏡システムの作動方法
JP5662623B1 (ja) 画像処理装置及び内視鏡システムの作動方法
JP6077340B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP6823072B2 (ja) プロセッサ装置及び内視鏡システム
JP5892985B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
JP5844230B2 (ja) 内視鏡システム及びその作動方法
JP6017669B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP5869541B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP5948203B2 (ja) 内視鏡システム及びその作動方法
JP2020065685A (ja) 内視鏡システム
JP2016067706A (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP2022136171A (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6267372B2 (ja) 内視鏡システム
WO2018079217A1 (ja) 内視鏡システム及びその作動方法
JP6081622B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP6243311B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6669539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161201

R150 Certificate of patent or registration of utility model

Ref document number: 6054806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250