JP6017669B2 - 画像処理装置及び内視鏡システムの作動方法 - Google Patents

画像処理装置及び内視鏡システムの作動方法 Download PDF

Info

Publication number
JP6017669B2
JP6017669B2 JP2015502818A JP2015502818A JP6017669B2 JP 6017669 B2 JP6017669 B2 JP 6017669B2 JP 2015502818 A JP2015502818 A JP 2015502818A JP 2015502818 A JP2015502818 A JP 2015502818A JP 6017669 B2 JP6017669 B2 JP 6017669B2
Authority
JP
Japan
Prior art keywords
image
display control
unit
signal
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015502818A
Other languages
English (en)
Other versions
JPWO2014132741A1 (ja
Inventor
昌之 蔵本
昌之 蔵本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6017669B2 publication Critical patent/JP6017669B2/ja
Publication of JPWO2014132741A1 publication Critical patent/JPWO2014132741A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7908Suppression of interfering signals at the reproducing side, e.g. noise

Description

本発明は、腺管構造や微細血管に着目して診断を行う画像処理装置及び内視鏡システムの作動方法に関する。
近年の医療においては、光源装置、電子内視鏡、プロセッサ装置を備える内視鏡システムを用いた診断等が広く行われている。内視鏡システムによる検体内の観察としては、ブラウニッシュエリアや発赤など病変部である可能性が高い病変可能性部位を遠景状態から検出するスクリーニング観察の他、そのような病変可能性部位を検出したときに、ズーミングレンズを用いて、その病変可能性部位を拡大して精査する拡大観察が行われている。この拡大観察では、近年、微細な粘膜構造について着目して診断する「VS classification」が行わるようになってきている。
この「VS classification」では、粘膜表層にある微細血管と粘膜表層の微細構造をそれぞれ独立に診断するため、微細血管と微細構造の両方を強調表示することが求められている。この強調表示に関しては、例えば、特許文献1のように、所定の画像から血管部分を抽出し、その抽出した血管部分だけを強調することが考えられる。この特許文献1のように、血管部分は強調するものの、その血管部分以外の微細構造については消滅させることなく表示を維持することで、微細血管と微細構造の両方を観察しやすくなる。また、微細血管と微細構造はいずれも中周波〜高周波成分を有するため、特許文献2のように、ハイパスフィルタリング処理を行うことで、微細血管と微細構造の両方を強調表示することができる。
特開2012−152459号公報 特許第5057675号公報
最近の「VS classification」では、微細構造に着目して診断を行う際に、血管の存在が正確な微細構造の診断に妨げになることが分かってきた。例えば、微細構造が一部消滅しているのにも関わらず、その一部消滅した領域の中に血管が混じっている場合には、その血管に囲まれた部分が、あたかも微細構造のように見えてしまうおそれがある。このような場合には、誤診断の可能性が高くなる。したがって、微細血管、微細構造のうち一方を強調し、他方を抑制すること(微細血管、微細構造の選択的強調・抑制)など互いの視認性を異ならせる表示制御を行うことにより、一方の構造が他方の構造の視認性を妨げることがない内視鏡画像を生成して表示することが求められている。
これに関して、特許文献1には、表層血管と深層血管の選択的強調・抑制については記載があるものの、微細血管、微細構造の選択的強調・抑制に関する説明はない。また、特許文献2には、微細構造と微細血管の両方を強調できるフィルタリング処理が記載されているものの、この特許文献2のフィルタリング処理では微細血管、微細構造の選択的強調・抑制を行うことはできない。
本発明は、微細血管、微細構造をそれぞれ独立に診断する場合であっても、一方の構造が他方の構造の視認性を妨げることがない内視鏡画像を生成することができる画像処理装置及び内視鏡システムの作動方法を提供することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、画像信号生成部と、ベース画像生成部と、構造抽出画像生成部と、表示制御用画像生成部と、画像合成部とを備えている。画像信号生成部は、粘膜表面を撮像して複数色の画像信号を生成する。ベース画像生成部は、複数色の画像信号に基づいて、粘膜よりも輝度値が大きい第1構造が含まれるベース画像を生成する。構造抽出画像生成部は、複数色の画像信号のうち短波長の成分を含む短波長画像信号に対して、第1周波数成分を抽出する第1周波数成分抽出処理を施すことにより、信号値が正である第1構造の画素を抽出した第1構造抽出画像信号を生成する。表示制御用画像生成部は、第1構造抽出画像信号に基づいて、第1構造の表示制御に用いる表示制御用画像を生成する。画像合成部は、ベース画像と表示制御用画像を合成して、ベース画像の第1構造と表示制御用画像の第1構造とを合成することにより、第1構造の表示を制御した表示制御画像を生成する。
短波長画像信号は青色成分を含むB画像信号であることが好ましい。B画像信号は青色狭帯域画像信号であることが好ましい。青色狭帯域光を発光する狭帯域光源部を備え、青色狭帯域画像信号は、画像信号生成部において、青色狭帯域光で照明された粘膜表面を撮像して得られることが好ましい。複数色の画像信号に基づいて、分光演算する分光演算部を備え、青色狭帯域画像信号は、分光演算によって得られることが好ましい。粘膜表面を拡大する拡大手段を備え、短波長画像信号は、拡大手段を用いる拡大観察時に得られることが好ましい。
構造抽出画像生成部は、第1周波数成分抽出処理を短波長画像信号に施すことにより、信号値が正である第1構造の画素と信号値が負である第2構造の画素を抽出した第1及び第2構造抽出画像信号を生成することが好ましい。表示制御用画像生成部は、第1及び第2構造抽出画像信号に基づいて、第1構造又は第2構造の表示制御に用いる表示制御用画像を生成することが好ましい。画像合成部は、ベース画像と表示制御用画像を合成して、第1構造又は第2構造の表示を制御した表示制御画像を生成することが好ましい。
表示制御用画像生成部は、第1及び第2構造抽出画像信号の入力に対して、第1又は第2構造の画素が表示制御量に応じた値を持つ表示制御用画像を出力する変換部であることが好ましい。変換部は、第1構造の表示を強調するときに、第1構造の画素が強調度に応じた正の値を持つ表示制御用画像を出力する第1変換部を有することが好ましい。変換部は、第1構造の表示を抑制するときに、第1構造の画素が抑制度に応じた負の値を持つ表示制御画を出力する第2変換部を有することが好ましい。変換部は、第2構造の表示を強調するときに、第2構造の画素が強調度に応じた負の値を持つ表示制御用画像を出力する第3変換部を有することが好ましい。変換部は、第2構造の表示を抑制するときに、第2構造の画素が抑制度に応じた正の値を持つ表示制御用画像を出力する第4変換部を有することが好ましい。変換部は、第1及び第2構造の両方を強調しつつ、第1構造と第2構造の視認性を異ならせるときに、第1構造の画素が正の値が持ち、第2構造の画素が負の値を持つとともに、且つ第1構造の画素の値と第2構造の画素の値の絶対値とが異なる表示制御用画像を出力する特定変換部を有することが好ましい。
第1及び第2構造抽出画像信号の各画素の値を判別する判別部と、第1及び第2構造抽出画像信号のうち判別部で正又は負の値を有すると判別された画素に対して、第1又は第2構造の表示制御量に応じたゲイン処理を施して、表示制御用画像を生成するゲイン処理部とを有することが好ましい。ゲイン処理部は、第1及び第2構造の両方を強調しつつ、第1構造と第2構造の視認性を異ならせるときには、判別部で正の値を有すると判別された画素と負の値を有すると判別された画素に対して、それぞれ強調度が異なる強調用のゲイン処理を施すことが好ましい。
ベース画像に対して抑制処理を施す抑制処理部を備えることが好ましい。この場合は、構造抽出画像生成部は、第1周波数成分抽出処理を短波長画像信号に施すことにより、信号値が正である第1構造の画素と信号値が負である第2構造の画素を抽出した第1及び第2構造抽出画像信号を生成し、表示制御用画像生成部は、第1及び第2構造抽出画像信号に基づいて、第1構造又は第2構造のうち一方の特定構造の表示の強調に用いる表示制御用画像を生成し、画像合成部は、抑制処理が施されたベース画像と表示制御用画像を合成して、第1及び第2構造のうち特定構造の表示を強調し、もう一方の構造の表示を抑制した表示制御画像を生成する。第1構造は腺管構造であり、第2構造は微細血管であることが好ましい。
本発明の内視鏡システムの作動方法は、画像信号生成ステップと、ベース画像生成ステップと、構造抽出画像生成ステップと、表示制御用画像生成ステップと、画像合成ステップとを備えている。画像信号生成ステップでは、画像信号生成部が、粘膜表面を撮像して複数色の画像信号を生成する。ベース画像生成ステップでは、ベース画像生成部が、複数色の画像信号に基づいて、粘膜よりも輝度値が大きい第1構造が含まれるベース画像を生成する。構造抽出画像生成ステップでは、構造抽出画像生成部が、複数色の画像信号のうち短波長の成分を含む短波長画像信号に対して、第1周波数成分を抽出する第1周波数成分抽出処理を施すことにより、信号値が正である第1構造の画素を抽出した第1構造抽出画像信号を生成する。表示制御用画像生成ステップでは、表示制御用画像生成部が、第1構造抽出画像信号に基づいて、第1構造の表示制御に用いる表示制御用画像を生成する。画像合成ステップでは、画像合成部が、ベース画像と表示制御用画像を合成して、ベース画像の第1構造と表示制御用画像の第1構造とを合成することにより、第1構造の表示を制御した表示制御画像を生成する。
本発明によれば、微細血管、微細構造をそれぞれ独立に診断する場合であっても、微細血管、微細構造のうち一方の構造が他方の構造の視認性を妨げることがない内視鏡画像を生成することができる。
内視鏡システムの外観図である。 第1実施形態の内視鏡システムの各構成を示すブロック図である。 白色光の発光スペクトルを示すグラフである。 特殊光の発光スペクトルを示すグラフである。 構造強調・抑制部の各構成を示すブロック図である。 (A)はB画像信号のBchの所定ラインにおける輝度分布を示すグラフであり、(B)は周波数フィルタリング処理後の構造抽出画像信号における信号値の分布を示すグラフである。 変換部の各構成を示すブロック図である。 変換部の各変換部における入出力関係を説明するための説明図である。 腺管構造の強調、微細血管の抑制を行うときの設定メニュー画面の画像図である。 腺管構造の強調、微細血管の抑制を行うときの変換部の入出力関係を示す説明図である。 腺管構造の強調、微細血管の抑制を行うときに用いられる表示制御用画像の信号値の分布を示すグラフである。 微細血管の強調のみを行うときの設定メニュー画面の画像図である。 微細血管の強調のみを行うときの変換部の入出力関係を示す説明図である。 微細血管の強調のみを行うときに用いられる表示制御用画像の信号値の分布を示すグラフである。 腺管構造の強調、微細血管の強調を行うときの設定メニュー画面の画像図である。 腺管構造の強調、微細血管の強調を行うときの変換部の入出力関係を示す説明図である。 腺管構造の強調、微細血管の強調を行うときに用いられる表示制御用画像の信号値の分布を示すグラフである。 図8Cの表示制御用画像をベース画像に合成して得られる表示制御画像の輝度分布を示すグラフである。 図9Cの表示制御用画像をベース画像に合成して得られる表示制御画像の輝度分布を示すグラフである。 図10Cの表示制御用画像をベース画像に合成して得られる表示制御画像の輝度分布を示すグラフである。 第1実施形態における一連の流れを表したフローチャートである。 別実施形態の構造強調・抑制部の各構成を示すブロック図である。 第2実施形態における構造強調・抑制部の各構成を示すブロック図である。 第3実施形態における構造強調・抑制部の各構成を示すブロック図である。 面順次方式の内視鏡システムにおける各構成を示すブロック図である。 回転フィルタの平面図である。 分光演算部を有する特殊光画像処理部のブロック図である。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール20とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、検体内に挿入される挿入部21と、挿入部の基端部分に設けられた操作部22と、挿入部21の先端側に設けられる湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作に伴って、先端部24が所望の方向に向けられる。
また、操作部22には、アングルノブ22aの他、モード切替SW22bと、ズーム操作部22cが設けられている。モード切替SW22bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、白色光を用いる観察モードであり、主に、スクリーニング等で使用される。特殊観察モードは青味を帯びた特殊光を用いる観察モードであり、主に、拡大観察等で使用される。ズーム操作部22cは、内視鏡12内のズーミングレンズ47(図2参照)を駆動させて、検体を拡大させるズーム操作に用いられる。
プロセッサ装置16は、モニタ18及びコンソール20と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール20は、機能設定等の入力操作を受け付けるUI(ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源部14は、中心波長445nmの青色レーザ光を発する青色レーザ光源(445LD)34と、中心波長405nmの青紫色レーザ光を発する青紫色レーザ光源(405LD)36とを発光源として備えている。これら各光源34、36の半導体発光素子からの発光は、光源制御部40により個別に制御されており、青色レーザ光源34の出射光と、青紫色レーザ光源36の出射光の光量比は変更自在になっている。光源制御部40は、通常観察モードの場合には、青色レーザ光源34のみ駆動させる。これに対して、特殊観察モードの場合には、光源制御部40は、青色レーザ光源34と青紫色レーザ光36の両方を駆動させるとともに、青紫色レーザ光の発光比率を青色レーザ光の発光比率よりも大きくなるように制御している。なお、青色レーザ光源34及び青紫色レーザ光源36のいずれか又は両方が、本発明の狭帯域光源部を構成する。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、通常観察モードの場合にも、青紫色レーザ光36を駆動してもよい。ただし、この場合には、青紫色レーザ光36の発光強度を低く抑えることが好ましい。また、青色レーザ光源34及び青紫色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
これら各光源34、36から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド(LG)41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(光源装置14と内視鏡12を接続するためのコード)内に内蔵されている。中心波長445nmの青色レーザ光又は中心波長405nmの青紫色レーザは、ライトガイド41を介して、内視鏡12の先端部24まで伝搬される。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径が φ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡の先端部24は照明光学系24aと撮像光学系24bを有している。照明光学系24aには、ライトガイド41からの中心波長445nmの青色レーザ光又は中心波長405nmの青紫色レーザが入射する蛍光体44と、照明レンズ45が設けられている。蛍光体44に、青色レーザ光が照射されることで、蛍光体44から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体44を透過する。青紫色レーザ光は、蛍光体44を励起させることなく透過する。蛍光体44を出射した光は、照明レンズ45を介して、検体内に照射される。
ここで、通常観察モードにおいては、青色レーザ光のみが蛍光体44に入射するため、図3Aに示すように、青色レーザ光、及び青色レーザ光により蛍光体44から励起発光する蛍光を合波した白色光が、検体内に照射される。一方、特殊観察モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体44に入射するため、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体44から励起発光する蛍光を合波した特殊光が、検体内に照射される。この特殊観察モードでは、青紫色レーザ光の発光比率を青色レーザ光の発光比率よりも大きくしているため、特殊光は、青色成分を多く含み且つ波長範囲がほぼ可視光全域に及ぶ光となっている。
なお、蛍光体44は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
図2に示すように、内視鏡12の撮像光学系24bは、対物レンズ46、ズーミングレンズ47、イメージセンサ48を有している。検体からの反射光は、対物レンズ46及びズーミングレンズ47を介して、イメージセンサ48に入射する。これにより、イメージセンサ48に検体の反射像が結像される。ズーミングレンズ47は、ズーム操作部22cを操作することで、テレ端とワイド端との間を移動する。ズーミングレンズ47がワイド端側に移動すると検体の反射像が縮小する一方で、テレ端側に移動することで、検体の反射像が拡大する。
イメージセンサ48はカラーの撮像素子であり、検体の反射像を撮像して画像信号を出力する。なお、イメージセンサ48は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等であることが好ましい。本発明で用いられるイメージセンサは、R(赤)、G(緑)及びB(青)の3色の画像信号を得るために、撮像面にRGBフィルタを備えた、いわゆるRGBカラーイメージセンサであっても良いし、撮像面にC(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の色フィルタを備えた、いわゆる補色イメージセンサであっても良い。補色イメージセンサの場合には、CMYGの4色の画像信号から色変換によってRGBの3色の画像信号を得ることができる。この場合には、CMYGの4色の画像信号からRGBの3色の画像信号に色変換する色変換手段を、内視鏡12、光源装置14又はプロセッサ装置16のいずれかに備えている必要がある。
イメージセンサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/Dコンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、受信部54と、画像処理切替部60と、通常光画像処理部62と、特殊光画像処理部64と、画像表示信号生成部66とを備えている。受信部54は内視鏡12からのデジタル画像信号を受信する。この受信部54は、DSP(Digital Signal Processor)56とノイズ除去部58を備えている。DSP56は、デジタル画像信号に対してガンマ補正、色補正処理を行う。ノイズ除去部58は、DSP56でガンマ補正等が施されたデジタル画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、デジタル画像信号からノイズを除去する。ノイズが除去されたデジタル画像信号は、画像処理切替部60に送信される。
画像処理切替部60は、モード切替SW22bにより通常観察モードにセットされている場合には、デジタル画像信号を通常光画像処理部62に送信し、特殊観察モードに設定されている場合には、デジタル画像信号を特殊光画像処理部64に送信する。なお、本発明においては、区別のため、通常光画像処理部62及び特殊光画像処理部64による画像処理前のデジタル画像信号を画像信号といい、画像処理後のデジタル画像信号を画像データと呼ぶことにする。
通常光画像処理部62は、色変換部68と、色彩強調部70と、構造強調部72とを有する。色変換部68は、入力されたRGB3チャンネルのデジタル画像信号を、それぞれR画像データ、G画像データ、B画像データに割り付ける。これらRGBの画像データに対しては、更に、3×3のマトリックス処理、階調変換処理、3次元LUT処理などの色変換処理を行い、色変換処理済RGB画像データに変換する。
色彩強調部70は、色変換済RGB画像データに対して、各種色彩強調処理を施す。構造強調部72は、色彩強調処理済RGB画像データに対して、シャープネスや輪郭強調等の構造強調処理を行う。構造強調部72で構造強調処理が施されたRGB画像データは、通常光画像として通常光画像処理部62から画像表示信号生成部66に入力される。
特殊光画像処理部64は、色彩強調部76と、構造強調・抑制部78とを有する。色彩強調部76は、入力されたRGB3チャンネルのデジタル画像信号に対して各種色彩強調処理を施すことにより、色彩強調済のRGBの画像信号を生成する。構造強調・抑制部78は、色彩強調処理済のRGB画像信号に対し、腺管構造又は血管を強調・抑制する構造強調・抑制処理を施すことにより、表示制御画像生成する。構造強調・抑制部78で構造強調・抑制処理が施された表示制御画像は、特殊光画像として特殊光画像処理部64から画像表示信号生成部66に入力される。
図4に示すように、構造強調・抑制部78は、ベース画像生成部80と、周波数フィルタリング処理部81と、表示制御用画像生成部82と、画像合成部83とを備えている。ベース画像生成部80は、色彩強調処理済のRGB画像信号のうち、G画像信号をR画像データに割り付け、B画像信号をG画像データ及びB画像データに割り付ける。これらRGB画像データがベース画像となる。このベース画像は、B画像データにはB画像信号が割り付けられているものの、G画像データにはG画像信号ではなくB画像信号が割り付けられており、R画像データにはR画像信号ではなくG画像信号が割り付けられているため、ベース画像は疑似カラー画像となる。なお、ベース画像生成部では、色変換部68のように、RGB画像信号をそれぞれRGB画像データに割り付けて、疑似カラーでない白色ベースのベース画像を生成してもよい。
周波数フィルタリング処理部81は、色彩強調済のB画像信号に対して、粘膜表層にある腺管構造と微細血管に対応する周波数帯域成分を抽出する周波数フィルタリング処理を施す。ここで、周波数フィルタリング処理で抽出する腺管構造S(Structure)は、白く縁取られて見える辺縁部とする(腺管には辺縁部の他、腺管開口部も含まれている)。これにより、腺管構造と微細血管が抽出された構造抽出画像信号が得られる。B画像信号に対して周波数フィルタリング処理を施すのは、B画像信号は、腺管構造や微細血管に対して構造強調効果を施すことができる青紫色レーザ光及び青色レーザ光など青色成分に対応する信号であるためである。
なお、図5(A)に示すように、腺管構造S(Structure)は、青紫色レーザ光及び青色レーザ光など青色成分の光によって乱反射するため、B画像信号84上では粘膜よりも明るく光っている。また、青紫色レーザ光及び青色レーザ光は、キセノン光などの広帯域光を波長分離して得られる青色狭帯域光と異なり、直進性の高い光であるため、腺管構造のpit部分の底面まで深達する。この効果によって、腺管構造Sは更に明るく光るようになる。これに対して、微細血管V(Vascular)は、特殊光のうち青紫色レーザ光及び青色レーザ光などヘモグロビンの吸光係数が高い青色成分の光を良く吸収するため、B画像信号84上では粘膜よりも暗くなっている。したがって、周波数フィルタリング処理後の構造抽出画像信号85では、(B)に示すように、腺管構造Sの画素は信号値が「正」となるアップエッジとなっており、微細血管Vの画素は信号値が「負」となるダウンエッジとなっている。また、構造抽出画像信号85における粘膜M(Mucous membrane)は、輝度値の変化がほとんど無いため、信号値はほぼ「0」となっている。なお、図5において、B画像信号84はライン84a上の各画素の輝度値を表しており、構造抽出画像信号85はライン84a上の各画素の信号値を表している(図11〜図13も同様)。また、ここで、信号値は「0」、正の値、負の値を含む値であり、輝度値は「0」、正の値を含む値である。
表示制御用画像生成部82は、構造抽出画像信号から、腺管構造又は微細血管の強調・抑制・表示維持に用いられるための表示制御用画像を生成する。表示制御用画像生成部82は、構造抽出画像信号を入力して表示制御用画像を出力する変換部86と、強調・抑制条件を設定するとともに、設定した強調・抑制条件に従って変換部を制御する構造強調・抑制設定部87とを備えている(図4参照)。
図6に示すように、変換部86は、第1変換部90と、第2変換部91と、第3変換部92と、第4変換部93と、第5変換部94と、第6変換部95とからなり、構造抽出画像信号の入力に対して、腺管構造又は微細血管の強調度、抑制度など表示制御量に応じた値を持つ表示制御用画像を出力する。第1変換部90は、腺管構造を強調するときに用いられ、構造抽出画像信号の入力に対して、図7に示す入出力関係90aに従った値を出力する。入出力関係90aは正の傾きで定義されているため、正の値の入力に対して、正の値を出力する。この出力した正の値を、ベース画像上の腺管構造に加算することで、粘膜よりも明るい腺管構造が更に明るくなり、粘膜と腺管構造とのコントラストが向上する。これにより、腺管強調効果が得られる。なお、第1変換部90では、4つの第1〜第4強調度E1〜E4に対応する入出力関係が定義されており、それらの傾きは、強調度が高くなる程、大きくなっている。
第2変換部91は、腺管構造を抑制するときに用いられ、構造抽出画像信号の入力に対して、図7に示す入出力関係91aに従った値を出力する。入出力関係91aは負の傾きで定義されているため、正の値の入力に対して、負の値を出力する。この出力した負の値を、ベース画像上の腺管構造に加算することで、腺管構造の明るさが粘膜に近づいて、粘膜と腺管構造とのコントラストが低下する。これにより、腺管抑制効果が得られる。なお、第2変換部91では、4つの第1〜第4抑制度R1〜R4に対応する入出力関係が定義されており、それらの傾きは、抑制度が高くなる程、大きくなっている。
第3変換部92は、微細血管を強調するときに用いられ、構造抽出画像信号の入力に対して、図7に示す入出力関係92aに従った値を出力する。入出力関係92aは正の傾きで定義されているため、負の値の入力に対して、負の値を出力する。この出力した負の値を、ベース画像上の微細血管に加算することで、粘膜よりも暗い微細血管が更に暗くなって、粘膜と微細血管とのコントラストが向上する。これにより、微細血管強調効果が得られる。なお、第3変換部92では、4つの第1〜第4強調度E1〜E4に対応する入出力関係が定義されており、それらの傾きは、強調度が高くなる程、大きくなっている。
第4変換部93は、微細血管を抑制するときに用いられ、図7に示す入出力関係93aに従った値を出力する。入出力関係93aは負の傾きで定義されているため、負の値の入力に対して、正の値を出力する。この出力した正の値を、ベース画像上の微細血管に加算することで、微細血管の明るさが粘膜に近づいて、粘膜と微細血管とのコントラストが低下する。これにより、微細血管抑制効果が得られる。なお、第4変換部93では、4つの第1〜第4抑制度R1〜R4に対応する入出力関係が定義されており、それらの傾きは、抑制度が高くなる程、大きくなっている。
第5変換部94は、腺管構造の明るさを維持するときに用いられ、構造抽出画像信号のうち正の値の入力に対して、図7に示す入出力関係94aに従って、「0」の値を出力する。この「0」の値をベース画像上の腺管構造に加算することで、腺管構造の明るさは維持される。第6変換部95は、微細血管の明るさを維持するときに用いられ、構造抽出画像信号のうち負の値の入力に対して、図7に示す入出力関係95aに従って、「0」の値を出力する。この「0」の値をベース画像上の微細血管に加算することで、微細血管の明るさは維持される。
構造強調・抑制設定部87は、コンソール20によって入力される強調・抑制条件に基づいて、変換部86を制御する。強調・抑制条件の設定は、図8A、図9A、図10Aに示すような設定メニュー画面をモニタ18に表示して行われる。この設定メニュー画面は、腺管構造の強調・抑制条件を設定するためのS用スライドバー97と、微細血管の強調・抑制条件を設定するためのV用スライドバー98とが表示される。
S用スライドバー97上でスライダ97aを中央の「0」にセットしたときには、腺管構造の明るさを維持する条件に設定される。この場合には、構造抽出画像信号は第5変換部94に入力される。また、S用スライドバー97上でスライダ97aを右側の強調側にスライドさせたときには、腺管構造を強調する条件に設定される。この場合には、構造抽出画像信号は第1変換部90に入力される。また、スライダ97aを左側の抑制側にスライドさせたときには、腺管構造を抑制する条件に設定される。この場合には、構造抽出画像信号は第2変換部91に入力される。
また、S用スライドバー97上の目盛り「1」〜「4」及び「−1」〜「−4」は、変換部上で定義された第1〜第4強調度E1〜E4及び第1〜第4抑制度R1〜R4に対応している。したがって、スライダ97aを所定の目盛りをセットすると、変換部86では、そのセットされた目盛りに対応する強調度・抑制度に設定される。なお、V用スライドバー98についても、S用スライドバー97と同様の方法で、スライダ98aを用いて微細血管の強調・抑制の条件設定を行う。
例えば、図8Aに示すように、S用スライドバー97上でスライダ97aを「+2」をセットし、V用スライドバー98上でスライダ98aを「−1」にセットした場合には、図8Bに示すように、第1変換部90では、第2強調度E2の傾きにセットされるとともに、第4変換部93では、第1抑制度R1の傾きにセットされる。そして、構造抽出画像信号を第1変換部90及び第4変換部93に入力することにより、図8Cに示すような、腺管構造Sの画素と微細血管Vの画素の信号値が共に正となる表示制御用画像100が出力される。この表示制御用画像100は、腺管構造に着目して診断を行う場合に用いられる。
また、図9Aに示すように、S用スライドバー97上でスライダ97aを「0」をセットし、V用スライドバー98上でスライダ98aを「+2」にセットした場合には、図9Bに示すように、第3変換部92では、第2強調度E2の傾きにセットされる。そして、構造抽出画像信号を第5変換部94及び第3変換部92に入力することにより、図9Cに示すような、腺管構造Sの画素の信号値が「0」で、微細血管Vの画素の信号値が負となる表示制御用画像101が出力される。この表示制御用画像101は、微細血管に着目して診断を行う場合に用いられる。
また、図10Aに示すように、S用スライドバー97上でスライダ97aを「+2」をセットし、V用スライドバー98上でスライダ98aを「+1」にセットした場合には、図10Bに示すように、第1変換部90では、第2強調度E2の傾きにセットされるとともに、第3変換部92では、第1強調度E1の傾きにセットされる。そして、第1変換部90及び第3変換部92の両方の変換機能を有する特定変換部に、構造抽出画像信号を入力することにより、図10Cに示すような、腺管構造の画素の信号値が正であり、微細血管の画素の信号値が負である表示制御用画像102が出力される。
この表示制御用画像102では、腺管構造の強調度が微細血管の強調度よりも高いため、腺管構造の画素の値の絶対値が微細血管の画素の値の絶対値よりも大きくなっている。したがって、表示制御用画像102は、腺管構造と微細血管の両方を強調しつつ、腺管構造の視認性を微細血管よりも高めたい場合に用いられる。
画像合成部83は、表示制御用画像をベース画像に合成することにより、腺管構造又は微細血管を強調・抑制した表示制御画像を作成する。この画像合成部83では、ベース画像のうちB画像データの各画素(Bch)に対して、強調・抑制画像の各画素の値を加算するが、G画像データ又はR画像データの各画素に対しても強調・抑制画像の各画素の値を加算してもよい。
例えば、図8Cのような、腺管構造Sの画素と微細血管Vの画素の信号値が共に正となる表示制御用画像100をベース画像105のBch(B画像データの各画素)に合成した場合には、図11に示すように、腺管構造Sと周囲の粘膜Mとのコントラストが向上する一方で、微細血管Vと周囲の粘膜Mとのコントラストが低下した表示制御画像110が得られる(点線は合成前の輝度値を示している)。
また、図9Cのような、微細血管Vの画素の信号値が負となる表示制御用画像101をベース画像105に合成した場合には、図12に示すように、微細血管Vと周囲の粘膜Mとのコントラストが向上した表示制御画像111が得られる(図11と同様、点線は合成前の輝度値を示している)。また、図10Cのような、腺管構造Sの画素の信号値が正であり、微細血管Vの画素の信号値が負である表示制御用画像102をベース画像105に合成した場合には、図13に示すように、腺管構造S及び微細血管Vと周囲の粘膜Mとのコントラストが向上した表示制御画像112が得られる(図11と同様、点線は合成前の輝度値を示している)。
画像表示信号生成部66は、通常光画像処理部62又は特殊光画像処理部64から入力された通常光画像又は特殊光画像を、モニタ18で表示可能画像として表示するための表示画像信号に変換する。この変換後の表示画像信号に基づいて、モニタ18は、通常光画像又は特殊光画像を表示する。
次に、本実施形態における一連の流れを図14のフローチャートに沿って説明する。まず、通常観察モードにおいて、遠景状態からスクリーニングを行う。このスクリーニング時に、ブラウニッシュエリアや発赤など病変の可能性がある部位(病変可能性部位)を検出したときには、ズーム操作部22cを操作して、その病変可能性部位を拡大表示する拡大観察を行う。これに合わせて、モード切替SW22bを操作して、特殊観察モードに切り替える。これにより、特殊光画像がモニタ18に表示される。
術者は、モニタ18に表示された特殊光画像を観察して、腺管構造及び微細血管の状態を読み取って、病変部が否かを判断する。特殊光画像から腺管構造及び微細血管の状態を正確に読み取ることができる場合には、その特殊光画像に基づいて、病変可能性部位が病変もしくは非病変か否かの判断を行う。一方、腺管構造及び微細血管の状態を正確に読み取ることができない場合には、コンソール20を操作して、図8A等に示す設定メニュー画面を立ち上げる。この設定メニュー画面上で、S用スライドバー97及びV用スライドバー98上にあるスライダ97a,98aを操作して、特殊光画像上での腺管構造及び微細血管の強調・抑制を行う。
例えば、腺管構造に着目して診断を行う際に、微細血管の表示が妨げになっている場合には、図8Aに示すように、S用スライドバー97上のスライダ97aを強調方向にスライドさせる一方、V用スライドバー98上のスライダ98aを抑制方向にスライドさせる。これにより、腺管構造の表示を強調する一方で、微細血管の表示が抑制された特殊光画像がモニタ18に表示される。この腺管構造及び微細血管の強調・抑制は、腺管構造及び微細血管の状態を正確に読み取ることができるまで継続して行われる。
なお、第1実施形態では、周波数フィルタリング画像の構造抽出画像信号において、アップエッジとダウンエッジを判別せずに、構造抽出画像信号全体を表示制御用画像生成部82に入力して、表示制御用画像を生成したが、アップエッジとダウンエッジを判別し、それぞれにゲイン処理を施すことによって表示制御用画像を生成してもよい。例えば、図15に示すように、周波数フィルタリング部81と表示制御用画像生成部82との間に設けた判別部120で、構造抽出画像信号のうち正の値を持つ画素をアップエッジの画素と判別し、負の値を持つ画素をダウンエッジの画素と判別する。そして、表示制御用画像生成部82内のゲイン処理部122で、アップエッジ及びダウンエッジの画素に対して、強調度・抑制度に応じたゲイン処理を施して、表示制御用画像を生成する。
この場合、腺管構造を強調するときには、アップエッジの画素に対して、強調用のゲイン処理を施して、アップエッジの画素の値が正となる表示制御用画像を生成する。この場合におけるアップエッジの画素の値(正)は、強調度が大きくなる程、大きくなる。また、腺管構造を抑制するときには、アップエッジの画素に対して、抑制用のゲイン処理を施して、アップエッジの画素の値が負となる表示制御用画像を作成する。この場合におけるアップエッジの画素の値(負)は、抑制度が大きくなる程、小さくなる。
また、微細血管を強調するときには、ダウンエッジの画素に対して、強調度に応じた強調用のゲイン処理を施して、ダウンエッジの画素の値が負となる表示制御用画像を生成する。この場合におけるダウンエッジの画素の値(負)は、強調度が大きくなる程、小さくなる。また、微細血管を抑制するときには、ダウンエッジの画素に対して、抑制度に応じた抑制用のゲイン処理を施して、ダウンエッジの画素の値が正となる表示制御用画像を作成する。この場合におけるダウンエッジの画素の値(正)は、抑制度が大きくなる程、大きくなる。
また、腺管構造と微細血管の両方を強調しつつ、微細血管の視認性を腺管構造の視認性よりも低くする場合には、アップエッジ及びダウンエッジの画素に対して強調用のゲイン処理を行うときに、ダウンエッジに対する強調度を、アップエッジに対する強調度よりも低くする。この場合には、表示制御用画像上では、アップエッジの画素の値(正)の絶対値は、ダウンエッジの画素の値(負)の絶対値よりも大きくなる。
[第2実施形態]
第1実施形態では、周波数フィルタリング処理により、B画像信号から腺管構造及び微細血管の両方を抽出したが、第2実施形態では、腺管抽出用のフィルタリング処理と血管抽出用のフィルタリング処理とを分けて、B画像信号から腺管構造と微細血管を別々に抽出する。腺管構造の周波数帯域と微細血管の周波数帯域は若干微細血管のほうが高周波寄りであることを考慮すると、第2実施形態のように、腺管抽出用のフィルタリング処理と血管抽出用のフィルタリング処理とに分けて、抽出することが好ましい。
第2実施形態の構造強調・抑制部130は、第1実施形態の周波数フィルタリング部81に代えて、腺管抽出用フィルタリング部131と血管抽出用フィルタリング部132が設けられている。なお、それ以外については、第3実施形態の内視鏡システムは、第1実施形態とほぼ同様の構成を有している。
腺管抽出用フィルタリング部131では、B画像信号に対して、腺管構造が多く含まれる帯域を抽出する周波数フィルタリングを行う。これにより、腺管構造を抽出した腺管抽出画像信号が生成される。この腺管抽出画像信号は、変換部86の第1変換部90、第2変換部91、第5変換部94のいずれかに入力される。一方、血管抽出用フィルタリング部132では、B画像信号に対して、微細血管が多く含まれる高周波の帯域を抽出する周波数フィルタリングを行う。これにより、微細血管を抽出した血管抽出画像信号が生成される。この血管抽出画像信号は、変換部86の第3変換部92、第4変換部93、第6変換部95のいずれかに入力される。
[第3実施形態]
第1実施形態では、表示制御用画像をベース画像に合成することによって、腺管構造、微細血管の強調・抑制を行ったが、第3実施形態では、腺管構造、微細血管の強調については、表示制御用画像をベース画像に合成して行う一方で、腺管構造、微細構造の抑制については、ベース画像をぼかす処理で行う。
第3実施形態の構造強調・抑制部140では、ベース画像生成部80と画像合成部83との間に、ベース画像をぼかす抑制処理部142が設けられている。また、第1実施形態の表示制御用画像生成部82の代わりに、表示制御用画像を作成する表示制御用画像生成部144が設けられている。また、構造強調・抑制設定部87は、設定した強調・抑制条件に基づいて、抑制処理部142及び表示制御用画像生成部144を制御する。なお、それ以外については、第3実施形態の内視鏡システムは、第1実施形態とほぼ同様の構成を有している。
抑制処理部142は、構造強調・抑制設定部87で設定された抑制度に基づいて、ベース画像をぼかす処理を行う。ぼかしの程度は、抑制度が高くなる程、大きくする。なお、ぼかし処理としては、例えばローパスフィルタリングなどを用いることが好ましい。表示制御用画像生成部144は、構造抽出画像信号を入力して表示制御用画像を出力する変換部145を備えている。変換部145は、変換部86と異なり、第1変換部90、第3変換部92と、第5変換部94と、第6変換部95が設けられており、抑制に関する変換部(第2変換部91、第4変換部93)は設けられていない。
上記第1〜第3実施形態では、各観察モードに必要な複数の画像信号をカラーのセンサで同時に取得する同時方式で本発明の実施を行ったが、これに代えて、各観察モードに必要な複数の画像信号をモノクロのセンサで順次取得する面順次式であっても同様に本発明の実施が可能である。
図18に示すように、面順次式の内視鏡システム200の光源装置14には、青色レーザ光源34、青紫色レーザ光源36、光源制御部40の代わりに、広帯域光源202、回転フィルタ204、フィルタ切替部205が設けられている。また、内視鏡12の照明光学系24aには、蛍光体44が設けられていない。また、撮像光学系24bには、カラーのイメージセンサ48の代わりに、カラーフィルタが設けられていないモノクロのイメージセンサ206が設けられている。それ以外については、第1実施形態の内視鏡システム10と同様である。
広帯域光源22はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、内側に設けられた通常観察モード用フィルタ208と、外側に設けられた特殊観察モード用フィルタ209とを備えている(図19参照)。フィルタ切替部205は、回転フィルタ204を径方向に移動させるものであり、モード切替SW22bにより通常観察モードにセットされたときに、回転フィルタ204の通常観察モード用フィルタ208を白色光の光路に挿入し、特殊観察モードにセットされたときに、回転フィルタ204の特殊観察モード用フィルタ209を白色光の光路に挿入する。
図19に示すように、通常観察モード用フィルタ208には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ208a、白色光のうち緑色光を透過させるGフィルタ208b、白色光のうち赤色光を透過させるRフィルタ20cが設けられている。したがって、通常観察モード時には、回転フィルタ204が回転することで、青色光、緑色光、赤色光が交互に検体内に照射される。
特殊観察モード用フィルタ209には、周方向に沿って、白色光のうち中心波長415nmの青色狭帯域光を透過させるBnフィルタ209aと、白色光のうち中心波長540nmの緑色狭帯域光を透過させるGnフィルタ209bが設けられている。したがって、特殊観察モード時には、回転フィルタ204が回転することで、青色狭帯域光、緑色狭帯域光が交互に検体内に照射される。そのため、面順次式の内視鏡システム200では、広帯域光源202及び回転フィルタ204のBnフィルタ209が、本発明の狭帯域光源部を構成する。
面順次方式の内視鏡システム200では、通常観察モード時には、青色光、緑色光、赤色光が検体内に照射される毎にモノクロのイメージセンサ206で検体内を撮像する。これにより、RGBの3色の画像信号が得られる。そして、それらRGBの画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。
一方、特殊観察モード時には、青色狭帯域光、緑色狭帯域光が検体内に照射される毎にモノクロのイメージセンサ206で検体内を撮像する。これにより、Bn画像信号と、Gn画像信号が得られる。これらBn画像信号と、Gn画像信号に基づいて、特殊光画像の生成が行われる。上記第1実施形態と異なり、ベース画像の生成については、Bn画像信号がB画像データ及びG画像データに割り付けられ、Gn画像信号がR画像データに割り付けられる。また、表示制御用画像の生成には、B画像信号の代わりに、Bn信号が用いられる。それ以外については、第1実施形態と同様の方法で特殊光画像の生成が行われる。
なお、図2に示す第1実施形態では、蛍光体44を内視鏡12の先端部24に設けたが、これに代えて、蛍光体44を光源装置14内に設けてもよい。この場合には、ライドガイド41と青色レーザ光源34との間に、蛍光体44を設けることが好ましい。
なお、上記同時式の内視鏡システム10では、表示制御画像の作成に、青色レーザ光及び青紫色レーザ光の狭帯域波長情報が含まれる狭帯域信号であるB画像信号を用い、上記面順次式の内視鏡システム200では、表示制御画像の作成に、青色狭帯域光の狭帯域波長情報が含まれる狭帯域信号であるBn画像信号を用いたが、白色画像などの広帯域画像に基づく分光演算により、腺管構造及び微細血管に関する情報を多く持つ青色狭帯域画像信号を生成し、この青色狭帯域画像を表示制御画像の作成に用いてもよい。
この場合には、同時式の内視鏡システム10の特殊観察モード時において、特殊光の代わりに、広帯域光である白色光を照明する。そして、図20に示すように、受信部54と色彩強調部76との間に設けた分光演算部300において、白色光の発光・撮像により得られるRGB画像信号に基づく分光演算処理を行う。これにより、腺管構造及び微細血管に関する情報を多く持つ青色狭帯域画像信号(例えば、415nmの波長情報を持つ青色狭帯域画像信号)が生成される。分光演算の方法は、特開2003-093336号公報に記載の方法を用いる。この分光演算部300で生成された青色狭帯域画像信号と、GR画像信号に基づいて、上記実施形態と同様の手順で、表示制御画像を生成する。なお、白色光としては、蛍光体44により得られる白色光の他、キセノンランプなどの広帯域光源から発せられる広帯域光を用いてもよい。
なお、上記実施形態では、本発明の実施を内視鏡の診断中に行っているが、これに限らず、内視鏡診断後に、内視鏡システムの記録部に記録しておいた内視鏡画像に基づいて、本発明の実施を行ってもよく、また、カプセル内視鏡で取得したカプセル内視鏡画像に基づいて、本発明の実施を行ってもよい。
10,200 内視鏡システム
47 ズーミングレンズ(拡大手段)
48,206 センサ(画像信号生成部)
78,130,140 構造強調・抑制部
80 ベース画像生成部
81 周波数フィルタリング部(構造抽出画像生成部)
82,144 表示制御用画像生成部
83 画像合成部
86,145 変換部
90 第1変換部
91 第2変換部
92 第3変換部
93 第4変換部
120 判別部
122 ゲイン処理部
131 腺管抽出用フィルタリング部
132 血管抽出用フィルタリング部
142 抑制処理部
300 分光演算部

Claims (19)

  1. 粘膜表面を撮像して複数色の画像信号を生成する画像信号生成部と、
    前記複数色の画像信号に基づいて、粘膜よりも輝度値が大きい第1構造が含まれるベース画像を生成するベース画像生成部と、
    前記複数色の画像信号のうち短波長の成分を含む短波長画像信号に対して、第1周波数成分を抽出する第1周波数成分抽出処理を施すことにより、信号値が正である第1構造の画素を抽出した第1構造抽出画像信号を生成する構造抽出画像生成部と、
    前記第1構造抽出画像信号に基づいて、前記第1構造の表示制御に用いる表示制御用画像を生成する表示制御用画像生成部と、
    前記ベース画像と前記表示制御用画像を合成して、前記ベース画像の第1構造と前記表示制御用画像の第1構造とを合成することにより、前記第1構造の表示を制御した表示制御画像を生成する画像合成部と、
    を備えることを特徴とする画像処理装置。
  2. 前記短波長画像信号は青色成分に対応するB画像信号であることを特徴とする請求項1記載の画像処理装置。
  3. 前記B画像信号は青色狭帯域画像信号であることを特徴とする請求項2記載の画像処理装置。
  4. 青色狭帯域光を発光する狭帯域光源部を備え、
    前記青色狭帯域画像信号は、前記画像信号生成部において、前記青色狭帯域光で照明された前記粘膜表面を撮像して得られることを特徴とする請求項3記載の画像処理装置。
  5. 前記複数色の画像信号に基づいて、分光演算する分光演算部を備え、
    前記青色狭帯域画像信号は、前記分光演算によって得られることを特徴とする請求項3記載の画像処理装置。
  6. 前記粘膜表面を拡大する拡大手段を備え、
    前記短波長画像信号は、前記拡大手段を用いる拡大観察時に得られることを特徴とする請求項1記載の画像処理装置。
  7. 前記構造抽出画像生成部は、前記第1周波数成分抽出処理を前記短波長画像信号に施すことにより、信号値が正である第1構造の画素と信号値が負である第2構造の画素を抽出した第1及び第2構造抽出画像信号を生成し、
    前記表示制御用画像生成部は、前記第1及び第2構造抽出画像信号に基づいて、前記第1構造又は第2構造の表示制御に用いる表示制御用画像を生成し、
    前記画像合成部は、前記ベース画像と前記表示制御用画像を合成して、前記第1構造又は第2構造の表示を制御した表示制御画像を生成することを特徴とする請求項1記載の画像処理装置。
  8. 前記表示制御用画像生成部は、前記第1及び第2構造抽出画像信号の入力に対して、前記第1又は第2構造の画素が表示制御量に応じた値を持つ表示制御用画像を出力する変換部であることを特徴とする請求項7記載の画像処理装置。
  9. 前記変換部は、前記第1構造の表示を強調するときに、前記第1構造の画素が強調度に応じた正の値を持つ表示制御用画像を出力する第1変換部を有することを特徴とする請求項8記載の画像処理装置。
  10. 前記変換部は、前記第1構造の表示を抑制するときに、前記第1構造の画素が抑制度に応じた負の値を持つ表示制御用画像を出力する第2変換部を有することを特徴とする請求項8または9記載の画像処理装置。
  11. 前記変換部は、前記第2構造の表示を強調するときに、前記第2構造の画素が強調度に応じた負の値を持つ表示制御用画像を出力する第3変換部を有することを特徴とする請求項8ないし10いずれか1項記載の画像処理装置。
  12. 前記変換部は、前記第2構造の表示を抑制するときに、前記第2構造の画素が抑制度に応じた正の値を持つ表示制御用画像を出力する第4変換部を有することを特徴とする請求項8ないし11いずれか1項記載の画像処理装置。
  13. 前記変換部は、前記第1及び第2構造の両方を強調しつつ、前記第1構造と前記第2構造の視認性を異ならせるときに、前記第1構造の画素が正の値が持ち、前記第2構造の画素が負の値を持つとともに、記第1構造の画素の値と前記第2構造の画素の値の絶対値とが異なる表示制御用画像を出力する特定変換部を有することを特徴とする請求項8記載の画像処理装置。
  14. 前記第1及び第2構造抽出画像信号の各画素の値を判別する判別部と、
    前記第1及び第2構造抽出画像信号のうち前記判別部で正又は負の値を有すると判別された画素に対して、前記第1又は第2構造の表示制御量に応じたゲイン処理を施して、表示制御用画像を生成するゲイン処理部とを有することを特徴とする請求項7記載の画像処理装置。
  15. 前記ゲイン処理部は、前記第1及び第2構造の両方を強調しつつ、前記第1構造と前記第2構造の視認性を異ならせるときには、前記判別部で正の値を有すると判別された画素と負の値を有すると判別された画素に対して、それぞれ強調度が異なる強調用のゲイン処理を施すことを特徴とする請求項14記載の画像処理装置。
  16. 前記ベース画像に対して抑制処理を施す抑制処理部を備え、
    前記構造抽出画像生成部は、前記第1周波数成分抽出処理を前記短波長画像信号に施すことにより、信号値が正である第1構造の画素と信号値が負である第2構造の画素を抽出した第1及び第2構造抽出画像信号を生成し、
    前記表示制御用画像生成部は、前記第1及び第2構造抽出画像信号に基づいて、前記第1構造又は第2構造のうち一方の特定構造の表示の強調に用いる表示制御用画像を生成し、
    前記画像合成部は、前記抑制処理が施されたベース画像と前記表示制御用画像を合成して、前記第1及び第2構造のうち前記特定構造の表示を強調し、もう一方の構造の表示を抑制した表示制御画像を生成する、ことを特徴とする請求項1ないし6いずれか1項記載の画像処理装置。
  17. 前記第1構造は腺管構造であることを特徴とする請求項1記載の画像処理装置。
  18. 前記第1構造は腺管構造であり、前記第2構造は微細血管であることを特徴とする請求項7記載の画像処理装置。
  19. 画像信号生成部が、粘膜表面を撮像して複数色の画像信号を生成する画像信号生成ステップと、
    ベース画像生成部が、前記複数色の画像信号に基づいて、粘膜よりも輝度値が大きい第1構造が含まれるベース画像を生成するベース画像生成ステップと、
    構造抽出画像生成部が、前記複数色の画像信号のうち短波長の成分を含む短波長画像信号に対して、第1周波数成分を抽出する第1周波数成分抽出処理を施すことにより、信号値が正である第1構造の画素を抽出した第1構造抽出画像信号を生成する構造抽出画像生成ステップと、
    表示制御用画像生成部が、前記第1構造抽出画像信号に基づいて、前記第1構造の表示制御に用いる表示制御用画像を生成する表示制御用画像生成ステップと、
    画像合成部が、前記ベース画像と前記表示制御用画像を合成して、前記ベース画像の第1構造と前記表示制御用画像の第1構造とを合成することにより、前記第1構造の表示を制御した表示制御画像を生成する画像合成ステップと、
    を有することを特徴とする内視鏡システムの作動方法。
JP2015502818A 2013-02-27 2014-01-31 画像処理装置及び内視鏡システムの作動方法 Active JP6017669B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013037782 2013-02-27
JP2013037782 2013-02-27
PCT/JP2014/052247 WO2014132741A1 (ja) 2013-02-27 2014-01-31 画像処理装置及び内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP6017669B2 true JP6017669B2 (ja) 2016-11-02
JPWO2014132741A1 JPWO2014132741A1 (ja) 2017-02-02

Family

ID=51428015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015502818A Active JP6017669B2 (ja) 2013-02-27 2014-01-31 画像処理装置及び内視鏡システムの作動方法

Country Status (4)

Country Link
US (1) US10003774B2 (ja)
JP (1) JP6017669B2 (ja)
CN (1) CN105007801B (ja)
WO (1) WO2014132741A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019036007A1 (en) * 2017-08-16 2019-02-21 Covidien Lp SYSTEMS AND METHODS FOR ENHANCING SURGICAL IMAGES AND / OR VIDEOS

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6054806B2 (ja) * 2013-04-25 2016-12-27 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP6259747B2 (ja) * 2014-09-30 2018-01-10 富士フイルム株式会社 プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
CN105942960B (zh) * 2016-07-01 2017-06-16 华中科技大学 一种可指示输尿管位置的内窥镜系统及方法
WO2019058512A1 (ja) * 2017-09-22 2019-03-28 オリンパス株式会社 観察システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2012125461A (ja) * 2010-12-16 2012-07-05 Fujifilm Corp 画像処理装置
JP2012152332A (ja) * 2011-01-25 2012-08-16 Fujifilm Corp 内視鏡システム及びその操作補助方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5057675B2 (ja) 2006-03-03 2012-10-24 オリンパスメディカルシステムズ株式会社 生体観察装置
JP5274591B2 (ja) 2011-01-27 2013-08-28 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003093336A (ja) * 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2012125461A (ja) * 2010-12-16 2012-07-05 Fujifilm Corp 画像処理装置
JP2012152332A (ja) * 2011-01-25 2012-08-16 Fujifilm Corp 内視鏡システム及びその操作補助方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019036007A1 (en) * 2017-08-16 2019-02-21 Covidien Lp SYSTEMS AND METHODS FOR ENHANCING SURGICAL IMAGES AND / OR VIDEOS

Also Published As

Publication number Publication date
WO2014132741A1 (ja) 2014-09-04
US20160006993A1 (en) 2016-01-07
CN105007801B (zh) 2016-09-28
CN105007801A (zh) 2015-10-28
US10003774B2 (en) 2018-06-19
JPWO2014132741A1 (ja) 2017-02-02

Similar Documents

Publication Publication Date Title
CN110325100B (zh) 内窥镜系统及其操作方法
JP5789280B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP6495539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP5647752B1 (ja) 画像処理装置及び内視鏡システムの作動方法
JP2017176856A (ja) 画像処理装置及びその作動方法
WO2016175084A1 (ja) 画像処理装置、方法及びプログラム
JP5662623B1 (ja) 画像処理装置及び内視鏡システムの作動方法
JP6077340B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP5892985B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
JP6259747B2 (ja) プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
JP6017669B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP5869541B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP2013099509A (ja) 内視鏡システム及び画像生成方法
JP5948203B2 (ja) 内視鏡システム及びその作動方法
JP6267372B2 (ja) 内視鏡システム
WO2018079217A1 (ja) 内視鏡システム及びその作動方法
JP6081622B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP6243311B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6669539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP6196599B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160928

R150 Certificate of patent or registration of utility model

Ref document number: 6017669

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250