JP6427625B2 - 画像処理装置及びその作動方法 - Google Patents

画像処理装置及びその作動方法 Download PDF

Info

Publication number
JP6427625B2
JP6427625B2 JP2017102318A JP2017102318A JP6427625B2 JP 6427625 B2 JP6427625 B2 JP 6427625B2 JP 2017102318 A JP2017102318 A JP 2017102318A JP 2017102318 A JP2017102318 A JP 2017102318A JP 6427625 B2 JP6427625 B2 JP 6427625B2
Authority
JP
Japan
Prior art keywords
ratio
image
range
color
emphasized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017102318A
Other languages
English (en)
Other versions
JP2017176856A (ja
Inventor
昌之 蔵本
昌之 蔵本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JP2017176856A publication Critical patent/JP2017176856A/ja
Application granted granted Critical
Publication of JP6427625B2 publication Critical patent/JP6427625B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • A61B1/0052Constructional details of control elements, e.g. handles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0676Endoscope light sources at distal tip of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222Evaluating particular parts, e.g. particular organs
    • A61B5/4238Evaluating particular parts, e.g. particular organs stomach
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Multimedia (AREA)
  • Endocrinology (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、萎縮性胃炎の診断時に用いる画像を処理する画像処理装置及びその作動方法に関する。
医療分野においては、光源装置、電子内視鏡、プロセッサ装置を備える内視鏡システムを用いた診断等が広く行われている。また、最近の内視鏡システムにおいては、電子内視鏡に組み込む撮像素子の高感度化や高画素化などハイビジョンシステムによる高解像度化によって、従来の画質を超える高精度な画像を表示できるようになってきている。これにより、微細な血管や粘膜の小さな病変でも極めてリアルに描写することができる。
このようなハイビジョン化によって、病変部の形状や大きさが明瞭化するため、病変部の検出を容易にすることができる。しかしながら、ドクターは、病変部の形状や大きさだけでなく、粘膜のわずかな色の違いからも病変部を見つけ出している。例えば、赤味を帯びているものの粘膜との色の違いが僅かである部分については、早期病変部として検出している。このような僅かに赤味を帯びた部分については、ハイビジョン化して単に解像度だけ上げても、見つけ出すことができない場合がある。
そこで、特許文献1では、赤味の部分はより赤く、白いところは白くする色彩強調処理を施すことによって、病変部の境界を目立たせることが行われている。また、特許文献2のように、ブラウニッシュエリア(BA(Brownish Area))など粘膜と色が異なる変色領域のサイズを検出し、その変色領域のサイズに応じて、周波数帯域強調処理を行うことによって、変色領域を構造強調することが行われている。このような色彩強調処理や周波数帯域強調処理を行うことで、ハイビジョン化だけでは検出できない病変部を見つけ出すことができる。
特許3228627号公報 特開2012−71012号公報
近年では、萎縮性胃炎の状態から胃癌などの胃の病変部を検出することが行われている。これは、以下に示すような萎縮性胃炎と胃の病変部との関係性を利用するものである。図18(A)に示すような正常な胃粘膜構造の場合には、表面の粘膜層は厚みを帯びているため、この粘膜層で大部分の光が吸収・反射する。そのため、図18(B)に示すように、正常な胃粘膜下層内の血管は、内視鏡画像上ではほとんど観察することができない。
これに対して、図19(A)に示すように、萎縮性胃炎が進行した胃粘膜構造の場合には、胃腺細胞の減少により粘膜層は薄くなっている。このような萎縮性胃炎の進行に伴う胃粘膜内部構造の変化は、内視鏡画像上では、下記(A)及び(B)のような変化として現れる。
(A)白に近い色の粘膜筋板が透けて見えることになり、萎縮粘膜の色は正常部より退色した色になる。
(B)萎縮粘膜がある領域では、萎縮に伴って粘膜層が薄くなるにつれて、粘膜下層の血管が透見されるようになる(図19(B)参照)。
したがって、萎縮性胃炎に基づく胃病変部の診断においては、上記2つの特徴(A)、(B)を利用して、萎縮の進行度の判断や、正常部と胃炎部との境界の判別を行っている。
ここで、萎縮が高度に進んだ場合(例えば、ABC検診でC群やD群に含まれる萎縮の場合)には、内視鏡画像上で上記2つの特徴(A)、(B)について明確に観察することができる。しかしながら、萎縮があまり進行していないなど萎縮進行中の場合(例えば、ABC検診でB群やC群に含まれる萎縮の場合)には、内視鏡画像上での萎縮部と正常部との差は僅かであり、萎縮の進行度の判断や、正常部と胃炎部との境界の判別は困難な場合がある。したがって、内視鏡画像上において上記2つの特徴(A)、(B)を明確にして、正常部と胃炎部の境界を明瞭化することが求められている。
これに関して、特許文献1、2の方法の適用が考えられる。特許文献1の方法は、赤味を帯びた部分について更に赤味が増すように色を強調するものであり、上記のような胃の萎縮に伴う退色調になる色の変化や、胃の萎縮に伴って粘膜下層の血管が透見するような色の変化を強調するものではない。また、特許文献2の方法は、変色領域のサイズに応じて周波数帯域の強調処理を行うものであり、上記のような胃の萎縮に伴う色の変化に応じて、強調処理を行うものではない。
本発明は、萎縮性胃炎による胃の萎縮時に起こり得る粘膜等の色の変化に応じて、色差強調又は構造強調することができる画像処理装置及びその作動方法を提供することを目的とする。
本発明の画像処理装置は、3色の画像信号を入力する画像信号入力部と、3色の画像信号に基づいて、ベース画像を作成するベース画像作成部と、3色の画像信号のうち2色の画像信号間の第1信号比と、第1信号比と異なる2色の画像信号間の第2信号比を算出する信号比算出部と、第1信号比及び第2信号比で形成される特徴空間において、第1範囲と第1範囲と異なる特定の範囲との差を拡張する拡張処理として、第1範囲と特定の範囲との差を色相方向又は彩度方向に拡張することを行って、第1範囲と特定の範囲との色差を強調した色差強調画像を生成する色差強調部と、色差強調画像に基づいて、特定の範囲に対応する周波数成分を強調した周波数成分強調画像を生成する周波数強調部と、第1信号比及び第2信号比に基づいて、色差強調画像に対して周波数成分強調画像を合成する割合を示す合成比率を設定する合成比率設定部と、合成比率設定部で設定された合成比率で前記色差強調画像に前記周波数成分強調画像を合成して、特定の範囲を構造強調した構造強調画像を生成する合成部とを備える。
合成比率設定部は、第1信号比及び第2信号比が、特定の範囲と異なる第1範囲に含まれる画素については、合成比率を「0%」に設定し、第1信号比及び第2信号比が特定の範囲に含まれる画素については、合成比率を「100%」に設定することが好ましい。第1信号比はB画像信号とG画像信号間のB/G比であり、第2信号比はG画像信号とR画像信号間のG/R比であることが好ましい。
本発明の画像処理装置は、カラー画像信号を入力する画像信号入力部と、カラー画像信号から複数の色情報を取得する色情報取得部と、複数の色情報で形成される特徴空間において、第1範囲と第1範囲と異なる特定の範囲との差を拡張する拡張処理として、第1範囲と特定の範囲との差を色相方向又は彩度方向に拡張することを行って、第1範囲と特定の範囲との色差を強調した色差強調画像を生成する色差強調部と、色差強調画像に基づいて、特定の範囲に対応する周波数成分を強調した周波数成分強調画像を生成する周波数強調部と、複数の色情報に基づいて、色差強調画像に対して周波数成分強調画像を合成する割合を示す合成比率を設定する合成比率設定部と、合成比率設定部で設定された合成比率で色差強調画像に周波数成分強調画像を合成して、色差を強調するとともに特定の範囲を構造強調した色差及び構造強調画像を生成する合成部とを備える。
合成比率設定部は、複数の色情報が第1範囲に含まれる画素については、合成比率を「0%」に設定し、複数の色情報が特定の範囲に含まれる画素については、合成比率を「100%」に設定することが好ましい。
本発明の画像処理装置の作動方法は、画像信号入力部が3色の画像信号を入力するステップと、信号比算出部が、3色の画像信号のうち2色の画像信号間の第1信号比と、第1信号比と異なる2色の画像信号間の第2信号比を算出するステップと、色差強調部が、第1信号比及び第2信号比で形成される特徴空間において、第1範囲と第1範囲と異なる特定の範囲との差を拡張する拡張処理として、第1範囲と特定の範囲との差を色相方向又は彩度方向に拡張することを行って、第1範囲と特定の範囲との色差を強調した色差強調画像を生成するステップと、周波数強調部が、色差強調画像に基づいて、特定の範囲に対応する周波数成分を強調した周波数成分強調画像を生成するステップと、合成比率設定部が、第1信号比及び第2信号比に基づいて、色差強調画像に対して周波数成分強調画像を合成する割合を示す合成比率を設定するステップと、合成部が、合成比率設定部で設定された合成比率で色差強調画像に周波数成分強調画像を合成して、特定の範囲を構造強調した構造強調画像を生成するステップを有する。
本発明の画像処理装置の作動方法は、画像信号入力部がカラー画像信号を入力するステップと、色情報取得部が、カラー画像信号から複数の色情報を取得するステップと、色差強調部が、複数の色情報で形成される特徴空間において、第1範囲と第1範囲と異なる特定の範囲との差を拡張する拡張処理として、色相方向又は彩度方向の拡張を行って、第1範囲と特定の範囲との色差を強調した色差強調画像を生成するステップと、周波数強調部が、色差強調画像に基づいて、特定の範囲に対応する周波数成分を強調した周波数成分強調画像を生成するステップと、合成比率設定部が、複数の色情報に基づいて、色差強調画像に対して周波数成分強調画像を合成する割合を示す合成比率を設定するステップと、合成部が、合成比率設定部で設定された合成比率で、色差強調画像に周波数成分強調画像を合成して、色差を強調するとともに特定の範囲を構造強調した色差及び構造強調画像を生成するステップを有する。

本発明によれば、萎縮性胃炎による胃の萎縮時に起こり得る粘膜等の色の変化に応じて、色差強調又は構造強調することができる。
内視鏡システムの外観図である。 第1実施形態の内視鏡システムの内部構成を示すブロック図である。 白色光の分光強度を示すグラフである。 特殊光の分光強度を示すグラフである。 特殊画像処理部の機能を示すブロック図である。 第1〜第5範囲の位置関係を示すグラフである。 特殊光(青色レーザ光の発光強度が青紫色レーザ光の発光強度よりも大きい)照明時に得られるB/G比、G/R比の分布を示す実測データを示すグラフである。 二次元空間(B/G比、G/R比)における動径差又は偏角差拡張前の第2範囲及び第3範囲の位置を示す説明図である。 二次元空間(B/G比、G/R比)における動径差又は偏角差拡張後の第2範囲及び第3範囲の位置を示す説明図である。 二次元空間(B/G比、G/R比)と色度との関係の説明、及び萎縮性胃炎の進行に伴うB/G比、G/R比の分布の変化の説明に用いる説明図である。 R画像信号と強調係数f(R)との関係を示すグラフである。 構造強調部の機能を示すブロック図である。 B/G比、G/R比と合成比率g1〜g4(B/G比、G/R比)との関係を表す表である。 萎縮性胃炎の診断における一連の流れを示すフローチャートである。 図4と異なる特殊画像処理部の機能を示すブロック図である。 第2実施形態の内視鏡システムの内部構成を示すブロック図である。 回転フィルタの平面図である。 第3実施形態におけるプロセッサ装置内の一部の機能を示すブロック図である。 (A)は正常粘膜における粘膜構造の断面図であり、(B)は正常粘膜を表層側から見た場合の平面図である。 (A)は萎縮性胃炎時における粘膜構造(胃腺細胞の減少、又は胃組織と腸、繊維組織との置換により胃粘膜層が薄くなっている)の断面図であり、(B)は萎縮性胃炎時における粘膜を表層側から見た場合の平面図である。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール20とを有する。内視鏡12は、ユニバーサルコード13を介して、光源装置14と光学的に接続されるとともにプロセッサ装置16と電気的に接続される。内視鏡12は、検体内に挿入される挿入部21と、挿入部の基端部分に設けられた操作部22と、挿入部21の先端側に設けられる湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作に伴って、先端部24が所望の方向に向けられる。
また、操作部22には、アングルノブ22aの他、モード切替SW22bと、ズーム操作部22cが設けられている。モード切替SW22bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、検体内の照明に白色光を用いるモードである。特殊観察モードは、検体内の照明に青味を帯びた特殊光を用いるモードであり、萎縮性胃炎による胃の萎縮時に起こり得る粘膜の色の変化や血管の透見を強調するモードである。ズーム操作部22cは、内視鏡12内のズーミングレンズ47(図2参照)を駆動させて、検体を拡大させるズーム操作に用いられる。なお、特殊観察モードでは、特殊光に代えて、白色光を用いてもよい。
プロセッサ装置16は、モニタ18及びコンソール20と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール20は、機能設定等の入力操作を受け付けるUI(ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、中心波長445nmの青色レーザ光を発する青色レーザ光源(445LD)34と、中心波長405nmの青紫色レーザ光を発する青紫色レーザ光源(405LD)36とを発光源として備えている。これら各光源34、36の半導体発光素子からの発光は、光源制御部40により個別に制御されており、青色レーザ光源34の出射光と、青紫色レーザ光源36の出射光の光量比は変更自在になっている。光源制御部40は、通常観察モードの場合には、主として青色レーザ光源34を駆動させ、青紫色レーザ光をわずかに発光するように制御している。なお、この通常観察モードの場合に、青紫色レーザ光源36を駆動してもよい。ただし、この場合には、青紫色レーザ光源36の発光強度を低く抑えることが好ましい。
これに対して、特殊観察モードの場合には、青色レーザ光源34と青紫色レーザ光源36の両方を駆動させるとともに、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御している。なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源34及び青紫色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
これら各光源34、36から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド(LG)41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード13内に内蔵されている。中心波長445nmの青色レーザ光又は中心波長405nmの青紫色レーザ光は、ライトガイド41を介して、内視鏡12の先端部24まで伝搬される。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径が φ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部24は照明光学系24aと撮像光学系24bを有している。照明光学系24aには、ライトガイド41からの中心波長445nmの青色レーザ光又は中心波長405nmの青紫色レーザ光が入射する蛍光体44と、照明レンズ45が設けられている。蛍光体44に、青色レーザ光が照射されることで、蛍光体44から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体44を透過する。青紫色レーザ光は、蛍光体44を励起させることなく透過する。蛍光体44を出射した光は、照明レンズ45を介して、検体内に照射される。
ここで、通常観察モードにおいては、主として青色レーザ光が蛍光体44に入射するため、図3Aに示すような、青色レーザ光、及び青色レーザ光により蛍光体44から励起発光する蛍光を合波した白色光が、検体内に照射される。一方、特殊観察モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体44に入射するため、図3Bに示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体44から励起発光する蛍光を合波した特殊光が、検体内に照射される。この特殊観察モードでは、青色成分に発光強度が高い青色レーザ光に加えて、青紫色レーザ光が含まれているため、特殊光は、青色成分を多く含み且つ波長範囲がほぼ可視光全域に及ぶ広帯域光となっている。
なお、蛍光体44は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
図2に示すように、内視鏡12の撮像光学系24bは、撮像レンズ46、ズーミングレンズ47、センサ48を有している。検体からの反射光は、撮像レンズ46及びズーミングレンズ47を介して、センサ48に入射する。これにより、センサ48に検体の反射像が結像される。ズーミングレンズ47は、ズーム操作部22cを操作することで、テレ端とワイド端との間を移動する。ズーミングレンズ47がテレ端側に移動すると検体の反射像が拡大する一方で、ワイド端側に移動することで、検体の反射像が縮小する。
センサ48はカラーの撮像素子であり、検体の反射像を撮像して画像信号を出力する。なお、センサ48は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等であることが好ましい。本発明で用いられるイメージセンサは、撮像面にRGBカラーフィルタが設けられたRGBchを有するRGBイメージセンサであり、各chで光電変換をすることによって、R(赤)のカラーフィルタが設けられたR画素からR画像信号を出力し、G(緑)のカラーフィルタが設けられたG画素からG画像信号を出力し、B(青)のカラーフィルタが設けられたB画素からB画像信号を出力する。
なお、センサ48としては、撮像面にC(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の色フィルタを備えた、いわゆる補色イメージセンサであっても良い。補色イメージセンサの場合には、CMYGの4色の画像信号から色変換によってRGBの3色の画像信号を得ることができる。この場合には、CMYGの4色の画像信号からRGBの3色の画像信号に色変換する手段を、内視鏡12、光源装置14又はプロセッサ装置16のいずれかに備えている必要がある。
センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS・AGC回路50を経た画像信号は、ガンマ変換部51でガンマ変換が施される。これにより、モニタ18などの出力デバイスに適した階調を有する画像信号が得られる。このガンマ変換後の画像信号は、A/D変換器(A/Dコンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は主として画像処理装置として機能するものであり、受信部54と、画像処理切替部60と、通常画像処理部62と、特殊画像処理部64と、映像信号生成部66とを備えている。受信部54は、内視鏡12からのデジタル画像信号を受信してプロセッサ装置16に入力する画像信号入力部として機能する。この受信部54は、DSP(Digital Signal Processor)56とノイズ除去部58を備えている。DSP56は、デジタル画像信号に対してガンマ補正、色補正処理を行う。ノイズ除去部58は、DSP56でガンマ補正等が施されたデジタル画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、デジタル画像信号からノイズを除去する。ノイズが除去されたデジタル画像信号は、画像処理切替部60に送信される。
画像処理切替部60は、モード切替SW22bにより通常観察モードにセットされている場合には、デジタル画像信号を通常画像処理部62に送信し、特殊観察モードに設定されている場合には、デジタル画像信号を特殊画像処理部64に送信する。
通常画像処理部62は、RGB画像信号に対して、色変換処理、色彩強調処理、構造強調処理を行う。色変換処理では、デジタルのRGB画像信号に対しては、3×3のマトリックス処理、階調変換処理、3次元LUT処理などを行い、色変換処理済みのRGB画像信号に変換する。次に、色変換済RGB画像信号に対して、各種色彩強調処理を施す。この色彩強調処理済みのRGB画像信号に対して、空間周波数強調等の構造強調処理を行う。構造強調処理が施されたRGB画像信号は、通常画像処理部62から映像信号生成部66に入力される。
特殊画像処理部64は、RGBの画像信号に基づいて、萎縮性胃炎による胃の萎縮など病変に伴って色が変化した異常部の色を強調するとともに、異常部を構造強調した特殊画像を生成する。特殊画像処理部64の詳細については後述する。生成された特殊画像のRGB画像信号は、特殊画像処理部64から映像信号生成部66に入力される。
映像信号生成部66は、通常画像処理部62又は特殊画像処理部64から入力されたRGB画像信号を、モニタ18で表示可能画像として表示するための映像信号に変換する。この映像信号に基づいて、モニタ18は、通常画像又は特殊画像を表示する。
特殊画像処理部64は、図4に示すように、逆ガンマ変換部70と、Log変換部71と、信号比算出部72と、色差強調部73と、RGB変換部74と、構造強調部75と、逆Log変換部76と、ガンマ変換部77とを備えている。逆ガンマ変換部70は、入力されたRGB3チャンネルのデジタル画像信号に対して逆ガンマ変換を施す。この逆ガンマ変換後のRGB画像信号は、検体からの反射率に対してリニアな反射率リニアRGB信号であるため、RGB画像信号のうち、検体の各種生体情報(本実施形態で言えば、萎縮性胃炎に伴う色の変化等など胃の萎縮に関する情報)に関連する信号が占める割合が多い。
Log変換部は、反射率リニアRGB画像信号をそれぞれLog変換する。これにより、Log変換済みのR画像信号(logR)、Log変換済みのG画像信号(logG)、Log変換済みのB画像信号(logB)が得られる。信号比算出部72は、Log変換済みのG画像信号とB画像信号に基づいて差分処理(logG-logB =logG/B=-log(B/G))することにより、B/G比(-log(B/G)のうち「-log」を省略したものを「B/G比」と表記する)を算出する。ここで、「B/G比」は、-log(B/G)のうち「-log」を省略したものを表している。また、Log変換済みのR画像信号とG画像信号に基づいて差分処理(logR-logG=logR/G=-log(G/R))することにより、G/R比を算出する。G/R比については、B/G比と同様、-log(G/R)のうち「-log」を省略したものを表している。
色差強調部73は、図5に示すB/G比、G/R比の二次元空間(本発明の「特徴空間」に対応する)において、第1範囲にあるB/G比、G/R比と、第2〜第5範囲にあるB/G比、G/R比の差を拡大することによって、観察領域上の正常部と異常部(萎縮粘膜領域、深層血管領域、BA(ブラウニッシュエリア(Brownish Area))、発赤領域)との色差を強調する。
第1範囲には、図6の実測データが示すように、正常粘膜などの正常部がある部分のB/G比、G/R比が多く含まれており(図6では正常粘膜の領域を「○」で表記)、この第1範囲は二次元空間上でほぼ中央に位置している。また、第2範囲には、萎縮粘膜がある部分のB/G比、G/R比が多く含まれており(図6では萎縮粘膜の領域を「×」で表記)、この第2範囲は二次元空間上で第1範囲の斜め左下に位置している。また、色相、彩度の観点で第1範囲と第2範囲との関係を定義付けた場合には、第1範囲と第2範囲とは色相が同じで、第2範囲は第1範囲よりも彩度が低くなっている。
第3範囲には、深層血管がある部分のB/G比、G/R比が多く含まれており(図6では深層血管を「□」で表記)、この第3範囲は第1範囲の右斜め下に位置している。また、色相、彩度の観点で第1範囲と第3範囲の関係を定義付けた場合には、第1範囲と第3範囲とは、彩度が同じで、色相が異なっている。第4範囲には、BAのB/G比、G/R比が多く含まれており(図6ではBAを「◇」で表記)、この第4範囲は第1範囲の右斜め上に位置している。第5範囲には、発赤がある領域の第1及び第2信号比が多く含まれており(図6では発赤領域を「△」で表記)、この第5範囲は第1範囲の右側に位置している。
色差強調部73は、二次元LUT73aと、重み付け加算部73bとを備えている。二次元LUT73aは、第2〜第5範囲のB/G比、G/R比と、この第2〜第4範囲のB/G比、G/R比と第1範囲のB/G比、G/R比の色差を拡張するために用いる色差強調量とを関連付けて記憶している。この二次元LUT73aにおいては、第2範囲のB/G比、G/R比と関連付けられる第2範囲の色差強調量Δ*(B/G比)、Δ*(G/R比)は、第2範囲のB/G比、G/R比に基づく第2範囲用の色差強調量算出処理により得られる。
また、第3範囲のB/G比、G/R比と関連付けられる第3範囲の色差強調量Δ**(B/G比)、Δ**(G/R比)は、第3範囲のB/G比、G/R比に基づく第3範囲用の色差強調量算出処理によって得られる。また、第4範囲のB/G比、G/R比と関連付けられる第4範囲の色差強調量Δ***(B/G比)、Δ***(G/R比)は、第4範囲のB/G比、G/R比に基づく第4範囲用の色差強調量算出処理によって得られる。また、第5範囲のB/G比、G/R比と関連付けられる第5範囲の色差強調量Δ*4(B/G比)、Δ*4(G/R比)は、第5範囲のB/G比、G/R比に基づく第5範囲用の色差強調量算出処理によって得られる。なお、第2〜5範囲のB/G比、G/R比以外の非強調範囲のB/G比、G/R(第1範囲のB/G比、G/R比を含む)については、色差拡張を行わないので、非強調範囲のB/G比、G/R比は、色差強調量「0」と関連付けて、二次元LUT73aに記憶されている。
なお、第2〜第5範囲用の色差強調量算出処理については、以下の手順で行われる。第2範囲用の色差強調量算出処理は、第1範囲平均値算出処理、極座標変換処理、動径差拡張処理、直交座標変換処理、差分処理からなる。まず、第1範囲平均値算出処理により、第1範囲内のB/G比、G/R比の平均値を算出する。次に、極座標変換処理により、第1範囲内のB/G比、G/R比の平均値を極座標変換することによって、極座標変換済みの第1範囲平均値(rm、θm)を得る。また、第2範囲内のB/G比、G/R比を極座標変換することにより、極座標変換済みの第2範囲信号(ri、θi)を得る。
次に、動径差拡張処理によって、図7に示すように、極座標変換済みの第1範囲平均値(rm、θm)と第2範囲信号(ri、θi)との間の動径差Δrを拡張する。この動径差拡張処理は、下記式(1−1)により、行われる。これにより、図8に示すような動径差拡張済みの第2範囲信号(Eri、θi)が得られる。この動径差拡張済みの第2範囲信号(Eri、θi)と第1範囲平均値(rm、θm)との動径差は、Δrよりも大きいEΔrとなっている。
(1−1):Eri=(ri−rm)・α+rm (ただし、α≧1)
次に、直交座標変換処理により、動径差拡張済みの第2範囲信号(Eri、θi)を、直交座標に変換する。これにより、動径差拡張済みの第2範囲のB/G比、G/R比が得られる。次に、下記(1−2)、(1−3)に示すように、動径差拡張済みの第2範囲のB/G比、G/R比と、動径差拡張前の第2範囲のB/G比、G/R比との差分処理を行って、第2範囲の色差拡張量Δ*(B/G比)、Δ*(G/R比)を算出する。
Δ*(B/G比)=|動径差拡張済みの第2範囲のB/G比−動径差拡張前の第2範囲のB/G比|・・・(1−2)
Δ*(G/R比)=|動径差拡張済みの第2範囲のG/R比−動径差拡張前の第2範囲のG/R比|・・・(1−3)
なお、上記第2範囲の動径差拡張処理は、図7、8に示すように、色相を維持した状態で、動径差Δrを彩度が低くなる方向に拡張するものである。この拡張処理による色の変化は、図9に示すような、萎縮性胃炎の進行とともに、退色調になる萎縮粘膜の色の変化に合わせている。この図9では、進行2は進行1よりも萎縮性胃炎の進行が進んでいることを示しており、進行1の場合は、萎縮粘膜の領域と正常粘膜の領域との差が小さいのに対して、進行2の場合には、色相はほぼそのままで、彩度のみが低下することにより、萎縮粘膜の領域と正常粘膜との差が大きくなっていることが分かる。
なお、正常粘膜の領域と萎縮粘膜領域の色の差を更に強調する場合には、彩度方向の拡張(動径差の拡張)だけでなく、色相方向の拡張(偏角差の拡張)を行ってもよい。また、萎縮が高度に進んでいる場合には、式(1−1)のαの値が大きすぎると、萎縮粘膜領域の色が青味を帯びてくるので、この場合には、αの値を小さくすること(コンソール20による操作で調整)で、萎縮粘膜領域の色を実際の萎縮粘膜の色(退色調の色)に合わせることができる。
第3範囲用の色差強調量算出処理は、第1範囲平均値算出処理、極座標変換処理、偏角差拡張処理、直交座標変換処理、差分処理からなる。まず、第1範囲平均値算出処理により、第1範囲内のB/G比、G/R比の平均値を算出する。次に、極座標変換処理により、第1範囲内のB/G比、G/R比の平均値を極座標変換することによって、極座標変換済みの第1範囲平均値(rm、θm)を得る。また、第3範囲内のB/G比、G/R比を極座標変換することにより、極座標変換済みの第3範囲信号(rv、θv)を得る。
次に、偏角差拡張処理によって、図7に示すように、極座標変換済みの第1範囲平均値(rm、θm)と第3範囲信号(rv、θv)との間の偏角差Δθを拡張する。この偏角差拡張処理は、下記式(2−1)により、行われる。これにより、図8に示すような偏角差拡張済みの第3範囲信号(Erv、θv)が得られる。この偏角差拡張済みの第3範囲信号(Erv、θv)と第1範囲平均値(rm、θm)との偏角差は、Δθよりも大きいEΔθとなっている。
(2−1):Eθv=(θv−θm)・β+θm (ただし、β≧1)
次に、直交座標変換処理により、偏角差拡張済みの第3範囲信号(Erv、θv)を、直交座標に変換する。これにより、偏角差拡張済みの第3範囲のB/G比、G/R比が得られる。次に、下記(2−2)、(2−3)に示すように、偏角差拡張済みの第3範囲のB/G比、G/R比と、偏角差拡張前の第3範囲のB/G比、G/R比との差分処理を行って、第3範囲の色差拡張量Δ**(B/G比)、Δ**(G/R比)を算出する。
Δ**(B/G比)=|偏角差拡張済みの第3範囲のB/G比−偏角差拡張前の第3範囲のB/G比|・・・(2−2)
Δ**(G/R比)=|偏角差拡張済みの第3範囲のG/R比−偏角差拡張前の第3範囲のG/R比|・・・(2−3)
なお、上記第3範囲の偏角差拡張処理は、図7、8に示すように、彩度を維持した状態で、色相方向に偏角差Δθを拡張するものである。この拡張処理による色の変化は、図9に示すように、萎縮性胃炎の進行とともに、深層血管の色が顕在化してくる色の変化に合わせている。この図9では、進行2は進行1よりも萎縮性胃炎の進行が進んでいることを示しており、進行1の場合は、深層血管領域と正常粘膜の領域との差が小さいのに対して、進行2の場合には、彩度はほぼそのままで、色相のみが変化することにより、深層血管領域と正常粘膜の領域との差が大きくなっていることが分かる。
なお、正常粘膜の領域と深層血管領域の色の差を更に強調する場合には、色相方向の拡張(偏角差の拡張)だけでなく、彩度方向の拡張(動径差の拡張)を行ってもよい。また、萎縮が高度に進んでいる場合には、式(2−1)のβの値が大きすぎると、深層血管領域の色がマゼンタ調になるので、この場合には、βの値を小さくすること(コンソール20による操作で調整)で、深層血管領域の色を深層血管の色に合わせることができる。
第4範囲用の色差強調量算出処理は、第1範囲平均値算出処理、極座標変換処理、動径差及び偏角差拡張処理、直交座標変換処理、差分処理からなる。まず、第1範囲平均値算出処理により、第1範囲内のB/G比、G/R比の平均値を算出する。次に、極座標変換処理により、第1範囲内のB/G比、G/R比の平均値を極座標変換することによって、極座標変換済みの第1範囲平均値(rm、θm)を得る。また、第4範囲内のB/G比、G/R比を極座標変換することにより、極座標変換済みの第4範囲信号(rk、θk)を得る。
次に、動径差及び偏角差拡張処理によって、極座標変換済みの第1範囲平均値(rm、θm)と第4範囲信号(rk、θk)との間の動径差Δr、偏角差Δθを拡張する。この動径差及び偏角差拡張処理は、下記式(3−1)、(3−2)により、行われる。これにより、動径差Δr、偏角差Δθが共に拡張された動径差及び偏角差拡張済みの第4範囲信号(Erk、Eθk)が得られる。
(3−1):Erk=(rk−rm)・α+rm (ただし、α≧1)
(3−2):Eθk=(θk−θm)・β+θm (ただし、β≧1)
次に、直交座標変換処理により、動径差及び偏角差拡張済みの第4範囲信号(Erv、θv)を、直交座標に変換する。これにより、動径差及び偏角差拡張済みの第4範囲のB/G比、G/R比が得られる。次に、下記(3−3)、(3−4)に示すように、動径差及び偏角差拡張済みの第4範囲のB/G比、G/R比と、動径差及び偏角差拡張前の第4範囲のB/G比、G/R比との差分処理を行って、第4範囲の色差拡張量Δ***(B/G比)、Δ***(G/R比)を算出する。
Δ***(B/G比)=|動径差及び偏角差拡張済みの第4範囲のB/G比−動径差及び偏角差拡張前の第4範囲のB/G比|・・・(3−3)
Δ***(G/R比)=|動径差及び偏角差拡張済みの第4範囲のG/R比−動径差及び偏角差拡張前の第4範囲のG/R比|・・・(3−4)
第5範囲用の色差強調量算出処理は、第1範囲平均値算出処理、極座標変換処理、動径差及び偏角差拡張処理、直交座標変換処理、差分処理からなる。まず、第1範囲平均値算出処理により、第1範囲内のB/G比、G/R比の平均値を算出する。次に、極座標変換処理により、第1範囲内のB/G比、G/R比の平均値を極座標変換することによって、極座標変換済みの第1範囲平均値(rm、θm)を得る。また、第5範囲内のB/G比、G/R比を極座標変換することにより、極座標変換済みの第5範囲信号(rp、θp)を得る。
次に、動径差及び偏角差拡張処理によって、極座標変換済みの第1範囲平均値(rm、θm)と第5範囲信号(rp、θp)との間の動径差Δr、偏角差Δθを拡張する。この動径差及び偏角差拡張処理は、下記式(4−1)、(4−2)により、行われる。これにより、動径差Δr、偏角差Δθが共に拡張された動径差及び偏角差拡張済みの第5範囲信号(Erp、Eθp)が得られる。
(4−1):Erp=(rp−rm)・α+rm (ただし、α≧1)
(4−2):Eθp=(θp−θm)・β+θm (ただし、β≧1)
次に、直交座標変換処理により、動径差及び偏角差拡張済みの第5範囲信号(Erp、θp)を、直交座標に変換する。これにより、動径差及び偏角差拡張済みの第5範囲のB/G比、G/R比が得られる。次に、下記(4−3)、(4−4)に示すように、動径差及び偏角差拡張済みの第5範囲のB/G比、G/R比と、動径差及び偏角差拡張前の第5範囲のB/G比、G/R比との差分処理を行って、第5範囲の色差拡張量Δ*4(B/G比)、Δ*4(G/R比)を算出する。
Δ*4(B/G比)=|動径差及び偏角差拡張済みの第5範囲のB/G比−動径差及び偏角差拡張前の第5範囲のB/G比|・・・(4−3)
Δ*4(G/R比)=|動径差及び偏角差拡張済みの第5範囲のG/R比−動径差及び偏角差拡張前の第5範囲のG/R比|・・・(4−4)
重み付け加算部73bは、二次元LUT73aを参照して、信号比算出部72で求めたB/G比、G/R比に対応する色差強調量を特定する。また、重み付け加算部73bは、Log変換済みのR画像信号(logR)に基づいて、色差強調量に掛け合わせる強調係数f(R)を算出する。R画像信号は、他の色のB画像信号やG画像信号と比べて、観察対象で吸収されずに反射した光に対応する信号が多く含まれている。したがって、R画像信号から、反射光の光量を把握することができる。
強調係数f(R)は、図10に示すように、Log変換済みのR画像信号が一定範囲内に入っている場合には、「1」に設定される。また、Log変換済みのR画像信号が上限値を上回った場合又は下限値を下回った場合には、強調係数f(R)は「1」よりも小さく設定される。そして、上限値を上回ったLog変換済みのR画像信号が大きくなる程、または、下限値を下回ったLog変換済みのR画像信号が小さくなる程、強調係数は小さく設定される。このように、R画像信号が上限値を上回る高輝度部分や、下限値を下回る低輝度部分の強調係数を小さくして色差強調量を小さくすることで、ハレーションなどの強調を抑制することができる。
重み付け加算部73bは、特定した色差強調量と算出した強調係数に基づいて、B/G比、G/R比に重み付け加算処理を行う。二次元LUT73aで第2範囲のB/G比、G/R比に対応する色差強調量Δ*(B/G比)、Δ*(G/R比)が特定された場合には、下記(4)式による重み付け加算処理が行われる。これにより、色差強調済みの第2範囲のB/G比、G/R比が得られる。
(4):色差強調済みの第2範囲のB/G比、G/R比=
第2範囲のB/G比、G/R比+Δ*(B/G比)、Δ*(G/R比)×f(R)
この色差強調済みの第2範囲のB/G比、G/R比に基づいてモニタ18上で表示を行った場合には、萎縮粘膜領域が正常粘膜の領域と異なる色で明瞭に表されるとともに、萎縮粘膜領域の色は萎縮性胃炎時の粘膜の色とほぼ同等に表された色差強調画像が表示される。これにより、正常粘膜の領域と萎縮部の領域の境界の判別を確実に行うことができる。この動径差拡張処理は、正常粘膜の領域と萎縮粘膜領域との色の差が僅かである場合(例えば、萎縮進行中で、ABC検診でB群やC群に含まれるような場合)に、特に有効的である。
また、二次元LUT73aで第3範囲のB/G比、G/R比に対応する色差強調量Δ**(B/G比)、Δ**(G/R比)が特定された場合には、下記(5)式による重み付け加算処理が行われる。これにより、色差強調済みの第3範囲のB/G比、G/R比が得られる。
(5):色差強調済みの第3範囲のB/G比、G/R比=
第3範囲のB/G比、G/R比+Δ**(B/G比)、Δ**(G/R比)×f(R)
この色差強調済みの第3範囲のB/G比、G/R比に基づいてモニタ18上で表示を行った場合には、深層血管領域が正常粘膜の領域と異なる色で明瞭に表示されるとともに、深層血管の色の顕在化により、深層血管が確実に透見する色差強調画像が表示される。これにより、正常粘膜の領域と深層血管領域の境界の判別を確実に行うことができる。この偏角差拡張処理は、深層血管がそれほど透見していない場合(例えば、萎縮進行中で、ABC検診でB群やC群に含まれるような場合)に、特に有効的である。
また、二次元LUT73aで第4範囲のB/G比、G/R比に対応する色差強調量Δ***(B/G比)、Δ***(G/R比)が特定された場合には、下記(6−1)式による重み付け加算処理が行われる。これにより、色差強調済みの第4範囲のB/G比、G/R比が得られる。
(6−1):色差強調済みの第4範囲のB/G比、G/R比=
第4範囲のB/G比、G/R比+Δ***(B/G比)、Δ***(G/R比)×f(R)
色差強調済みの第4範囲のB/G比、G/R比に基づいてモニタ18上で表示を行った場合には、BAが正常粘膜の領域と異なる色で明瞭に表された色差強調画像が表示される。これにより、正常粘膜の領域とBAの境界の判別を確実に行うことができる。
また、二次元LUT73aで第5範囲のB/G比、G/R比に対応する色差強調量Δ*4(B/G比)、Δ*4(G/R比)が特定された場合には、下記(6−2)式による重み付け加算処理が行われる。これにより、色差強調済みの第5範囲のB/G比、G/R比が得られる。
(6−2):色差強調済みの第5範囲のB/G比、G/R比=
第5範囲のB/G比、G/R比+Δ*4(B/G比)、Δ*4(G/R比)×f(R)
色差強調済みの第5範囲のB/G比、G/R比に基づいてモニタ18上で表示を行った場合には、発赤領域が正常粘膜の領域と異なる色で明瞭に表された色差強調画像が表示される。これにより、正常粘膜の領域と発赤領域の境界の判別を確実に行うことができる。
RGB変換部74は、色差強調部73で得られた色差強調済みのB/G比、G/R比を、色差強調済みのRGB画像信号に再変換する。これにより、RGB画像信号からなる色差強調画像が得られる。構造強調部75は、色差強調前のB/G比、G/R比と、色差強調画像に基づいて、萎縮粘膜領域、深層血管領域、BA、発赤領域の構造強調を行う。この構造強調部75は、図11に示すように、周波数強調部75aと、合成比率設定部75bと、合成部75cとを備えている。
周波数強調部75aは、色彩強調画像のRGB画像信号に対して、複数の周波数フィルタリング(BPF(Band Pass Filtering))を施すことによって、複数の周波数強調画像を得る。周波数強調部75aでは、萎縮粘膜領域を多く含む低周波の第1周波数成分を抽出する萎縮粘膜領域用の周波数フィルタリング、深層血管領域を多く含む中周波の第2周波数成分を抽出する深層血管領域用の周波数フィルタリング、BAを多く含む低周波の第3周波数成分を抽出するBA用の周波数フィルタリング、発赤領域を多く含む低周波の第4周波数成分を抽出する発赤用の周波数フィルタリングが用いられる。
萎縮粘膜領域用の周波数フィルタリングを施すことによって、第1周波数成分強調画像BPF1(RGB)が得られる。深層血管領域用の周波数フィルタリングを施すことによって、第2周波数成分強調画像BPF2(RGB)が得られる。BA用の周波数フィルタリングを施すことによって、第3周波数成分強調画像BPF3(RGB)が得られる。発赤領域用の周波数フィルタリングを施すことによって、第4周波数成分強調画像BPF4(RGB)が得られる。
合成比率設定部75bは、色差強調前のB/G比、G/R比に基づいて、色差強調画像のRGB画像信号に対して第1〜第4周波数成分強調画像BPF1〜4(RGB)を合成する割合を示す合成比率g1(B/G比、G/R比)、g2(B/G比、G/R比)、g3(B/G比、G/R比)、g4(B/G比、G/R比)を画素毎に設定する。図12に示すように、B/G比、G/R比が第2範囲に入っている画素については、合成比率g1(B/G比、G/R比)が「100%」に設定され、その他の合成比率g2、g3、g4(B/G比、G/R比)は「0%」に設定される。
また、B/G比、G/R比が第3範囲に入っている画素については、合成比率g2(B/G比、G/R比)が「100%」に設定され、その他の合成比率g1、g3、g4(B/G比、G/R比)は「0%」に設定される。また、B/G比、G/R比が第4範囲に入っている画素については、合成比率g3(B/G比、G/R比)が「100%」に設定され、その他の合成比率g1、g2、g4(B/G比、G/R比)は「0%」に設定される。また、B/G比、G/R比が第5範囲に入っている画素については、合成比率g4(B/G比、G/R比)が「100%」に設定され、その他の合成比率g1、g2、g3(B/G比、G/R比)は「0%」に設定される。一方、B/G比、G/R比が第2〜5範囲のいずれにも入っていない画素については、合成比率g1〜g4(B/G比、G/R比)は「0%」に設定される。
合成部75cは、下記(7)式に基づいて、合成比率設定部75bで画素毎に設定した合成比率で、色差強調画像のRGB画像信号(色差強調画像(RGB))と第1〜第4周波数成分強調画像BPF1〜4(RGB)を合成する。これにより、RGB画像信号からなる色差及び構造強調画像(色差及び構造強調画像(RGB))が得られる。
(7):色差及び構造強調画像(RGB)=色差強調画像(RGB)
+BPF1(RGB)×Gain1(RGB)×g1(B/G比、G/R比)
+BPF2(RGB)×Gain2(RGB)×g2(B/G比、G/R比)
+BPF3(RGB)×Gain3(RGB)×g3(B/G比、G/R比)
+BPF4(RGB)×Gain4(RGB)×g4(B/G比、G/R比)
なお、(7)式のGain1〜4(RGB)は、第1〜第4周波数成分強調画像のエッジの特性によって予め決められる。例えば、深層血管領域、BAが多く含まれる第2、第3周波数成分強調画像では、それら深層血管領域、BAは、画像の値が「0」よりも下回るダウンエッジとなっているので、Gain2、3(RGB)は負の値に設定することが好ましい。
ここで、B/G比、G/R比が第2範囲内に含まれる画素については、合成比率設定部75bで、合成比率g1(B/G比、G/R比)が「100%」に、合成比率g2、g3、g4(B/G比、G/R比)が「0%」に設定されていることから、色差強調画像のうちB/G比、G/R比が第2範囲内にある画素に対して、第1周波数強調成分が加算される。第2範囲には、萎縮粘膜領域のB/G比、G/R比が多く含まれていることから、第1周波数強調成分の加算により、萎縮粘膜を構造強調することができる。
また、B/G比、G/R比が第3範囲内に含まれる画素については、合成比率設定部75bで、合成比率g2(B/G比、G/R比)が「100%」に、合成比率g1、g3、g4(B/G比、G/R比)が「0%」に設定されていることから、色差強調画像のうちB/G比、G/R比が第3範囲内にある画素に対して、第2周波数強調成分が加算される。第3範囲には、深層血管領域のB/G比、G/R比が多く含まれていることから、第2周波数強調成分の加算により、深層血管領域を構造強調することができる。
また、B/G比、G/R比が第4範囲内に含まれる画素については、合成比率設定部75bで、合成比率g3(B/G比、G/R比)が「100%」に、合成比率g1、g2、g4(B/G比、G/R比)が「0%」に設定されていることから、色差強調画像のうちB/G比、G/R比が第4範囲内にある画素に対して、第3周波数強調成分が加算される。第4範囲には、BAのB/G比、G/R比が多く含まれていることから、第3周波数強調成分の加算により、BAを構造強調することができる。
また、B/G比、G/R比が第5範囲内に含まれる画素については、合成比率設定部75bで、合成比率g4(B/G比、G/R比)が「100%」に、合成比率g1、g2、g3(B/G比、G/R比)が「0%」に設定されていることから、色差強調画像のうちB/G比、G/R比が第5範囲内にある画素に対して、第4周波数強調成分が加算される。第4範囲には、発赤領域のB/G比、G/R比が多く含まれていることから、第4周波数強調成分の加算により、発赤領域を構造強調することができる。
以上のように、B/G比、G/R比に基づいて画素毎に合成比率を設定し、その画素毎に設定した合成比率で色差強調画像に周波数成分強調画像を合成することで、萎縮粘膜領域、深層血管領域、BA、発赤を選択的に強調することが可能となる。例えば、B/G比、G/R比に関係なく、第1又は第3周波数成分強調画像を色差強調画像の全画素に加算した場合、第1又は第3周波数成分画像は低周波成分を強調した画像であるため、萎縮粘膜とBAのいずれも強調されることになる。そこで、本発明のように、色差強調画像のうちB/G比、G/R比が第2範囲にある画素にのみ、第1周波数成分強調画像を加算することで、BAを強調せずに、萎縮粘膜領域のみを強調することが可能となる。これに対して、色差強調画像のうちB/G比、G/R比が第4範囲にある画素にのみ、第3周波数成分強調画像を加算することで、BAを強調せずに、萎縮粘膜領域のみを強調することが可能となる。
逆Log変換部76は、色差及び構造強調画像のRGB画像信号に対して、逆Log変換を施す。これにより、真数の画素値を有する色差及び構造強調画像のRGB画像信号が得られる。ガンマ変換部77は、真数の画素値を有する色差及び構造強調画像のRGB画像信号に対してガンマ変換を施す。これにより、モニタ18などの出力デバイスに適した階調を有する色差及び構造強調画像のRGB画像信号が得られる。この色差及び構造強調画像は、特殊画像として、映像信号生成部66に送られる。
次に、本実施形態における一連の流れを図13のフローチャートに沿って説明する。まず、通常観察モードにセットし、内視鏡12の挿入部21を検体内に挿入する。挿入部21の先端部24が胃に到達したら、萎縮性胃炎が起こっているかどうかを診断する。ここで、通常画像から、粘膜が退色調になっており、または、樹枝状の深層血管が透見している部位と透見していな部位の境界(内視鏡的腺境界と呼ぶ)を読み取ることができた場合には、ドクターは、萎縮性胃炎により胃癌などの病変が発生している病的所見と判断する(木村・竹本分類による判断手法)。なお、このような胃癌は、ピロリ菌の感染による胃粘膜の萎縮により発生することも分かっている。
一方、通常画像からは、退色調の粘膜、または、内視鏡的腺境界の存在を読み取ることができなかった場合には、更に確実に診断を行うために、モード切替SW22bを操作して、特殊観察モードに切り替える。この特殊観察モードの切り替えにより、青色レーザ光及び青紫色レーザ光の両方を含む特殊光が発光される。この特殊光発光時に得られるRGB画像信号から、B/G比、G/R比を算出する。
次に、二次元LUT73aを参照して、算出したB/G比、G/R比に対応する色差強調量を求める。また、R画像信号から強調係数f(R)を求める。そして、B/G比、G/R比に対して、強調係数f(R)を掛け合わせた色差強調量を加算することによって、色差強調済みのB/G比、G/R比を得る。
次に、色差強調済みのB/G比、G/R比をRGB画像信号に変換する。このRGB画像信号に複数の周波数フィルタリングを施すことによって、第1〜第4周波数成分強調画像を得る。また、B/G比、G/R比から合成比率g1〜g4(B/G比、G/R比)を画素毎に求める。そして、予め定めたGain1〜4(RGB)及び合成比率g1〜g4(B/G比、G/R比)を掛け合わせた第1〜第4周波数成分強調画像を、色差強調済みのRGB画像信号に加算することによって、色差及び構造強調済みのRGB画像信号を得る。この色差及び構造強調済みのRGB画像信号に基づいて、モニタ18に特殊画像が表示される。
特殊画像上では、胃の萎縮が全く無い場合には、粘膜は通常通りの色で表示される。この場合には、ドクターは、萎縮性胃炎による胃癌などの病変部の発生は無い正常所見と判断する。これに対して、胃の萎縮が僅かでも進んでいる場合には、萎縮粘膜の色は退色調で表示され、また、深層血管が透見して表示されているとともに、萎縮粘膜や深層血管が構造強調されている。これにより、内視鏡的腺境界を明瞭に表示することができる。したがって、実際の胃の中は、萎縮粘膜の色はさほど退色調で表示されておらず、また、深層血管がそれほど透見していない場合であっても、ドクターは、萎縮性胃炎により胃癌などの病変が発生している病的所見と判断することができるようになる。
なお、上記実施形態では、正常部と異常部との色差を強調した色差強調画像に対して構造強調処理を行って、色差及び構造強調画像を生成したが、これに限らず、色差強調を行うことなく、直接構造強調処理を行って、構造強調画像を生成してもよい。この場合には図2の特殊画像処理部64に代えて、図14に示す特殊画像処理部100が用いられる。この特殊画像処理部100には、特殊画像処理部64のように、色差強調部73、RGB変換部74が設けられていない。また、特殊画像処理部100には、Log変換部71と構造強調部75との間に、ベース画像作成部101が設けられている。
特殊画像処理部100では、Log変換部71でLog変換されたRGB画像信号に基づいて、ベース画像作成部101で、ベース画像を作成する。このベース画像は構造強調部75に送られる。また、Log変換されたRGB画像信号は、信号比算出部72に送られる。信号比算出部72は、RGB画像信号に基づいてB/G比、G/R比を算出し、算出したB/G比、G/R比を構造強調部75に送る。構造強調部75では、ベース画像のRGB画像信号とB/G比、G/R比とに基づいて、萎縮粘膜領域、深層血管領域、BAを選択的に構造強調した構造強調画像を生成する。
上記実施形態では、B/G比、G/R比を極座標変換するとともに、極座標変換済みの第1範囲平均値と第2〜第5範囲内の信号値との動径差又は偏角差を拡張することにより、正常部と異常部の色の差を強調したが、これに限らず、その他の座標変換方法と色差強調方法を用いて、正常部と異常部の色の差を強調してもよい。なお、上記実施形態のような、極座標上で動径差又は偏角差を拡張する色差強調方法を用いて得られる色差強調画像は、正常部の色をあまり変化させずに異常部の色だけを変化させることが可能であるため、違和感を生じさせない。また、色差強調画像上における萎縮粘膜領域及び深層血管領域の色は、萎縮性胃炎時が生じた時の粘膜の色や血管透見したときの色と同じであるため、萎縮性胃炎診断(例えばABC検診)と同様の方法で、診断を行うことができる。
なお、上記実施形態では、正常部と異常部の色差強調に、第1範囲平均値を用いたが、これに代えて、画像信号全体の画素値平均値を用いてもよい。この場合には、画像毎に萎縮粘膜や深層血管の色が変動するおそれがあるものの、画像上の各領域の分布に合わせて正常部と異常部の色の僅かな差を拡張できるというメリットがある。
なお、上記第1実施形態では、蛍光体44を内視鏡12の先端部24に設けたが、これに代えて、蛍光体44を光源装置14内に設けてもよい。この場合には、ライトガイド41と青色レーザ光源34との間に、蛍光体44を設けることが好ましい。
[第2実施形態]
上記第1実施形態では、カラーのセンサでRGB画像信号を同時に取得したが、第2実施形態では、モノクロのセンサでRGB画像信号を順次取得する。図15に示すように、第2実施形態の内視鏡システム200の光源装置14には、青色レーザ光源34、青紫色レーザ光源36、光源制御部40の代わりに、広帯域光源202、回転フィルタ204、フィルタ切替部205が設けられている。また、内視鏡12の照明光学系24aには、蛍光体44が設けられていない。また、撮像光学系24bには、カラーのセンサ48の代わりに、カラーフィルタが設けられていないモノクロのセンサ206が設けられている。それ以外については、第1実施形態の内視鏡システム10と同様である。
広帯域光源202はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、内側に設けられた通常観察モード用フィルタ208と、外側に設けられた特殊観察モード用フィルタ209とを備えている(図16参照)。フィルタ切替部205は、回転フィルタ204を径方向に移動させるものであり、モード切替SW22bにより通常観察モードにセットされたときに、回転フィルタ204の通常観察モード用フィルタ208を白色光の光路に挿入し、特殊観察モードにセットされたときに、回転フィルタ204の特殊観察モード用フィルタ209を白色光の光路に挿入する。
図16に示すように、通常観察モード用フィルタ208には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ208a、白色光のうち緑色光を透過させるGフィルタ208b、白色光のうち赤色光を透過させるRフィルタ208cが設けられている。したがって、通常観察モード時には、回転フィルタ204が回転することで、青色光、緑色光、赤色光が交互に検体内に照射される。
特殊観察モード用フィルタ209には、周方向に沿って、白色光のうち中心波長415nmの青色狭帯域光を透過させるBnフィルタ209aと、白色光のうち緑色光を透過させるGフィルタ209b、白色光のうち赤色光を透過させるRフィルタ209cが設けられている。したがって、特殊観察モード時には、回転フィルタ204が回転することで、青色狭帯域光、緑色光、赤色光が交互に検体内に照射される。
内視鏡システム200では、通常観察モード時には、青色光、緑色光、赤色光が検体内に照射される毎にモノクロのセンサ206で検体内を撮像する。これにより、RGBの3色の画像信号が得られる。そして、それらRGBの画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
一方、特殊観察モード時には、青色狭帯域光、緑色光、赤色光が検体内に照射される毎にモノクロのセンサ206で検体内を撮像する。これにより、Bn画像信号と、G画像信号、R画像信号が得られる。これらBn画像信号と、G画像信号、R画像信号に基づいて、特殊画像の生成が行われる。特殊画像の生成には、B画像信号の代わりに、Bn画像信号が用いられる。それ以外については、第1実施形態と同様の方法で特殊画像の生成が行われる。
[第3実施形態]
第1実施形態の内視鏡システム10では、特殊画像の作成に、青色レーザ光及び青紫色レーザ光の狭帯域波長情報が含まれる狭帯域信号であるB画像信号を用い、第2実施形態の内視鏡システム200では、特殊画像の作成に、青色狭帯域光の狭帯域波長情報が含まれる狭帯域信号であるBn画像信号を用いたが、第3実施形態では、白色画像などの広帯域画像に基づく分光演算により青色狭帯域画像信号を生成し、この青色狭帯域画像信号を用いて特殊画像を生成する。
この第3実施形態では、同時式の内視鏡システム10の特殊観察モード時において、特殊光の代わりに、広帯域光である白色光を照明する。そして、図17に示すように、画像処理切替部60と特殊画像処理部64との間に設けた分光演算部300において、白色光の発光・撮像により得られるRGB画像信号に基づく分光演算処理を行う。これにより、波長帯域400〜420nmの分光画像である青色狭帯域画像信号が生成される。分光演算の方法は、特開2003-093336号公報に記載の方法を用いる。この分光演算部300で生成された青色狭帯域画像信号と、G画像信号、R画像信号に基づいて、上記第1実施形態と同様の手順で、特殊画像を生成する。なお、白色光としては、蛍光体44により得られる白色光の他、キセノンランプなどの広帯域光源から発せられる広帯域光を用いてもよい。
なお、上記実施形態では、萎縮性胃炎により、粘膜が退色調になる例と萎縮粘膜下の深層血管が透見する例とを示したが、その他の部位の病変(例えば、食道の病変や大腸の病変など)によって、粘膜が退色調になる場合も存在する。本発明は、このような萎縮粘膜以外の退色調粘膜に対しても、正常部との色差を強調することが可能である。また、本発明は、萎縮粘膜以外の退色調粘膜下の深層血管の透見についても、強調表示することが可能である。
なお、上記実施形態では、複数の色情報として、B/G比、G/R比を用いているが、これに代えて、色差信号Cr、色差信号Cbを用いてもよい。この場合には、色差信号Cr、Cbから形成される特徴空間であるCrCb空間を用いて、正常部と異常部の色差強調、又は異常部の構造強調が行われる。また、複数の色情報として、色相Hと彩度Sを用いてもよい。この場合には、色相Hと彩度Sから形成される特徴空間であるHS空間を用いて、正常部と異常部の色差強調、又は異常部の構造強調が行われる。また、複数の色情報として、CIE Lab空間の色味の要素a*、b*を用いてもよい。この場合には、要素a*、b*から形成される特徴空間であるab空間を用いて、正常部と異常部の色差強調、又は異常部の構造強調が行われる。
なお、上記実施形態では、本発明の実施を内視鏡の診断中に行ったが、これに限らず、内視鏡診断後、内視鏡システムの記録部に記録しておいた内視鏡画像に基づいて、本発明の実施を行ってもよく、また、カプセル内視鏡で取得したカプセル内視鏡画像に基づいて、本発明の実施を行ってもよい。
16 プロセッサ装置(画像処理装置)
48、206 センサ
72 信号比算出部
73 色差強調部
75a 周波数強調部
75b 合成比率設定部
75c 合成部
101 ベース画像作成部

Claims (7)

  1. 3色の画像信号を入力する画像信号入力部と、
    前記3色の画像信号のうち2色の画像信号間の第1信号比と、前記第1信号比と異なる2色の画像信号間の第2信号比を算出する信号比算出部と、
    前記第1信号比及び第2信号比で形成される特徴空間において、第1範囲と前記第1範囲と異なる特定の範囲との差を拡張する拡張処理として、前記第1範囲と前記特定の範囲との差を色相方向又は彩度方向に拡張することを行って、前記第1範囲と前記特定の範囲との色差を強調した色差強調画像を生成する色差強調部と、
    前記色差強調画像に基づいて、特定の範囲に対応する周波数成分を強調した周波数成分強調画像を生成する周波数強調部と、
    前記第1信号比及び第2信号比に基づいて、前記色差強調画像に対して前記周波数成分強調画像を合成する割合を示す合成比率を設定する合成比率設定部と、
    前記合成比率設定部で設定された合成比率で前記色差強調画像に前記周波数成分強調画像を合成して、前記特定の範囲を構造強調した構造強調画像を生成する合成部とを備えることを特徴とする画像処理装置。
  2. 前記合成比率設定部は、
    前記第1信号比及び第2信号比が、前記特定の範囲と異なる第1範囲に含まれる画素については、前記合成比率を「0%」に設定し、前記第1信号比及び第2信号比が前記特定の範囲に含まれる画素については、前記合成比率を「100%」に設定することを特徴とする請求項1記載の画像処理装置。
  3. 前記第1信号比はB画像信号とG画像信号間のB/G比であり、前記第2信号比はG画像信号とR画像信号間のG/R比であることを特徴とする請求項1または2記載の画像処理装置。
  4. カラー画像信号を入力する画像信号入力部と、
    前記カラー画像信号から複数の色情報を取得する色情報取得部と、
    前記複数の色情報で形成される特徴空間において、第1範囲と前記第1範囲と異なる特定の範囲との差を拡張する拡張処理として、前記第1範囲と前記特定の範囲との差を色相方向又は彩度方向に拡張することを行って、前記第1範囲と前記特定の範囲との色差を強調した色差強調画像を生成する色差強調部と、
    前記色差強調画像に基づいて、前記特定の範囲に対応する周波数成分を強調した周波数成分強調画像を生成する周波数強調部と、
    前記複数の色情報に基づいて、前記色差強調画像に対して前記周波数成分強調画像を合成する割合を示す合成比率を設定する合成比率設定部と、
    前記合成比率設定部で設定された合成比率で前記色差強調画像に前記周波数成分強調画像を合成して、前記色差を強調するとともに前記特定の範囲を構造強調した色差及び構造強調画像を生成する合成部とを備えることを特徴とする画像処理装置。
  5. 前記合成比率設定部は、
    前記複数の色情報が前記第1範囲に含まれる画素については、前記合成比率を「0%」に設定し、前記複数の色情報が前記特定の範囲に含まれる画素については、前記合成比率を「100%」に設定することを特徴とする請求項記載の画像処理装置。
  6. 画像信号入力部が3色の画像信号を入力するステップと、
    信号比算出部が、前記3色の画像信号のうち2色の画像信号間の第1信号比と、前記第1信号比と異なる2色の画像信号間の第2信号比を算出するステップと、
    色差強調部が、前記第1信号比及び第2信号比で形成される特徴空間において、第1範囲と前記第1範囲と異なる特定の範囲との差を拡張する拡張処理として、前記第1範囲と前記特定の範囲との差を色相方向又は彩度方向に拡張することを行って、前記第1範囲と前記特定の範囲との色差を強調した色差強調画像を生成するステップと、
    周波数強調部が、前記色差強調画像に基づいて、特定の範囲に対応する周波数成分を強調した周波数成分強調画像を生成するステップと、
    合成比率設定部が、前記第1信号比及び第2信号比に基づいて、前記色差強調画像に対して前記周波数成分強調画像を合成する割合を示す合成比率を設定するステップと、
    合成部が、前記合成比率設定部で設定された合成比率で前記色差強調画像に前記周波数成分強調画像を合成して、前記特定の範囲を構造強調した構造強調画像を生成するステップを有することを特徴とする画像処理装置の作動方法。
  7. 画像信号入力部がカラー画像信号を入力するステップと、
    色情報取得部が、前記カラー画像信号から複数の色情報を取得するステップと、
    色差強調部が、前記複数の色情報で形成される特徴空間において、第1範囲と前記第1範囲と異なる特定の範囲との差を拡張する拡張処理として、色相方向又は彩度方向の拡張を行って、前記第1範囲と前記特定の範囲との色差を強調した色差強調画像を生成するステップと、
    周波数強調部が、前記色差強調画像に基づいて、前記特定の範囲に対応する周波数成分を強調した周波数成分強調画像を生成するステップと、
    合成比率設定部が、前記複数の色情報に基づいて、前記色差強調画像に対して前記周波数成分強調画像を合成する割合を示す合成比率を設定するステップと、
    合成部が、前記合成比率設定部で設定された合成比率で、前記色差強調画像に前記周波数成分強調画像を合成して、前記色差を強調するとともに前記特定の範囲を構造強調した色差及び構造強調画像を生成するステップを有することを特徴とする画像処理装置の作動方法。
JP2017102318A 2013-10-28 2017-05-24 画像処理装置及びその作動方法 Expired - Fee Related JP6427625B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013222964 2013-10-28
JP2013222964 2013-10-28

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015544939A Division JP6151372B2 (ja) 2013-10-28 2014-10-22 画像処理装置及びその作動方法

Publications (2)

Publication Number Publication Date
JP2017176856A JP2017176856A (ja) 2017-10-05
JP6427625B2 true JP6427625B2 (ja) 2018-11-21

Family

ID=53004043

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015544939A Active JP6151372B2 (ja) 2013-10-28 2014-10-22 画像処理装置及びその作動方法
JP2017102318A Expired - Fee Related JP6427625B2 (ja) 2013-10-28 2017-05-24 画像処理装置及びその作動方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015544939A Active JP6151372B2 (ja) 2013-10-28 2014-10-22 画像処理装置及びその作動方法

Country Status (5)

Country Link
US (1) US9582878B2 (ja)
EP (1) EP3072439B1 (ja)
JP (2) JP6151372B2 (ja)
CN (2) CN108109134B (ja)
WO (1) WO2015064435A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3127467B1 (en) 2014-03-31 2018-03-28 Fujifilm Corporation Medical image processing device, operation method thereof, and endoscope system
USD841159S1 (en) * 2015-06-12 2019-02-19 Fujifilm Corporation Operating grip for endoscope
JP6461739B2 (ja) * 2015-07-28 2019-01-30 富士フイルム株式会社 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
CN106687023B (zh) * 2015-08-13 2018-12-18 Hoya株式会社 评价值计算装置以及电子内窥镜系统
CN107072509B (zh) * 2015-09-30 2019-03-19 Hoya株式会社 内窥镜系统以及评价值计算装置
JP6669539B2 (ja) * 2016-03-11 2020-03-18 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP6495539B2 (ja) * 2016-03-29 2019-04-03 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
SG11201809183XA (en) * 2016-04-13 2018-11-29 Inspektor Res Systems B V Bi-frequency dental examination
US10874303B2 (en) * 2016-05-17 2020-12-29 Rebound Therapeutics Corporation Methods and devices for color detection to localize the blood mass of an intracerebral hematoma
TWI616180B (zh) * 2016-06-29 2018-03-01 國立成功大學 上消化道出血偵測裝置及方法
JP6433634B2 (ja) * 2016-08-31 2018-12-05 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6392486B1 (ja) * 2017-02-01 2018-09-19 オリンパス株式会社 内視鏡システム
EP3586718B1 (en) * 2017-02-24 2023-08-30 FUJIFILM Corporation Endoscope system and processor device
WO2018163644A1 (ja) * 2017-03-07 2018-09-13 ソニー株式会社 情報処理装置、支援システム及び情報処理方法
CN110381806B (zh) * 2017-03-31 2021-12-10 Hoya株式会社 电子内窥镜系统
CN110868908B (zh) * 2017-06-15 2022-04-08 富士胶片株式会社 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法
JP6909856B2 (ja) * 2017-08-23 2021-07-28 富士フイルム株式会社 内視鏡システム
EP3620098B1 (en) * 2018-09-07 2021-11-03 Ambu A/S Enhancing the visibility of blood vessels in colour images
WO2021060158A1 (ja) * 2019-09-24 2021-04-01 富士フイルム株式会社 内視鏡システム及びその作動方法
US11109741B1 (en) 2020-02-21 2021-09-07 Ambu A/S Video processing apparatus
US11166622B2 (en) 2020-02-21 2021-11-09 Ambu A/S Video processing apparatus
US10980397B1 (en) * 2020-02-21 2021-04-20 Ambu A/S Video processing device
US10835106B1 (en) 2020-02-21 2020-11-17 Ambu A/S Portable monitor
JP6855610B2 (ja) * 2020-02-27 2021-04-07 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
CN111345831B (zh) * 2020-03-06 2023-02-28 重庆金山医疗技术研究院有限公司 一种消化道生理数据显示方法及系统
US11328390B2 (en) 2020-05-13 2022-05-10 Ambu A/S Method for adaptive denoising and sharpening and visualization systems implementing the method
CN113344860B (zh) * 2021-05-17 2022-04-29 武汉大学 胃黏膜染色放大图像微结构的异常程度量化方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63173182A (ja) * 1987-01-13 1988-07-16 Olympus Optical Co Ltd 色彩画像処理方式
JP3228627B2 (ja) * 1993-03-19 2001-11-12 オリンパス光学工業株式会社 内視鏡用画像処理装置
US5550582A (en) * 1993-03-19 1996-08-27 Olympus Optical Co., Ltd. Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution
JPH08262692A (ja) * 1995-03-23 1996-10-11 Dainippon Screen Mfg Co Ltd 色分解方法および装置
US7328059B2 (en) * 1996-08-23 2008-02-05 The Texas A & M University System Imaging of light scattering tissues with fluorescent contrast agents
US6422994B1 (en) * 1997-09-24 2002-07-23 Olympus Optical Co., Ltd. Fluorescent diagnostic system and method providing color discrimination enhancement
JP4370008B2 (ja) * 1998-11-17 2009-11-25 オリンパス株式会社 内視鏡画像処理装置
JP2003093336A (ja) 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
US7340079B2 (en) * 2002-09-13 2008-03-04 Sony Corporation Image recognition apparatus, image recognition processing method, and image recognition program
JP4554647B2 (ja) * 2003-04-25 2010-09-29 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP4388318B2 (ja) * 2003-06-27 2009-12-24 オリンパス株式会社 画像処理装置
JP2007060457A (ja) * 2005-08-26 2007-03-08 Hitachi Ltd 画像信号処理装置および画像信号処理方法
JP5057675B2 (ja) * 2006-03-03 2012-10-24 オリンパスメディカルシステムズ株式会社 生体観察装置
JP4855868B2 (ja) * 2006-08-24 2012-01-18 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
CN100565582C (zh) * 2006-12-31 2009-12-02 四川大学华西医院 一种筛选食管微小病变的图像处理方法
JP5100596B2 (ja) * 2008-10-03 2012-12-19 キヤノン株式会社 情報処理装置及び情報処理方法
JP5305850B2 (ja) * 2008-11-14 2013-10-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5371920B2 (ja) 2010-09-29 2013-12-18 富士フイルム株式会社 内視鏡装置
JP5335017B2 (ja) * 2011-02-24 2013-11-06 富士フイルム株式会社 内視鏡装置
JP5451802B2 (ja) * 2011-04-01 2014-03-26 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの校正方法
JP5667917B2 (ja) * 2011-04-01 2015-02-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP6034197B2 (ja) * 2011-08-25 2016-11-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 画像処理装置、3次元撮像装置、画像処理方法、および画像処理プログラム
JP5980555B2 (ja) * 2012-04-23 2016-08-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム

Also Published As

Publication number Publication date
EP3072439A1 (en) 2016-09-28
EP3072439B1 (en) 2018-09-05
CN105705075B (zh) 2018-02-02
JPWO2015064435A1 (ja) 2017-03-09
WO2015064435A1 (ja) 2015-05-07
JP2017176856A (ja) 2017-10-05
CN108109134B (zh) 2021-12-03
CN108109134A (zh) 2018-06-01
CN105705075A (zh) 2016-06-22
US9582878B2 (en) 2017-02-28
JP6151372B2 (ja) 2017-06-21
US20160239965A1 (en) 2016-08-18
EP3072439A4 (en) 2017-07-05

Similar Documents

Publication Publication Date Title
JP6427625B2 (ja) 画像処理装置及びその作動方法
US10779714B2 (en) Image processing apparatus, method for operating image processing apparatus, and image processing program
JP5647752B1 (ja) 画像処理装置及び内視鏡システムの作動方法
US9629555B2 (en) Endoscope system, endoscope system processor device, operation method for endoscope system, and operation method for endoscope system processor device
JP5662623B1 (ja) 画像処理装置及び内視鏡システムの作動方法
JP5789280B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
US10003774B2 (en) Image processing device and method for operating endoscope system
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
JP6669539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP6855610B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181029

R150 Certificate of patent or registration of utility model

Ref document number: 6427625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees