JP6626783B2 - 画像処理装置および電子内視鏡システム - Google Patents
画像処理装置および電子内視鏡システム Download PDFInfo
- Publication number
- JP6626783B2 JP6626783B2 JP2016110888A JP2016110888A JP6626783B2 JP 6626783 B2 JP6626783 B2 JP 6626783B2 JP 2016110888 A JP2016110888 A JP 2016110888A JP 2016110888 A JP2016110888 A JP 2016110888A JP 6626783 B2 JP6626783 B2 JP 6626783B2
- Authority
- JP
- Japan
- Prior art keywords
- observation image
- component
- normal
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 239000010410 layer Substances 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 239000002344 surface layer Substances 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 239000000835 fiber Substances 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003822 epoxy resin Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920000647 polyepoxide Polymers 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0669—Endoscope light sources at proximal end of an endoscope
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
本発明は、画像処理装置および電子内視鏡システムに関する。
特許文献１、２には、通常光により撮像した通常観察画像および通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像を取得して、これらを一画面に並べて表示する電子内視鏡システムが開示されている。
しかしながら、狭帯域観察画像は、病変部や検査対象部等の特徴部分を際立たせるために、通常観察画像と比較して色味等が大きく異なった不自然な見え方になることが避けられない。また、通常観察画像と狭帯域観察画像が画面上で二分割されるため、各画像のサイズが小さくなって視認性が低下してしまう。
本発明は、以上の問題意識に基づいてなされたものであり、病変部や検査対象部等の特徴部分を際立たせながら全体として自然で視認性に優れた観察画像を得ることができる画像処理装置および電子内視鏡システムを提供することを目的の１つとする。
本発明の一態様の画像処理装置は、通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像が入力する観察画像入力部と、前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、を有し、前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＢ成分を減算した表層特徴成分を前記特徴部分として抽出し、前記強調表示部は、前記通常観察画像のＧ成分とＢ成分から前記表層特徴成分を減算する、ことを特徴としている。
本発明の一態様の電子内視鏡システムは、通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像を取得する電子内視鏡と、前記通常観察画像および前記狭帯域観察画像に画像処理を施す画像処理装置と、を有する電子内視鏡システムであって、前記画像処理装置は、前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、を有し、前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＢ成分を減算した表層特徴成分を前記特徴部分として抽出し、前記強調表示部は、前記通常観察画像のＧ成分とＢ成分から前記表層特徴成分を減算する、ことを特徴としている。
前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＧ成分を減算したものから前記表層特徴成分をさらに減算した深層特徴成分を前記特徴部分として抽出し、前記強調表示部は、前記通常観察画像のＲ成分から前記深層特徴成分を減算することができる。
本明細書において、強調表示部が単一画像を強調表示する態様は、通常観察画像のうち狭帯域観察画像に含まれる特徴部分に対応する部分に特徴部分を合成する態様、及び、通常観察画像のうち狭帯域観察画像に含まれる特徴部分に対応する部分を特徴部分で置換する態様を含むものとする。すなわち「強調」は「合成」と「置換」を含む概念で使用している。
本発明によれば、病変部や検査対象部等の特徴部分を際立たせながら全体として自然で視認性に優れた観察画像を得ることができる画像処理装置および電子内視鏡システムを提供することができる。
図１〜図５を参照して、本実施形態による電子内視鏡システム１について説明する。電子内視鏡システム１は、電子内視鏡１０と、プロセッサ（画像処理装置、光源装置）２０と、モニタ３０とを有する。
図１では詳細形状を省略しているが、電子内視鏡１０は、操作者が把持する把持操作部と、把持操作部から延出する可撓性のある挿入部と、把持操作部から挿入部と反対側に延出するユニバーサルチューブと、ユニバーサルチューブの先端部に設けられたコネクタ部とを有する。
電子内視鏡１０には、ライトガイドファイバ１１が内蔵されている。ライトガイドファイバ１１は、電子内視鏡１０の挿入部と把持操作部とユニバーサルチューブを通ってコネクタ部の内部まで延びている。電子内視鏡１０のコネクタ部がプロセッサ２０のコネクタ部に接続されると、電子内視鏡１０とプロセッサ２０が光学的に接続される。そして、プロセッサ２０に内蔵されたフィルタ付光源部２１から発せられた照明光（後述する通常光または狭帯域光）が、ライトガイドファイバ１１の内部を導かれ、電子内視鏡１０の挿入部の先端部に設けられた照明レンズ１２によって所定の配光で外方に出射される。
フィルタ付光源部２１は、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の各波長帯域を含む白色光を放射する高輝度ランプ（例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等）を有する。またフィルタ付光源部２１は、高輝度ランプが発した白色光の光路上に位置するフィルタユニットを有する。フィルタユニットは、回転式フィルタターレットに、高輝度ランプが発した白色光を通過させて通常光とする白色用フィルタと、高輝度ランプが発した白色光の波長帯域を狭めて狭帯域光とする狭帯域フィルタとを設けたものである。狭帯域フィルタは、ＲＧＢの各波長帯域に半値幅の狭い分光透過率を有する。フィルタユニットの回転式フィルタターレットを回転駆動することで、高輝度ランプが発した白色光が白色用フィルタと狭帯域フィルタを交互に通過して、フィルタ付光源部２１から、通常光と、この通常光より狭帯域の狭帯域光とが交互に発せられる。狭帯域光の波長帯域は、通常光の波長帯域よりも狭い限りにおいて自由度を持って設定可能であるが、例えば、ヘモグロビンの分光特性に合わせた波長帯域とすることができる。フィルタ付光源部２１は、例えば、上述した特許文献２に開示されているように周知であり、これ以上の詳細な説明は省略する。
電子内視鏡１０の挿入部の先端部には、撮像ユニット１３が設けられている。撮像ユニット１３は、対物レンズ１３ａと、対物レンズ１３ａを透過した被写体像を撮像するＣＣＤ１３ｂとを含む複数の構成要素をエポキシ樹脂等の樹脂材料により一体化したものである。ＣＣＤ１３ｂは、フィルタ付光源部２１からライトガイドファイバ１１及び照明レンズ１２を通って交互に出射される通常光と狭帯域光による通常観察画像信号と狭帯域観察画像信号を交互に取得する。この通常観察画像信号と狭帯域観察画像信号は、信号伝送ケーブル１４を介してプロセッサ２０に伝送される。
プロセッサ２０は、制御部２２と、観察画像入力部（画像入力処理部）２３と、画像処理部（演算部）２４と、画像メモリ２５と、表示処理部２６とを有する。制御部２２は、プロセッサ２０の全構成要素を統括して制御する。
観察画像入力部２３は、電子内視鏡１０の信号伝送ケーブル１４を介して伝送された通常観察画像信号と狭帯域観察画像信号に入力処理を施して、通常観察画像と狭帯域観察画像として入力させる。
画像処理部２４は、観察画像入力部２３に入力した通常観察画像と狭帯域観察画像に画像処理を施すものである。画像処理部２４は、特徴部分抽出部（画像特徴計算部）２４ａと強調表示部（表示結果作成部）２４ｂを有している。
特徴部分抽出部２４ａは、観察画像入力部２３に入力した狭帯域観察画像に含まれる特徴部分を抽出する。より具体的に、特徴部分抽出部２４ａは、観察画像入力部２３に入力した通常観察画像のＲ成分から狭帯域観察画像のＢ成分を減算した表層特徴成分を、狭帯域観察画像の特徴部分として抽出する。さらに、特徴部分抽出部２４ａは、観察画像入力部２３に入力した通常観察画像のＲ成分から狭帯域観察画像のＧ成分を減算したものから上記の表層特徴成分をさらに減算した深層特徴成分を、狭帯域観察画像の特徴部分として抽出する。
強調表示部２４ｂは、観察画像入力部２３に入力した通常観察画像のうち、特徴部分抽出部２４ａが抽出した狭帯域観察画像の特徴部分に対応する部分に当該特徴部分を合成することで、当該特徴部分を強調表示した単一の合成観察画像（単一画像）を生成する。より具体的に、強調表示部２４ｂは、観察画像入力部２３に入力した通常観察画像のＧ成分とＢ成分から、特徴部分抽出部２４ａが抽出した表層特徴成分を減算するとともに、観察画像入力部２３に入力した通常観察画像のＲ成分から、特徴部分抽出部２４ａが抽出した深層特徴成分を減算する。
図２は、狭帯域観察画像における被写体組織の表層と深層にある特徴部分としての血管を示す図である。図３Ａ、図３Ｂは、通常光と狭帯域光での表層情報と深層情報に対応するＲＧＢ成分波長を示す図である。内視鏡の観察画像では、Ｒ成分が支配的であって最も特徴量に乏しい色成分であり、Ｇ成分とＢ成分が特徴量を強調して示すのに適した色成分であると言える。狭帯域観察画像は、Ｂ成分に組織表層の情報を多く含み、Ｇ成分に組織深層の情報を多く含んでいる。このため、組織表層の血管はＢ成分の波長光に良く反応（吸収）して強調されやすく、組織深層の血管はＧ成分の波長光に良く反応（吸収）して強調されやすい。これにより、上述した表層特徴成分と深層特徴成分を使い分けることで、表層組織と深層組織の血管を異なる見え方で強調することが可能になる。
図４は、表層特徴成分と深層特徴成分の演算手法を示す図である。同図では、通常観察画像のＲ成分から狭帯域観察画像のＢ成分を減算し、そこから所定の閾値以下の色成分を除外して表層特徴成分としている。また、通常観察画像のＲ成分から狭帯域観察画像のＧ成分を減算し、そこから所定の閾値以下の色成分を除外して表層特徴成分と深層特徴成分を加算したものとし、そこから上記の表層特徴成分を減算して深層特徴成分としている。このようにして、狭帯域観察画像の表層特徴成分と深層特徴成分のみを抽出する。例えば、特徴量に乏しい通常観察画像のＲ成分からは、全体の色味等に影響し難い深層特徴成分を減算し、Ｇ成分とＢ成分には元々持っている表層特徴成分をさらに減算して際立たせることで、通常観察画像としての色味やコントラストを変えることなく、特徴部分の色味やコントラストだけを変更して強調することが可能になる。なお、所定の閾値は、固定値としてもよいし、例えばＲＧＢの各成分の平均値などに基づいて動的に算出及び設定してもよい。また、所定の閾値以下の色成分を除外する処理自体を省略する（閾値をゼロにする）ことも可能である。
画像メモリ２５は、画像処理部２４によって狭帯域観察画像の特徴部分が強調表示された合成観察画像（単一画像）を記憶する。表示処理部２６は、画像メモリ２５に記憶された合成観察画像（単一画像）をモニタ３０に表示させる。
図５のフローチャートを参照して、本実施形態の電子内視鏡システム１及びプロセッサ２０による画像処理について説明する。
ステップＳ１では、画像処理部２４が、現フレームの観察画像を取得する。
ステップＳ２では、画像処理部２４が、ステップＳ１で取得した現フレームの観察画像が通常観察画像であるか狭帯域観察画像であるかを判別する。この判別処理は、例えば、フィルタ付光源部２１のフィルタユニット（回転式フィルタターレット）の回転位相を検知することにより実行される。
ステップＳ３では、画像処理部２４が、ステップＳ１で取得した現フレームの観察画像の前フレームの観察画像を読み出す。通常観察画像と狭帯域観察画像は１フレーム毎に交互に出力されるので、ステップＳ１で取得した現フレームの観察画像とステップＳ３で読み出した前フレームの観察画像は、通常観察画像と狭帯域観察画像の一対のセットとなる。また、この一対のセットとなる通常観察画像と狭帯域観察画像は、照射光の波長帯域の違いによって見え方が異なるだけで、殆ど同一の被写体像とみなすことができる。さらに、一対のセットとなる通常観察画像と狭帯域観察画像を用いることで、フレームレートを落とさずに合成観察画像（単一画像）を表示することが可能になる。
ステップＳ４では、画像処理部２４の特徴部分抽出部２４ａが、通常観察画像のＲ成分と狭帯域観察画像のＢ成分に基づいて、表層特徴成分を抽出（計算）する。
ステップＳ５では、画像処理部２４の特徴部分抽出部２４ａが、通常観察画像のＲ成分と狭帯域観察画像のＧ成分、及び、ステップＳ４で抽出した表層特徴成分に基づいて、深層特徴成分を抽出（計算）する。
ステップＳ６では、画像処理部２４の強調表示部２４ｂが、通常観察画像のＲ成分から、ステップＳ５で抽出した深層特徴成分を減算する。
ステップＳ７では、画像処理部２４の強調表示部２４ｂが、通常観察画像のＧ成分とＢ成分から、ステップＳ４で抽出した表層特徴成分を減算する。
ステップＳ６とステップＳ７の処理を実行する順番には自由度があり、これらの処理を同時に実行してもよい。
ステップＳ８では、表示処理部２６が、画像処理部２４によって狭帯域観察画像の特徴部分が強調表示された状態にある観察画像（合成観察画像、単一画像）をモニタ３０に表示させる。
ステップＳ９では、画像処理部２４によって狭帯域観察画像の特徴部分が強調表示された合成観察画像が画像メモリ２５に記憶される。画像メモリ２５に記憶された合成観察画像は、例えば観察後に外部に保存されてより詳細な診断や説明時の資料に供される。
ステップＳ１０では、プロセッサ２０が、電子内視鏡１０による撮影が終了したか否かを判定する。プロセッサ２０が電子内視鏡１０による撮影が終了したと判定したとき（ステップＳ１０：Ｙｅｓ）には、ステップＳ１〜ステップＳ９の処理を終了する。プロセッサ２０が電子内視鏡１０による撮影が終了していないと判定したとき（ステップＳ１０：Ｎｏ）には、ステップＳ１〜ステップＳ９の処理ループを繰り返して実行する。
このように本実施形態の電子内視鏡システム１及びプロセッサ２０によれば、特徴部分抽出部２４ａが、狭帯域観察画像に含まれる特徴部分を抽出し、強調表示部２４ｂが、通常観察画像のうち狭帯域観察画像に含まれる特徴部分に対応する部分を当該特徴部分により強調した単一画像を表示する。このため、病変部や検査対象部等の特徴部分を際立たせて高精度な施術（手術）や検査を行うことができる。しかも、病変部や検査対象部等の特徴部分以外の部分は通常観察画像の色味等が維持され、強調表示された観察画像は一画面に大きく表示されるので、全体として自然で視認性に優れたものとすることができる。また、連続して撮影した２フレーム分の画像を用いることにより、フレームレートの低下を最小限に留めていることからも自然な画像表示を実現している。
以上の実施形態では、強調表示部２４ｂが、観察画像入力部２３に入力した通常観察画像のうち、特徴部分抽出部２４ａが抽出した狭帯域観察画像の特徴部分に対応する部分に当該特徴部分を合成することで、当該特徴部分を強調表示した合成観察画像を生成する場合を例示して説明した。
ここで、強調表示部２４ｂによる観察画像の合成方法は、以上の実施形態で説明したものに限定されることはなく、種々の設計変更が可能である。例えば、観察画像の用途に応じて、ＲＧＢ成分、及び、表層特徴成分と深層特徴成分の加減算の組み合わせを変更してもよいし、加減算の前に表層特徴成分と深層特徴成分に対して任意の係数をかけることで値を増減させてもよい。また、必要に応じて積算や除算等の各種の演算手法を取り込んでもよい。
さらに、強調表示部２４ｂは、観察画像入力部２３に入力した通常観察画像のうち、特徴部分抽出部２４ａが抽出した狭帯域観察画像の特徴部分に対応する部分を当該特徴部分で置換することで、当該特徴部分を強調表示した一部置換観察画像（単一画像）を生成することも可能である。この態様では、一部置換観察画像の特徴部分とそれ以外の部分の境界をより明確にすることができる。
１ 電子内視鏡システム
１０ 電子内視鏡
１１ ライトガイドファイバ
１２ 照明レンズ
１３ 撮像ユニット
１３ａ 対物レンズ
１３ｂ ＣＣＤ
１４ 信号伝送ケーブル
２０ プロセッサ（画像処理装置、光源装置）
２１ フィルタ付光源部
２２ 制御部
２３ 観察画像入力部（画像入力処理部）
２４ 画像処理部（演算部）
２４ａ 特徴部分抽出部（画像特徴計算部）
２４ｂ 強調表示部（表示結果作成部）
２５ 画像メモリ
２６ 表示処理部
３０ モニタ
１０ 電子内視鏡
１１ ライトガイドファイバ
１２ 照明レンズ
１３ 撮像ユニット
１３ａ 対物レンズ
１３ｂ ＣＣＤ
１４ 信号伝送ケーブル
２０ プロセッサ（画像処理装置、光源装置）
２１ フィルタ付光源部
２２ 制御部
２３ 観察画像入力部（画像入力処理部）
２４ 画像処理部（演算部）
２４ａ 特徴部分抽出部（画像特徴計算部）
２４ｂ 強調表示部（表示結果作成部）
２５ 画像メモリ
２６ 表示処理部
３０ モニタ
Claims (4)
- 通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像が入力する観察画像入力部と、
前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、
前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、
を有し、
前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＢ成分を減算した表層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のＧ成分とＢ成分から前記表層特徴成分を減算する、
ことを特徴とする画像処理装置。 - 前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＧ成分を減算したものから前記表層特徴成分をさらに減算した深層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のＲ成分から前記深層特徴成分を減算する、
ことを特徴とする請求項１記載の画像処理装置。 - 通常光により撮像した通常観察画像および前記通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像を取得する電子内視鏡と、
前記通常観察画像および前記狭帯域観察画像に画像処理を施す画像処理装置と、
を有する電子内視鏡システムであって、
前記画像処理装置は、
前記狭帯域観察画像に含まれる特徴部分を抽出する特徴部分抽出部と、
前記通常観察画像のうち前記狭帯域観察画像に含まれる特徴部分に対応する部分に当該特徴部分を合成した単一画像を表示する強調表示部と、
を有し、
前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＢ成分を減算した表層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のＧ成分とＢ成分から前記表層特徴成分を減算する、
ことを特徴とする電子内視鏡システム。 - 前記特徴部分抽出部は、前記通常観察画像のＲ成分から前記狭帯域観察画像のＧ成分を減算したものから前記表層特徴成分をさらに減算した深層特徴成分を前記特徴部分として抽出し、
前記強調表示部は、前記通常観察画像のＲ成分から前記深層特徴成分を減算する、
ことを特徴とする請求項３記載の電子内視鏡システム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016110888A JP6626783B2 (ja) | 2016-06-02 | 2016-06-02 | 画像処理装置および電子内視鏡システム |
| DE112017000023.8T DE112017000023B4 (de) | 2016-06-02 | 2017-07-18 | Bildverarbeitungsvorrichtung und elektronisches Endoskopsystem |
| US15/556,425 US10856722B2 (en) | 2016-06-02 | 2017-07-18 | Image processing apparatus and electronic endoscope system |
| PCT/IB2017/054322 WO2017208216A1 (ja) | 2016-06-02 | 2017-07-18 | 画像処理装置および電子内視鏡システム |
| CN201780000878.7A CN109526203B (zh) | 2016-06-02 | 2017-07-18 | 图像处理装置以及电子内窥镜系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016110888A JP6626783B2 (ja) | 2016-06-02 | 2016-06-02 | 画像処理装置および電子内視鏡システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017213307A JP2017213307A (ja) | 2017-12-07 |
| JP6626783B2 true JP6626783B2 (ja) | 2019-12-25 |
Family
ID=60479219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016110888A Active JP6626783B2 (ja) | 2016-06-02 | 2016-06-02 | 画像処理装置および電子内視鏡システム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10856722B2 (ja) |
| JP (1) | JP6626783B2 (ja) |
| CN (1) | CN109526203B (ja) |
| DE (1) | DE112017000023B4 (ja) |
| WO (1) | WO2017208216A1 (ja) |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3796635B2 (ja) * | 1996-03-06 | 2006-07-12 | 富士写真フイルム株式会社 | 蛍光検出装置 |
| US7847829B2 (en) * | 2001-01-09 | 2010-12-07 | Sony Corporation | Image processing apparatus restoring color image signals |
| US7479998B2 (en) * | 2001-01-09 | 2009-01-20 | Sony Corporation | Image pickup and conversion apparatus |
| JP2004321244A (ja) | 2003-04-21 | 2004-11-18 | Olympus Corp | 電子内視鏡システム |
| US7511749B2 (en) * | 2003-12-18 | 2009-03-31 | Aptina Imaging Corporation | Color image sensor having imaging element array forming images on respective regions of sensor elements |
| US7123298B2 (en) * | 2003-12-18 | 2006-10-17 | Avago Technologies Sensor Ip Pte. Ltd. | Color image sensor with imaging elements imaging on respective regions of sensor elements |
| JP2006261861A (ja) * | 2005-03-15 | 2006-09-28 | Fuji Photo Film Co Ltd | 撮像装置 |
| RU2510235C2 (ru) * | 2008-03-18 | 2014-03-27 | Новадак Текнолоджиз Инк. | Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области |
| US20090312629A1 (en) * | 2008-06-13 | 2009-12-17 | Inneroptic Technology Inc. | Correction of relative tracking errors based on a fiducial |
| JP2010035637A (ja) * | 2008-07-31 | 2010-02-18 | Olympus Medical Systems Corp | 画像表示装置およびこれを用いた内視鏡システム |
| JP5203858B2 (ja) * | 2008-09-01 | 2013-06-05 | 富士フイルム株式会社 | 医用画像表示装置、医用画像表示方法、並びに医用画像表示プログラム |
| JP5541914B2 (ja) * | 2009-12-28 | 2014-07-09 | オリンパス株式会社 | 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法 |
| JP5591570B2 (ja) * | 2010-03-23 | 2014-09-17 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2011122284A1 (ja) * | 2010-03-31 | 2011-10-06 | キヤノン株式会社 | 画像処理装置、およびそれを用いた撮像装置 |
| JP5669828B2 (ja) * | 2010-04-28 | 2015-02-18 | オリンパス株式会社 | 画像処理装置および蛍光観察装置 |
| US9031294B2 (en) * | 2010-07-23 | 2015-05-12 | National Institute Of Advanced Industrial Science And Technology | Region segmented image data creating system and feature extracting system for histopathological images |
| JP4956694B2 (ja) * | 2010-09-29 | 2012-06-20 | オリンパスメディカルシステムズ株式会社 | 情報処理装置及びカプセル型内視鏡システム |
| CN103124515B (zh) | 2010-09-30 | 2015-11-25 | 奥林巴斯株式会社 | 摄像装置 |
| JP5274591B2 (ja) * | 2011-01-27 | 2013-08-28 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
| JP5670264B2 (ja) * | 2011-06-13 | 2015-02-18 | 富士フイルム株式会社 | 内視鏡システム、及び内視鏡システムの作動方法 |
| CN103314571B (zh) * | 2011-11-30 | 2017-09-29 | 松下知识产权经营株式会社 | 摄像装置和摄像系统 |
| JP5872916B2 (ja) * | 2012-01-25 | 2016-03-01 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
| CN103582445B (zh) * | 2012-03-30 | 2017-02-22 | 奥林巴斯株式会社 | 内窥镜装置 |
| JP6054806B2 (ja) * | 2013-04-25 | 2016-12-27 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システムの作動方法 |
| JP6412709B2 (ja) * | 2014-04-02 | 2018-10-24 | オリンパス株式会社 | 観察画像取得システム |
| JP6389377B2 (ja) | 2014-05-27 | 2018-09-12 | Hoya株式会社 | 内視鏡用プロセッサ |
| US10039439B2 (en) * | 2014-09-30 | 2018-08-07 | Fujifilm Corporation | Endoscope system and method for operating the same |
| JP6432770B2 (ja) * | 2014-11-12 | 2018-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
| EP3248528A4 (en) | 2015-01-21 | 2018-09-12 | HOYA Corporation | Endoscope system |
| WO2016117049A1 (ja) * | 2015-01-21 | 2016-07-28 | オリンパス株式会社 | 内視鏡装置 |
| JP2015231576A (ja) * | 2015-09-24 | 2015-12-24 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 |
| JP6081622B2 (ja) * | 2016-01-07 | 2017-02-15 | 富士フイルム株式会社 | 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法 |
-
2016
- 2016-06-02 JP JP2016110888A patent/JP6626783B2/ja active Active
-
2017
- 2017-07-18 DE DE112017000023.8T patent/DE112017000023B4/de active Active
- 2017-07-18 US US15/556,425 patent/US10856722B2/en active Active
- 2017-07-18 CN CN201780000878.7A patent/CN109526203B/zh active Active
- 2017-07-18 WO PCT/IB2017/054322 patent/WO2017208216A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN109526203B (zh) | 2021-06-08 |
| US10856722B2 (en) | 2020-12-08 |
| US20180184889A1 (en) | 2018-07-05 |
| CN109526203A (zh) | 2019-03-26 |
| DE112017000023T5 (de) | 2018-02-15 |
| JP2017213307A (ja) | 2017-12-07 |
| DE112017000023B4 (de) | 2021-03-25 |
| WO2017208216A1 (ja) | 2017-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109219385B (zh) | 内窥镜系统、图像处理装置、图像处理方法以及介质 | |
| JP5911496B2 (ja) | 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法 | |
| JP5968944B2 (ja) | 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法 | |
| JP5654511B2 (ja) | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 | |
| JP6234375B2 (ja) | 観察装置 | |
| JP5887367B2 (ja) | プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法 | |
| JP5789280B2 (ja) | プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法 | |
| WO2019087557A1 (ja) | 内視鏡システム | |
| WO2017022324A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム | |
| JP6017669B2 (ja) | 画像処理装置及び内視鏡システムの作動方法 | |
| JP2021035549A (ja) | 内視鏡システム | |
| JP5715602B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
| JP6473222B2 (ja) | 画像処理装置、生体観察装置および画像処理装置の制御方法 | |
| WO2014156604A1 (ja) | 内視鏡システム及びその作動方法並びにプロセッサ装置 | |
| JP6129686B2 (ja) | 内視鏡システム及びプロセッサ装置並びに作動方法並びにテーブル作成方法 | |
| JP6626783B2 (ja) | 画像処理装置および電子内視鏡システム | |
| JP4520014B2 (ja) | 電子内視鏡装置 | |
| WO2018079217A1 (ja) | 内視鏡システム及びその作動方法 | |
| JP5990141B2 (ja) | 内視鏡システム及びプロセッサ装置並びに作動方法 | |
| JP6396717B2 (ja) | 感度調整方法および撮像装置 | |
| CN109526202B (zh) | 图像处理装置以及电子内窥镜系统 | |
| JP6196599B2 (ja) | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法 | |
| JP2017209343A (ja) | 制御装置 | |
| JP6801990B2 (ja) | 画像処理システムおよび画像処理装置 | |
| JP2019205732A (ja) | 内視鏡システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170815 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181019 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6626783 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |