JP6396946B2 - 画像処理装置および電子内視鏡システム - Google Patents

画像処理装置および電子内視鏡システム Download PDF

Info

Publication number
JP6396946B2
JP6396946B2 JP2016110887A JP2016110887A JP6396946B2 JP 6396946 B2 JP6396946 B2 JP 6396946B2 JP 2016110887 A JP2016110887 A JP 2016110887A JP 2016110887 A JP2016110887 A JP 2016110887A JP 6396946 B2 JP6396946 B2 JP 6396946B2
Authority
JP
Japan
Prior art keywords
reference threshold
threshold value
processing unit
noise reduction
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016110887A
Other languages
English (en)
Other versions
JP2017213306A (ja
Inventor
貴雄 牧野
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2016110887A priority Critical patent/JP6396946B2/ja
Priority to CN201780000875.3A priority patent/CN109526202B/zh
Priority to US15/556,420 priority patent/US10402947B2/en
Priority to PCT/IB2017/054320 priority patent/WO2017208215A1/ja
Priority to DE112017000024.6T priority patent/DE112017000024T5/de
Publication of JP2017213306A publication Critical patent/JP2017213306A/ja
Application granted granted Critical
Publication of JP6396946B2 publication Critical patent/JP6396946B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213Circuitry for suppressing or minimising impulsive noise

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置および電子内視鏡システムに関する。
特許文献1には、通常光により撮像した通常観察画像及び通常光より狭帯域の狭帯域光により撮像した狭帯域観察画像を内視鏡観察画像として取得して、これらを表示する電子内視鏡システムが開示されている。
特許文献2には、εフィルタと呼ばれる技術を利用して、画像のノイズ低減処理を実行する画像処理装置及び画像処理方法が開示されている。εフィルタは、画像を構成する複数画素の中から注目画素と周辺画素を設定し、注目画素と周辺画素の画素値の差分が基準閾値以下となる部分だけを平均化に使用することで、注目画素と周辺画素の画素値の差分が基準閾値を超える高周波成分を残したまま、注目画素のノイズ低減処理を実行するものである。
特開2015−223249号公報 特開2008−124976号公報
しかしながら、内視鏡観察では、通常光による通常光観察から狭帯域光による狭帯域光観察に切り替わる、インジゴカルミンやヨード等の薬品を散布するといった撮影環境が大きく変動するケースが頻繁に発生する。予め設定しうる閾値を持つ従来のεフィルタをそのまま内視鏡の画像処理に適用した場合、撮影環境の変動の影響を受けて、ノイズ低減処理が不十分となり、内視鏡観察画像の品質が劣化するおそれがある。
本発明は、以上の問題意識に基づいてなされたものであり、撮影環境が変動した場合であっても十分なノイズ低減処理を行うことで、高品質な内視鏡観察画像を得ることができる画像処理装置および電子内視鏡システムを提供することを目的の1つとする。
本発明の一態様の画像処理装置は、内視鏡観察画像を構成する複数画素の中から注目画素と周辺画素を設定し、前記注目画素と前記周辺画素の画素値の差分と基準閾値との大小関係に応じて、前記注目画素のノイズ低減処理を実行するノイズ低減処理部と、前記注目画素に含まれる少なくとも2つの色成分の割合に基づいて、前記ノイズ低減処理に用いる前記基準閾値を変動させる基準閾値変動処理部と、を有することを特徴としている。
本発明の一態様の電子内視鏡システムは、内視鏡観察画像を取得する電子内視鏡と、前記内視鏡観察画像に画像処理を施す画像処理装置と、を有する電子内視鏡システムであって、前記画像処理装置は、前記内視鏡観察画像を構成する複数画素の中から注目画素と周辺画素を設定し、前記注目画素と前記周辺画素の画素値の差分と基準閾値との大小関係に応じて、前記注目画素のノイズ低減処理を実行するノイズ低減処理部と、前記注目画素に含まれる少なくとも2つの色成分の割合に基づいて、前記ノイズ低減処理に用いる前記基準閾値を変動させる基準閾値変動処理部と、を有することを特徴としている。
前記基準閾値変動処理部は、前記注目画素に含まれるG(Green)成分とB(Blue)成分の割合に基づいて、前記ノイズ低減処理に用いる前記基準閾値を変動させることができる。
前記基準閾値変動処理部は、G成分とB成分を直交する2軸としたGB平面を、原点を通る傾き直線により複数の領域に分割し、前記注目画素に含まれるG成分とB成分の割合が前記GB平面の前記複数の領域のいずれに属しているかに応じて、前記ノイズ低減処理に用いる前記基準閾値を変動させることができる。
前記ノイズ低減処理部と前記基準閾値変動処理部は、前記複数画素の各画素について、前記基準閾値を変動させた前記ノイズ低減処理を実行することができる。
前記ノイズ低減処理部と前記基準閾値変動処理部は、前記複数画素の全体または前記複数画素を分割した複数の画素群の各々について、前記基準閾値を変動させた前記ノイズ低減処理を実行することができる。
本発明によれば、撮影環境が変動した場合であっても十分なノイズ低減処理を行うことで、高品質な内視鏡観察画像を得ることができる画像処理装置および電子内視鏡システムを提供することができる。
本実施形態による電子内視鏡システムの構成を示すブロック図である。 εフィルタ処理部によるノイズ低減処理を示す概念図である。 基準閾値変動処理部による基準閾値の変動処理を示す概念図である。 通常観察画像を構成する各画素をGB平面にプロットした図である。 通常観察状態から狭帯域観察状態または薬品散布状態(インジゴカルミン散布状態)に移行した際の各画素のプロットの変動を示す図である。 本実施形態による画像処理を示すフローチャートである。
図1〜図6を参照して、本実施形態による電子内視鏡システム1について説明する。図1に示すように、電子内視鏡システム1は、電子内視鏡10と、プロセッサ(画像処理装置、光源装置)20と、モニタ30とを有する。
図1では詳細形状を省略しているが、電子内視鏡10は、操作者が把持する把持操作部と、把持操作部から延出する可撓性のある挿入部と、把持操作部から挿入部と反対側に延出するユニバーサルチューブと、ユニバーサルチューブの先端部に設けられたコネクタ部とを有する。
電子内視鏡10には、ライトガイドファイバ11が内蔵されている。ライトガイドファイバ11は、電子内視鏡10の挿入部と把持操作部とユニバーサルチューブを通ってコネクタ部の内部まで延びている。電子内視鏡10のコネクタ部がプロセッサ20のコネクタ部に接続されると、電子内視鏡10とプロセッサ20が光学的に接続される。そして、プロセッサ20に内蔵されたフィルタ付光源部21から発せられた照明光(後述する通常光または狭帯域光)が、ライトガイドファイバ11の内部を導かれ、電子内視鏡10の挿入部の先端部に設けられた照明レンズ12によって所定の配光で外方に出射される。
フィルタ付光源部21は、R(Red)、G(Green)、B(Blue)の各波長帯域を含む白色光を放射する高輝度ランプ(例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等)を有する。またフィルタ付光源部21は、高輝度ランプが発した白色光の光路上に位置するフィルタユニットを有する。フィルタユニットは、回転式フィルタターレットに、高輝度ランプが発した白色光を通過させて通常光とする白色用フィルタと、高輝度ランプが発した白色光の波長帯域を狭めて狭帯域光とする狭帯域フィルタとを設けたものである。狭帯域フィルタは、RGBの各波長帯域に半値幅の狭い分光透過率を有する。フィルタユニットの回転式フィルタターレットを回転駆動することで、高輝度ランプが発した白色光が白色用フィルタと狭帯域フィルタを交互に通過して、フィルタ付光源部21から、通常光と、この通常光より狭帯域の狭帯域光とが交互に発せられる。狭帯域光の波長帯域は、通常光の波長帯域よりも狭い限りにおいて自由度を持って設定可能であるが、例えば、ヘモグロビンの分光特性に合わせた波長帯域とすることができる。フィルタ付光源部21は、例えば、上述した特許文献2に開示されているように周知であり、これ以上の詳細な説明は省略する。
電子内視鏡10の挿入部の先端部には、撮像ユニット13が設けられている。撮像ユニット13は、対物レンズ13aと、対物レンズ13aを透過した被写体像を撮像するCCD13bとを含む複数の構成要素をエポキシ樹脂等の樹脂材料により一体化したものである。CCD13bは、フィルタ付光源部21からライトガイドファイバ11及び照明レンズ12を通って交互に出射される通常光と狭帯域光による通常観察画像信号と狭帯域観察画像信号を交互に取得する。この通常観察画像信号と狭帯域観察画像信号は、信号伝送ケーブル14を介してプロセッサ20に伝送される。
プロセッサ20は、制御部22と、観察画像入力部(画像入力処理部)23と、画像処理部(演算部)24と、画像メモリ25と、表示処理部26とを有する。制御部22は、プロセッサ20の全構成要素を統括して制御する。
観察画像入力部23は、電子内視鏡10の信号伝送ケーブル14を介して伝送された通常観察画像信号と狭帯域観察画像信号に入力処理を施して、通常観察画像と狭帯域観察画像として入力させる。観察画像入力部23に入力される通常観察画像と狭帯域観察画像は「内視鏡観察画像」である。
画像処理部24は、観察画像入力部23に入力した内視鏡観察画像に画像処理を施すものである。画像処理部24は、εフィルタ処理部(ノイズ低減処理部)24aと基準閾値変動処理部(閾値計算部)24bを有する。
εフィルタ処理部24aは、内視鏡観察画像を構成する複数画素の中から注目画素と周辺画素を設定し、注目画素と周辺画素の画素値の差分と基準閾値との大小関係に応じて、注目画素のノイズ低減処理を実行する。
図2は、εフィルタ処理部24aによるノイズ低減処理を示す概念図である。同図の例では、内視鏡観察画像を構成する複数画素を3×3の9画素(P11、P12、P13、P21、P22、P23、P31、P32、P33)として、これらの複数画素の中心に位置する画素P22を注目画素とし、この注目画素P22に隣接する8つの画素P11、P12、P13、P21、P23、P31、P32、P33を周辺画素としている。なお、注目画素と周辺画素の関係は、ここで例示したものに限定されず、自由度を持って設定可能である。例えば、注目画素に隣接する画素の一部だけを周辺画素にしてもよいし、注目画素に隣接せずにこれを取り囲む画素(例えば1画素飛ばし)を周辺画素としてもよい。
εフィルタ処理部24aは、注目画素P22と周辺画素P11、P12、P13、P21、P23、P31、P32、P33との差分を計算して、この差分が基準閾値以上であるか否かを判定する。図2の例では、注目画素P22および上記差分が基準閾値以上である周辺画素P23、P32、P33をグレーの背景で示し、上記差分が基準閾値より小さい周辺画素P11、P12、P13、P21、P31を白塗りの背景で示している。そして、εフィルタ処理部24aは、注目画素P22および上記差分が基準閾値より小さい周辺画素P11、P12、P13、P21、P31の平均値をとることにより、ノイズを低減した新たな注目画素(補正後の注目画素)P22’を求める。上記差分が基準閾値以上である周辺画素P23、P32、P33は、例えばエッジ部分等の可能性があり、これを平均化に使用すると内視鏡観察画像がぼける原因となり得る。そこで上記差分が基準閾値以上である周辺画素P23、P32、P33を切り捨てることで高精度なノイズ低減処理が可能になる。P22’を求めるための具体的な計算式は、以下に表される。
P22’=(P11+P12+P13+P21+P31+P22)/6
基準閾値変動処理部24bは、注目画素(上記の例ではP22)に含まれるR(Red)成分とG(Green)成分とB(Blue)成分のうち、G成分とB成分の割合に基づいて、εフィルタ処理部24aによるノイズ低減処理に用いる基準閾値を変動させる。
図3は、基準閾値変動処理部24bによる基準閾値の変動処理を示す概念図である。同図に示すように、基準閾値変動処理部24bは、G成分とB成分を直交する2軸としたGB平面を、原点を通る3本の傾き直線により4つの領域に分割し、注目画素に含まれるG成分とB成分の割合がGB平面の4つの領域のいずれに属しているかに応じて、εフィルタ処理部24aによるノイズ低減処理に用いる基準閾値を変動させる。
ここではB成分が一定の値を取る場合において、傾きが最も小さい直線(G成分の割合が最も大きいもの)を傾き直線1とし、傾きが2番目に小さい直線(G成分の割合が2番目に大きいもの)を傾き直線2とし、傾きが最も大きい直線(G成分の割合が最も小さいもの)を傾き直線3としている。
本発明者は、種々のサンプリング等の経験上、観察環境(撮影環境)は、傾き直線1の下側領域が「ヨード散布観察状態」、傾き直線1と傾き直線2の間の領域が「狭帯域光観察状態」、傾き直線2と傾き直線3の間の領域が「通常光観察状態」、傾き直線3の上側領域が「インジゴカルミン散布観察状態」であると見出した。
例えば、基準閾値変動処理部24bは、観察環境が「ヨード散布観察状態」のときに基準閾値を最も大きく設定し、観察環境が「狭帯域光観察状態」のときに基準閾値を最も小さく設定し、観察環境が「通常光観察状態」のときに基準閾値を2番目に大きく設定し、観察環境が「インジゴカルミン散布観察状態」のときに基準閾値を3番目に大きく設定することができる。これは、狭帯域光観察状態やインジゴカルミン散布観察状態では、微細な特徴が強調されるため、基準閾値を大きくしすぎないことが好ましく(基準閾値が大きすぎると微細な特徴もぼけてしまう)、一方、ヨード散布観察状態では、微細な特徴を捉えることはなく且つ通常光観察状態よりも暗く見える(ノイズが多い)ため、基準閾値を大きめに設定することが好ましいからである。
なお、図3において、原点を通る傾き直線の本数と傾き直線により分割される領域の数には自由度があり、種々の設計変更が可能である。例えば、1本の傾き直線によりGB平面を2つの領域に分割してもよいし、2本の傾き直線によりGB平面を3つの領域に分割してもよい。すなわち、n本の傾き直線によりGB平面をn+1つの領域に分割することが可能である(nは正の整数)。また、判別対象となる観察環境(撮影環境)は、図3に示したもの(ヨード散布、狭帯域光、通常観察、インジゴカルミン散布)に限定されず、種々の設計変更が可能である。
このようにして、画像処理部24のεフィルタ処理部24aと基準閾値変動処理部24bは、内視鏡観察画像を構成する複数画素の各画素について、基準閾値を変動させたノイズ低減処理を実行する。
図4は、通常観察画像を構成する各画素をGB平面にプロットした図である。図5は、通常観察状態から狭帯域観察状態または薬品散布状態(インジゴカルミン散布状態)に移行した際の各画素のプロットの変動を示す図である。
内視鏡観察画像ではR成分が支配的であるため、G成分とB成分の値は略同じ割合で変動し、GB平面のプロットは略一直線の形状をとる。この直線の傾き(B/G)を、観察環境(撮影環境)を判断するための特徴量とみなすことができる。
図4に示すように、通常観察画像の場合は、G成分とB成分の割合が略1:1の関係となって直線の傾きが1に近くなる。これに対し、図5に示すように、通常観察状態から狭帯域観察状態又は薬品散布状態(インジゴカルミン散布状態)に移行すると、G成分とB成分のバランスが崩れて、直線の傾きが1よりも小さい又は大きい方に変動する。このとき、直線の傾きがどのような値をとるかによって現在の観察環境(撮影環境)を推定して、各観察環境用に用意しておいた基準閾値を設定することで、最適なノイズ低減効果を得ることができる(図3参照)。
上記の直線の傾き(B/G)は、画素毎に個別に計算することができる。あるいは、画像全体での傾きの平均値を求め、これを画像全体に適用する(画像を代表する)傾きとして対応する基準閾値を求め、その基準閾値を画像全体に一律に適用することもできる。すなわち、図3における傾き直線の設定の手法には自由度があり、種々の設計変更が可能である。
画像メモリ25は、画像処理部24によって画像処理が施された内視鏡観察画像を記憶する。表示処理部26は、画像メモリ25に記憶された内視鏡観察画像をモニタ30に表示させる。
図6のフローチャートを参照して、本実施形態の電子内視鏡システム1及びプロセッサ20による画像処理について説明する。
ステップS1では、画像処理部24が、現フレームの内視鏡観察画像を取得する。
ステップS2では、画像処理部24の基準閾値変動処理部24bが、ステップS1で取得した内視鏡観察画像の注目画素に含まれるG成分とB成分の割合(B/G)を計算する。
ステップS3では、画像処理部24の基準閾値変動処理部24bが、ステップS2で計算したG成分とB成分の割合(B/G)を環境判定基準と照らし合わせて現在の撮影環境を推定する。例えば、画像処理部24の基準閾値変動処理部24bは、ステップS2で計算したG成分とB成分の割合(B/G)によって規定されるプロットがGB平面のいずれの領域に属しているかに応じて、現在の撮影環境が上述のヨード散布、狭帯域光、通常観察、インジゴカルミン散布のいずれであるかを推定する。
ステップS4では、画像処理部24の基準閾値変動処理部24bが、ステップS3で推定した現在の撮影環境に対応する基準閾値を取得(設定)する。
ステップS5では、画像処理部24のεフィルタ処理部24aが、ステップS4で取得した基準閾値を用いて、内視鏡観察画像の注目画素のノイズ低減処理を実行する。
ステップS6では、画像処理部24が、内視鏡観察画像の全画素を注目画素とした計算が終了したか否かを判定する。内視鏡観察画像の全画素を注目画素とした計算が終了したと判定したときは(ステップS6:Yes)、ステップS7に進む。内視鏡観察画像の全画素を注目画素とした計算が終了していないと判定したときは(ステップS6:No)、内視鏡観察画像の注目画素をシフトした上で、ステップS2〜ステップS5の処理ループを繰り返す。
ステップS7では、表示処理部26が、画像処理部24による画像処理後(εフィルタ処理部24aと基準閾値変動処理部24bによるノイズ低減処理後)の内視鏡観察画像をモニタ30に表示させる。
ステップS8では、電子内視鏡システム1による撮影が終了したか否かを判定する。電子内視鏡システム1による撮影が終了したと判定したときは(ステップS8:Yes)、処理を終了する。電子内視鏡システム1による撮影が終了していない(継続している)と判定したときは(ステップS8:No)、ステップS1〜ステップS7の処理ループを繰り返す。
このように本実施形態の電子内視鏡システム1及びプロセッサ20によれば、εフィルタ処理部(ノイズ低減処理部)24aが、内視鏡観察画像を構成する複数画素の中から注目画素と周辺画素を設定し、注目画素と周辺画素の画素値の差分と基準閾値との大小関係に応じて、注目画素のノイズ低減処理を実行し、基準閾値変動処理部24bが、注目画素に含まれる少なくとも2つの色成分の割合に基づいて、ノイズ低減処理に用いる基準閾値を変動させる。これにより、観察環境(撮影環境)が変動した場合であっても十分なノイズ低減処理を行うことで、高品質な内視鏡観察画像を得ることができる。
より具体的に、本実施形態の電子内視鏡システム1及びプロセッサ20では、狭帯域光観察や薬品散布が用いられた際に自動でそれを判別し、かつ自動で基準閾値の補正を行うことで、ユーザの操作を必要とせずに最適なノイズ低減効果を得ることができる。つまり本実施形態では、観察環境(撮影環境)の変化に応じて、最適な基準閾値を動的に(リアルタイムに)設定している。
以上の実施形態では、基準閾値変動処理部24bが、注目画素に含まれるG成分とB成分の割合に基づいて、ノイズ低減処理に用いる基準閾値を変動させる場合を例示して説明した。しかし、基準閾値を変動させるための指標はこれに限定されず、種々の設計変更が可能である。例えば、基準閾値変動処理部24bは、注目画素に含まれるG成分とR成分の割合(G/R)やB成分とR成分の割合(B/R)に基づいて、ノイズ低減処理に用いる基準閾値を変動させてもよい。さらに、基準閾値変動処理部24bは、RGBをYCbCr等の別の色空間に変換した上で、それらの割合を使用してもよい。すなわち、基準閾値変動処理部24bは、注目画素に含まれる少なくとも2つの色成分の割合に基づいて、ノイズ低減処理に用いる基準閾値を変動させればよい。
以上の実施形態では、画像処理部24のεフィルタ処理部24aと基準閾値変動処理部24bが、内視鏡観察画像を構成する複数画素の各画素について、基準閾値を変動させたノイズ低減処理を実行する場合を例示して説明した。しかし、画像処理部24のεフィルタ処理部24aと基準閾値変動処理部24bは、内視鏡観察画像を構成する複数画素の全体またはこの複数画素を分割した複数の画素群の各々について、基準閾値を変動させたノイズ低減処理を実行してもよい。
以上の実施形態では、画像処理部24のεフィルタ処理部24aによるεフィルタ技術を用いたノイズ低減処理を例示して説明したが、ノイズ低減処理に用いるアルゴリズムはεフィルタに限定されるものではない。すなわち、注目画素と周辺画素の画素値の差分と基準閾値との大小関係に応じて注目画素のノイズ低減処理を実行するものであればよい。例えば、εフィルタの他にも、注目画素と周辺画素の画素値の差分を使うデジタルフィルタ、例えばバイラテラルフィルタなどにも本発明を適用することが可能である。
以上の実施形態では、いわゆるデモザイク後のRGB画像にノイズ低減処理を施す場合を例示して説明したが、いわゆるデモザイク前のRAW画像にノイズ低減処理を施してもよい。デモザイク前のRAW画像にノイズ低減処理を施す場合には、B成分とG成分の割合(B/G)を計算するために、近隣画素や1フレーム前のRGB画像から必要な情報を取得することになる。
1 電子内視鏡システム
10 電子内視鏡
11 ライトガイドファイバ
12 照明レンズ
13 撮像ユニット
13a 対物レンズ
13b CCD
14 信号伝送ケーブル
20 プロセッサ(画像処理装置、光源装置)
21 フィルタ付光源部
22 制御部
23 観察画像入力部(画像入力処理部)
24 画像処理部(演算部)
24a εフィルタ処理部(ノイズ低減処理部)
24b 基準閾値変動処理部(閾値計算部)
25 画像メモリ
26 表示処理部
30 モニタ

Claims (10)

  1. 内視鏡観察画像を構成する複数画素の中から注目画素と周辺画素を設定し、前記注目画素と前記周辺画素の画素値の差分と基準閾値との大小関係に応じて、前記注目画素のノイズ低減処理を実行するノイズ低減処理部と、
    前記注目画素に含まれる少なくとも2つの色成分の割合に基づいて、前記ノイズ低減処理に用いる前記基準閾値を変動させる基準閾値変動処理部と、
    を有することを特徴とする画像処理装置。
  2. 前記基準閾値変動処理部は、前記注目画素に含まれるG(Green)成分とB(Blue)成分の割合に基づいて、前記ノイズ低減処理に用いる前記基準閾値を変動させる、
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記基準閾値変動処理部は、G成分とB成分を直交する2軸としたGB平面を、原点を通る傾き直線により複数の領域に分割し、前記注目画素に含まれるG成分とB成分の割合が前記GB平面の前記複数の領域のいずれに属しているかに応じて、前記ノイズ低減処理に用いる前記基準閾値を変動させる、
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記ノイズ低減処理部と前記基準閾値変動処理部は、前記複数画素の各画素について、前記基準閾値を変動させた前記ノイズ低減処理を実行する、
    ことを特徴とする請求項1ないし請求項3のいずれかに記載の画像処理装置。
  5. 前記ノイズ低減処理部と前記基準閾値変動処理部は、前記複数画素の全体または前記複数画素を分割した複数の画素群の各々について、前記基準閾値を変動させた前記ノイズ低減処理を実行する、
    ことを特徴とする請求項1ないし請求項3のいずれかに記載の画像処理装置。
  6. 内視鏡観察画像を取得する電子内視鏡と、
    前記内視鏡観察画像に画像処理を施す画像処理装置と、
    を有する電子内視鏡システムであって、
    前記画像処理装置は、
    前記内視鏡観察画像を構成する複数画素の中から注目画素と周辺画素を設定し、前記注目画素と前記周辺画素の画素値の差分と基準閾値との大小関係に応じて、前記注目画素のノイズ低減処理を実行するノイズ低減処理部と、
    前記注目画素に含まれる少なくとも2つの色成分の割合に基づいて、前記ノイズ低減処理に用いる前記基準閾値を変動させる基準閾値変動処理部と、
    を有することを特徴とする電子内視鏡システム。
  7. 前記基準閾値変動処理部は、前記注目画素に含まれるG(Green)成分とB(Blue)成分の割合に基づいて、前記ノイズ低減処理に用いる前記基準閾値を変動させる、
    ことを特徴とする請求項6に記載の電子内視鏡システム。
  8. 前記基準閾値変動処理部は、G成分とB成分を直交する2軸としたGB平面を、原点を通る傾き直線により複数の領域に分割し、前記注目画素に含まれるG成分とB成分の割合が前記GB平面の前記複数の領域のいずれに属しているかに応じて、前記ノイズ低減処理に用いる前記基準閾値を変動させる、
    ことを特徴とする請求項7に記載の電子内視鏡システム。
  9. 前記ノイズ低減処理部と前記基準閾値変動処理部は、前記複数画素の各画素について、前記基準閾値を変動させた前記ノイズ低減処理を実行する、
    ことを特徴とする請求項6ないし請求項8のいずれかに記載の電子内視鏡システム。
  10. 前記ノイズ低減処理部と前記基準閾値変動処理部は、前記複数画素の全体または前記複数画素を分割した複数の画素群の各々について、前記基準閾値を変動させた前記ノイズ低減処理を実行する、
    ことを特徴とする請求項6ないし請求項8のいずれかに記載の電子内視鏡システム。
JP2016110887A 2016-06-02 2016-06-02 画像処理装置および電子内視鏡システム Active JP6396946B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016110887A JP6396946B2 (ja) 2016-06-02 2016-06-02 画像処理装置および電子内視鏡システム
CN201780000875.3A CN109526202B (zh) 2016-06-02 2017-07-18 图像处理装置以及电子内窥镜系统
US15/556,420 US10402947B2 (en) 2016-06-02 2017-07-18 Image processing apparatus and electronic endoscope system
PCT/IB2017/054320 WO2017208215A1 (ja) 2016-06-02 2017-07-18 画像処理装置および電子内視鏡システム
DE112017000024.6T DE112017000024T5 (de) 2016-06-02 2017-07-18 Bildverarbeitungsvorrichtung und elektronisches Endoskopsystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016110887A JP6396946B2 (ja) 2016-06-02 2016-06-02 画像処理装置および電子内視鏡システム

Publications (2)

Publication Number Publication Date
JP2017213306A JP2017213306A (ja) 2017-12-07
JP6396946B2 true JP6396946B2 (ja) 2018-09-26

Family

ID=60479264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016110887A Active JP6396946B2 (ja) 2016-06-02 2016-06-02 画像処理装置および電子内視鏡システム

Country Status (5)

Country Link
US (1) US10402947B2 (ja)
JP (1) JP6396946B2 (ja)
CN (1) CN109526202B (ja)
DE (1) DE112017000024T5 (ja)
WO (1) WO2017208215A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322420A (zh) * 2019-05-07 2019-10-11 上海成运医疗器械股份有限公司 用于电子内窥镜系统的图像处理方法及图像处理系统
JP7491046B2 (ja) * 2020-05-15 2024-05-28 コベルコ建機株式会社 画像処理装置および画像処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167399A (ja) * 2003-11-28 2005-06-23 Noritsu Koki Co Ltd 画像ノイズ除去方法
JP4066367B2 (ja) * 2003-11-28 2008-03-26 ノーリツ鋼機株式会社 画像ノイズ除去方法
JP4457346B2 (ja) * 2004-11-12 2010-04-28 ノーリツ鋼機株式会社 画像ノイズ除去方法
JP2006287632A (ja) * 2005-03-31 2006-10-19 Pioneer Electronic Corp ノイズ低減装置およびノイズ低減方法
EP1924097A1 (en) * 2006-11-14 2008-05-21 Sony Deutschland Gmbh Motion and scene change detection using color components
JP4859632B2 (ja) 2006-11-15 2012-01-25 富士通セミコンダクター株式会社 画像処理装置及び画像処理方法
JP2010098358A (ja) * 2008-10-14 2010-04-30 Panasonic Corp 撮像素子および撮像装置
JP5178898B1 (ja) 2011-10-21 2013-04-10 株式会社東芝 画像信号補正装置、撮像装置、内視鏡装置
JP6086663B2 (ja) 2012-06-19 2017-03-01 オリンパス株式会社 画像処理装置、内視鏡装置及び孤立点ノイズ補正方法
JP6389377B2 (ja) * 2014-05-27 2018-09-12 Hoya株式会社 内視鏡用プロセッサ

Also Published As

Publication number Publication date
DE112017000024T5 (de) 2018-02-15
WO2017208215A1 (ja) 2017-12-07
CN109526202A (zh) 2019-03-26
US10402947B2 (en) 2019-09-03
CN109526202B (zh) 2021-06-29
US20180189933A1 (en) 2018-07-05
JP2017213306A (ja) 2017-12-07

Similar Documents

Publication Publication Date Title
EP2926718B1 (en) Endoscope system
JP6327922B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6525718B2 (ja) 画像処理装置、その制御方法、および制御プログラム
US20110292257A1 (en) Image processing apparatus and image pickup apparatus using the same
JP6420230B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017159059A1 (ja) 内視鏡システム及びその作動方法
WO2017110180A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6389140B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP6736670B2 (ja) 内視鏡システム
JP2016192985A (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6396946B2 (ja) 画像処理装置および電子内視鏡システム
JP6218709B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US11033174B2 (en) Medical image processing device and medical observation device
KR101385743B1 (ko) 수술 영상의 실시간 시각적 노이즈 자동 제거 장치, 방법 및 시스템
JP7016681B2 (ja) 内視鏡システム
WO2019093356A1 (ja) 内視鏡システム及びその作動方法
JP5330291B2 (ja) 信号処理装置及び撮像装置
US20200021762A1 (en) Medical image processing apparatus and medical observation system
WO2017212946A1 (ja) 画像処理装置
CN109526203B (zh) 图像处理装置以及电子内窥镜系统
JP7189173B2 (ja) 画像処理方法、撮像装置及び画像処理装置
JP2024063846A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2016083300A (ja) 内視鏡システム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180830

R150 Certificate of patent or registration of utility model

Ref document number: 6396946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250