JP7455547B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP7455547B2
JP7455547B2 JP2019190835A JP2019190835A JP7455547B2 JP 7455547 B2 JP7455547 B2 JP 7455547B2 JP 2019190835 A JP2019190835 A JP 2019190835A JP 2019190835 A JP2019190835 A JP 2019190835A JP 7455547 B2 JP7455547 B2 JP 7455547B2
Authority
JP
Japan
Prior art keywords
adjustment
amount
level
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019190835A
Other languages
English (en)
Other versions
JP2021065280A (ja
Inventor
佳宏 林
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2019190835A priority Critical patent/JP7455547B2/ja
Priority to PCT/JP2020/036430 priority patent/WO2021075235A1/ja
Priority to US17/768,742 priority patent/US20230301491A1/en
Priority to CN202080070685.0A priority patent/CN114554936A/zh
Priority to EP20876652.7A priority patent/EP4046564A4/en
Publication of JP2021065280A publication Critical patent/JP2021065280A/ja
Application granted granted Critical
Publication of JP7455547B2 publication Critical patent/JP7455547B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00091Nozzles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、体腔内の生体組織の撮像画像を画面表示する内視鏡システムに関する。
内視鏡システムは、生体組織を撮像する撮像素子を備えた電子内視鏡と、撮像された生体組織の画像を処理して表示用画像を作成するように構成された画像処理ユニットを有するプロセッサと、プロセッサに接続され、作成した表示用画像を表示するように構成されたモニタと、を備える。
近年、電子内視鏡に使用される撮像素子として、CMOSイメージセンサを用いる場合多い。CMOSイメージセンサを用いる場合、CMOSイメージセンサの受光面を露光し画像として出力する露光・出力方法として、ローリングシャッター方式が用いられる。
ローリングシャッター方式は、撮像素子の受光面を走査ライン毎に複数の領域に分け、領域毎に順次時間差を設けて露光を行う方式で、領域毎に、蓄積されている電荷を順次リセットした後、露光による電荷の蓄積を開始して蓄積した画像信号となる電荷を出力する(読み出す)方式である。
このようなローリングシャッター方式の撮像素子を用いた場合、被写体である生体組織の動きは遅いので、順次時間差を設けて被写体像を露光しても、走査ラインの境目で被写体像がずれる場合は少ない。しかし、生体組織の周りに高速で液滴が飛翔し、また、撮像素子の前面に設けられた観察窓の面に液体が付着して液流を形成する場合、液滴あるいは液流の移動速度は、生体組織の動きに比べて速いので、フレーム画像内の走査ラインの境目に対応する部分で走査ラインに対応するラインに沿って液滴の像や液流を介して見える生体組織の像がずれる場合が多い。すなわち、ローリングシャッター方式に起因して、フレーム画像内で、撮像素子の走査ラインに対応するラインに沿ってアーチファクトが発生する場合が多い。
上記液滴の飛翔における液滴の像の問題に対して、内視鏡の観察映像に映り込んだ液滴画像に不自然なエッジが生じるエッジ化現象を観察者により視認されないようにする内視鏡装置が知られている(特許文献1、2)。
上記内視鏡装置では、CMOS型の撮像素子により撮影されたフレーム画像において、飛散する液滴画像に水平方向のエッジが生じるエッジ化現象が発生しているか否かを判定し、エッジ化現象が発生している場合には、エッジ化現象軽減処理を実施して軽減する。エッジ化現象軽減処理として、露光時間を長くして、あるいはぼかし処理を施して、エッジ化現象を軽減する。
特開2014-117413号公報 特開2014-117412号公報
上述の内視鏡装置では、エッジ化現象が発生していることを判定した後、エッジ化現象軽減処理を行うので、モニタの表示画面にはエッジ化現象が必ず発生する。このエッジ化現象の画面表示は、内視鏡を操作する術者にとってノイズ成分であり、生体組織の誤判定の一因となる場合がある。
また、上述の内視鏡装置において、エッジ化現象が発生した場合、エッジ化現象軽減処理として露光時間を長くすると、画像が過度に明るくなり術者に不快感を与えるといった問題が発生する。このため、画面の明るさを変動させることなく露光時間を調整することが必要であるが、上述の内視鏡装置では上記問題に対する対応がなされていない。
また、上述の内視鏡装置において、エッジ化現象が発生した場合、エッジ化現象軽減処理としてエッジ部分にのみぼかし処理を施すと画像が不自然な画像になり、画面全体にぼかし処理を施すと観察したい領域もぼやけた画像になり、術者に不快感を与える。
そこで、本発明は、生体組織をローリングシャッター方式により動画として撮像する際に、フレーム画像内で、撮像素子の走査ラインに対応するラインに沿ってアーチファクトが発生することを抑制する、調整レベルを備えた調整処理を、画像の輝度レベルが大きく変化することなく行うことができる内視鏡システムを提供することを目的とする。
本発明の一態様は、体腔内の生体組織の撮像画像を画面表示する内視鏡システムである。当該内視鏡システムは、
生体組織を照明する照明光を生成するように構成された光源装置と、
生体組織をローリングシャッター方式により動画として撮像するように構成された撮像素子を備える電子内視鏡と、
前記撮像素子の撮像によって得られたフレーム画像に画像処理を行うように構成された画像処理ユニットと、前記撮像素子の露光時間の調整と、前記照明光の光強度の調整及び前記撮像素子から得られる前記フレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて前記フレーム画像の輝度を調整する調整処理を行う部分であって、前記像画像内の被写体像の、隣接するフレーム画像間における動き量に関する第1情報が調整条件を満足するか否かの判定をし、判定結果に少なくとも応じて、前記調整処理の強弱の程度を値の大小で表す調整レベルを調整して前記調整処理を行うように構成された調整部と、を有するプロセッサと、
画像処理を行った前記フレーム画像を画面表示するように構成されたモニタと、
を備える。
本発明の他の一態様は、体腔内の生体組織の撮像画像を画面表示する内視鏡システムである。当該内視鏡システムは、
生体組織を照明する照明光を生成するように構成された光源装置と、
生体組織をローリングシャッター方式により動画として撮像するように構成された撮像素子を備える電子内視鏡と、
前記撮像素子の撮像によって得られたフレーム画像に画像処理を行うように構成された画像処理ユニットと、前記撮像素子の露光時間の調整と、前記照明光の光強度の調整及び前記撮像素子から得られる前記フレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて前記フレーム画像の輝度を調整する調整処理を行う部分であって、前記像画像内の被写体像のエッジのぶれ量に関する第2情報が調整条件を満足するか否かの判定をし、判定結果に少なくとも応じて、前記調整処理の強弱の程度を値の大小で表す調整レベルを調整して前記調整処理を行うように構成された調整部と、を有するプロセッサと、
画像処理を行った前記フレーム画像を画面表示するように構成されたモニタと、
を備える。
前記調整部は、前記像画像内の被写体像の、隣接するフレーム画像間における動き量に関する第1情報が、前記調整条件を満足するか否かの判定を、前記ぶれ量に関する第2情報の判定の他に行い、
前記調整部は、前記ぶれ量に関する第2情報の判定結果とは別に、前記動き量に関する第1情報の判定結果に少なくとも応じて、前記調整レベルを調整するように構成される、ことが好ましい。
前記動き量に関する第1情報は、現在のフレーム画像における前記被写体像の前記動き量、及び、現在のフレーム画像における前記被写体像の前記動き量の、直前のフレーム画像における前記被写体像の前記動き量に対する変化量の少なくとも一方を含む、ことが好ましい。
前記ぶれ量に関する第2情報は、現在のフレーム画像における前記被写体像のぶれ量、あるいは、現在のフレーム画像における前記被写体像のぶれ量の、直前のフレーム画像における前記被写体像のぶれ量に対する変化量の少なくとも一方を含む、ことが好ましい。
前記調整部は、前記撮像素子の撮像により取得した現在のフレーム画像の輝度レベルが目標輝度レベルになるように調整するためのパラメータであって、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより大きい場合は、現在設定されている値から値を小さくし、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより小さい場合は、現在設定されている値から値を大きくするように設定される調光量を用いて、前記撮像素子で得られる画像の輝度レベルを調整する、ことが好ましい。
前記調整部は、さらに、前記調光量に関する第3情報の判定結果に少なくとも応じて、前記調整レベルを調整するように構成される、ことが好ましい。
前記調光量に関する第3情報は、現在の前記調光量の、直前の前記調光量に対する変化量、及び前記調光量が予め定めた値より低い値を維持する維持時間の少なくとも一方を含む、ことが好ましい。
前記フレーム画像は、前記被写体の像が表示される表示領域と、前記電子内視鏡の撮像光学系に起因して前記表示領域に比べて輝度が低く、前記被写体の像が表示されない、前記表示領域の外側に形成されるケラレ領域とを、含み、
前記調整部は、前記ケラレ領域における画素値に関する第4情報が前記調整条件を満足するか否かの判定を、さらに行い、
前記調整部は、前記第4情報の判定結果に少なくとも応じて、前記調整レベルを調整するように構成される、ことが好ましい。
前記ケラレ領域における画素値に関する前記第4情報は、前記ケラレ領域における画素値の積算値、前記ケラレ領域における画素値が予め定めた閾値を越える画素の画素数、現在のフレーム画像の直前のフレーム画像からの前記積算値の変化量、及び、現在のフレーム画像の直前のフレーム画像からの前記画素数の変化量の少なくとも1つを含む、ことが好ましい。
前記調整部は、前記撮像素子から前記フレーム画像が得られる度に、前記判定をし、前記調整条件を満足する場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも大きくする、ことが好ましい。
前記調整部による前記判定結果が否定であり、前記ケラレ領域における前記画素値の前記積算値あるいは前記画素数が予め定めた閾値より大きい場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値に維持する、ことが好ましい。
前記調整部による前記判定結果が否定であり、前記ケラレ領域における前記画素値の前記積算値あるいは前記画素数が前記閾値以下である場合、前記現在のフレーム画像における前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも小さくする、ことが好ましい。
前記調整部は、前記フレーム画像内において、前記ローリングシャッター方式に起因して、前記撮像素子の走査ラインに対応するラインに沿って発生するアーチファクトの発生量の程度を表す指数を算出する指数算出部を有し、
前記調整部による前記判定結果が否定であり、前記指数が予め定めた閾値より大きい場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値に維持する、ことが好ましい。
前記調整部による前記判定結果が否定であり、前記指数が予め定めた閾値以下である場合、前記現在のフレーム画像における前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも小さくする、ことが好ましい。
本発明のさらに他の一態様は、体腔内の生体組織を撮像した画像を画面表示する内視鏡システムである。当該内視鏡システムは、
生体組織を照明する照明光を生成するように構成された光源装置と、
生体組織をローリングシャッター方式により動画として撮像するように構成された撮像素子を備える電子内視鏡と、
前記撮像素子の撮像によって得られたフレーム画像に画像処理を行うように構成された画像処理ユニットと、前記ローリングシャッター方式に起因して、前記フレーム画像内で前記撮像素子の走査ラインに対応したラインに沿ってアーチファクトが発生する程度を表すアーチファクト発生指数を算出するように構成された指数算出部と、前記撮像素子の露光時間の調整と、前記照明光の光強度の調整及び前記撮像素子から得られる前記フレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて前記フレーム画像の輝度を調整する調整処理を行う部分であって、前記アーチファクト発生指数の大きさが調整条件を満足するか否かの判定結果に応じて、前記調整処理の強弱の程度を値の大小で表す調整レベルを調整して、前記調整処理を行うように構成された調整部と、を有するプロセッサと、
画像処理を行った前記フレーム画像を画面表示するモニタと、
を備える。
前記調整部は、前記撮像素子の撮像により取得した現在のフレーム画像の輝度レベルが目標輝度レベルになるように調整するためのパラメータであって、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより大きい場合は、現在設定されている値から値を小さくし、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより小さい場合は、現在設定されている値から値を大きくするように設定される調光量を用いて、前記撮像素子で得られる画像の輝度レベルを調整する、ことが好ましい。
前記調整部は、前記調光量に対して、前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲイン調整のゲインレベルを定める第1参照テーブルと第2参照テーブルを備え、
前記調光量の値に対する前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲイン調整のゲインレベルの各値を乗算した積が、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルと前記第2参照テーブルの間で一致する一方、前記第1参照テーブル及び前記第2参照テーブルの間では、前記調光量の値に対する前記光強度のレベルの対応関係、及び前記調光量の値に対する前記露光時間の時間長さの対応関係が互いに異なり、
前記調整部は、前記調光量の値に応じて前記第1参照テーブルから定まる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルのそれぞれの第1設定値と、前記調光量の値に応じて前記第2参照テーブルから定まる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルのそれぞれの第2設定値と、を用いて、前記第1設定値と前記第1設定値に対応する前記第2設定値との間で前記調整レベルに応じた内挿を行うことにより、前記調整処理で用いる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの調整値を定めるように構成される、ことが好ましい。
また、前記第1参照テーブル及び前記第2参照テーブルのいずれにおいても、前記調光量の最高値における前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの各値を乗算した積は、前記調光量の最低値における前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの各値を乗算した積に比べて大きく、
前記第2参照テーブルの前記露光時間の時間長さは、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルの対応する前記露光時間の時間長さに比べて短くならず、
前記第2参照テーブルの前記光強度のレベルの値と前記ゲインレベルの値の積は、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルの対応する前記光強度のレベルの値と前記ゲインレベルの値の積に比べて大きくならない、ことが好ましい。
前記第1参照テーブル及び前記第2参照テーブルは、前記調光量の値に対して、前記第2参照テーブルの前記露光時間の時間長さが、前記第1参照テーブルの前記露光時間の時間長さに比べて長く、前記第2参照テーブルの前記光強度のレベルが前記第1参照テーブルの前記光強度のレベルに比べて小さい、前記調光量の範囲を有する、ことが好ましい。
前記調整レベルは、前記調整処理の程度が強い程値が高く、前記調整レベルの値が高い程、前記調整値は前記第2設定値に近づく、ことが好ましい。
上述の内視鏡システムによれば、生体組織をローリングシャッター方式により動画として撮像する際に、フレーム画像内で、撮像素子の走査ラインに対応するラインに沿ってアーチファクトが発生することを抑制する、調整レベルを備えた調整処理を、画像の輝度レベルが大きく変化することなく行うことができる。
一実施形態である内視鏡システムの外観斜視図である。 一実施形態である内視鏡システムの構成を示すブロック図である。 一実施形態の内視鏡の先端部の先端面の一例を示す図である。 (a),(b)は、フレーム画像内に生じるアーチファクトを説明する図である。 一実施形態である内視鏡システムの調整部の構成の一例を示すブロック図である。 一実施形態である内視鏡システムにおいて動き量の程度を示す値を算出する方法の例を説明する図である。 一実施形態である内視鏡システムにおいて算出する動き量の程度を示す値の時間変化の一例を示す図である。 一実施形態である内視鏡システムにおいて算出するぶれ量の程度を示す値を算出する方法の例を説明する図である。 フレーム画像に横方向の微分値を算出する微分フィルタを適用したときのフレーム画像の画素の総和の値の時間変化の一例を示す図である。 一実施形態である内視鏡システムにおいて用いるケラレ領域を説明する図である。 一実施形態である内視鏡システムにおいて算出するケラレ領域の画素値の積算値の時間変化の一例を示す図である。 一実施形態の内視鏡システムで行われる調整処理のフローの一例を示す図である。 図12に示すステップS16における調整レベルの設定のフローの一例を示す図である。 図12に示すステップS18における調整値の設定のフローの一例を示す図である。 (a)は、一実施形態の内視鏡システムで用いる通常用参照テーブルの一例を示す図であり、(b)は、一実施形態の内視鏡システムで用いるRSA低減用参照テーブルの一例を示す図である。 一実施形態の内視鏡システムで算出するRSA量の算出方法の一例を説明する図である。 一実施形態の内視鏡システムで算出するRSA量の時間変化の一例を示す図である。 一実施形態の内視鏡システムにおける調整部のブロック構成図である。 (a),(b)は、一実施形態の内視鏡システムで算出するRSA量と動き量の時間変化の一例を示す図である。 (a),(b)は、一実施形態の内視鏡システムで算出するRSA量と動き量の時間変化の一例を示す図である。 一実施形態の内視鏡システムで算出するRSA量と調整レベルの時間変化の一例を示す図である。
以下、実施形態の内視鏡システムについて図面を参照しながら説明する。
図1は、一実施形態である内視鏡システム1の外観斜視図であり、図2は、一実施形態である内視鏡システムの構成を示すブロック図である。図3は、一実施形態の内視鏡の先端部の先端面の一例を示す図である。
図1に示す内視鏡システム1は、医療用に特化されたシステムであり、電子内視鏡(以降、電子スコープという)100、プロセッサ200、光源装置300、モニタ400、を主に備える。電子スコープ100、光源装置300、及びモニタ400は、それぞれプロセッサ200に接続される。なお、光源装置300とプロセッサ200とは別体で構成されているが、光源装置300はプロセッサ200内に一体的に設けられて構成されてもよい。
プロセッサ200は、図2に示すように、システムコントローラ21を備えている。システムコントローラ21は、図示されないメモリに記憶された各種プログラムを実行し、内視鏡システム1全体を統合的に制御する制御手段であり、ソフトウェアあるいはハードウェアで構成されている。また、システムコントローラ21は、操作パネル24に接続されている。システムコントローラ21は、操作パネル24に入力される術者からの指示に応じて、内視鏡システム1の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム1の観察モードの切替指示がある。観察モードには、白色光を照明光として観察する通常観察モード、特殊光を照明光として観察する特殊観察モードがある。
さらに、プロセッサ200は、画像処理部26および調整部28を備える。
画像処理部26は、電子スコープ100の撮像素子による撮像によって得られたフレーム画像に画像処理を行うように構成されている。
調整部28は、撮像素子の露光時間の調整と、照明光の光強度の調整、及び撮像素子から得られるフレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせてフレーム画像の輝度を調整する調整処理を行うように構成されている。詳細の説明は後述する。
また、プロセッサ200は、図示されないが、タイミングコントローラを備える。タイミングコントローラは、各部の動作のタイミングを調整するクロックパルスを内視鏡システム1内の各回路に出力する。
光源装置300は、光源部310、光量制御回路340、及び集光レンズ350を有する。光量制御回路340は、システムコントローラ21からの指示に従って、光源の光強度のレベルを変更する駆動信号を生成し、光源部310に出力する。光源部310は、生体組織を照明するための照明光となる、設定された光強度レベルの光を照射する。光は、白色光を少なくとも含み、また、特定の波長帯域の特殊光を含んでもよい。光源部310は、白色光を射出するキセノンランプ、及び特殊光を射出するLEDやレーザダイオード等を備える。また、特殊光は、白色光を光学フィルタに透過させることにより生成してもよい。
図2に示すように、光源部310から出射した照明光Lは、集光レンズ350により、複数の光ファイバの束によって構成された後述するLCB(Light Carrying Bundle)11の入射端面に集光されてLCB11内に入射される。
電子スコープ100は、図1に示すように、接続部50と、操作部52と、挿入部54と、接続部50と操作部52とを接続するケーブル51と、を主に有する。挿入部54は、操作部50と挿入部50の先端部56とを接続する可撓管58を備える。可撓管58には、LCB11、水や空気等の流体を送る送気送水管、処置具導入管、及び信号線等が設けられている。処置具導入管は、操作部52から生体組織を処置する(例えば、切断除去する)ための処置具を先端部56から突出させて生体組織を処置するために処置具を通す管である。信号線は、後述する撮像素子14からの撮像画像信号を送信する伝送線及びプロセッサ200からの制御信号を撮像素子14に送信する制御線を含む。
電子スコープ100の先端は、人体内部に挿入するために可撓性を有する挿入部54となっている。挿入部54の先端近傍には、挿入部54の基端に連結された屈曲部60が設けられ、屈曲部60は、操作部52における遠隔操作に応じて屈曲する。屈曲部60の屈曲機構は、一般的な内視鏡に組み込まれている周知の機構である。屈曲構造は、操作部52に設けられた湾曲操作ノブの回転操作に連動した操作ワイヤの牽引によって屈曲部60を屈曲させるものである。屈曲部60の先端には、撮像素子14を備えた先端部56が設けられている。
電子スコープ100の先端部56には、接続部50から先端部56にかけての略全長に渡って配置されたLCB11の照明光出射端がある。
先端部56には、図2に示されるように、LCB11の照明光出射端の前方に配光レンズが設けられ、配光レンズの生体組織側の前面は照明光を出射する照明窓12となっている。また、先端部56には、生体組織の像を結像する対物レンズが設けられ、対物レンズの生体組織側の前面は、生体組織の像の光を受け入れる観察窓13となっている。さらに、先端部56には、結像した像を受光する撮像素子14、及び撮像素子14から出力した画像信号を増幅する図示されないアンプ等が設けられている。
LCB11内に入射した照明光は、LCB11内を伝播し、LCB11の照明光出射端から出射し、配光レンズで構成される照明窓12を介して生体組織の被写体に照明光Lとして照明する。照明窓12から出射した照明光Lの、被写体からの戻り光は、対物レンズで構成される観察窓13を介して撮像素子14の受光面上で光学像を結ぶ。
なお、光源装置300の光源部310は、コンパクトな構成である場合、電子スコープ100の先端部56に内蔵されてもよい。この場合、照明光Lを光源部310から先端部56に導光するLCB11及び集光レンズ350は不要である。
図3には、先端部56の先端面57の一例が示されている。先端面57には、LCB11の先端の前方に設けられた配光レンズで構成された照明窓12が2つ設けられ、さらに、照明窓12の間に挟まれるように、対物レンズで構成された観察窓13が設けられている。また、先端面57には、処置具を先端面57から突出させる処置具用開口62、及び、照明窓12及び観察窓13を洗浄するための流体を吐出させる送気送水ポート64(流体吐出ポート)を備える。送気送水ポート64は、例えば、可撓管58内の送気送水管を介して操作部52に接続された図示されない流体送出機構から流体の供給を受けて、流体を吐出させる部分である。送気送水ポート64には、具体的には、3つの吐出ノズルがあり、吐出ノズルは、2つの照明窓12と1つの観察窓13のそれぞれに、水、空気を吹き付けて洗浄するように構成されている。
また、図3に示す先端面57に代えて、送気送水ポート64が、空気を吐出する送気ポートと水を吐出する送水ポートとが別べつに設けられてもよい。
撮像素子14は、所定の画素配置を有するカラー撮像素子であり、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。撮像素子14は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、R(Red)、G(Green)、B(Blue)の画像信号を生成して出力する。撮像素子14の撮像画像の画像色成分における感度波長帯域を定める色フィルタが、固体撮像素子14の各受光位置の前方に設けられている。色フィルタは、例えば、赤(R)、緑(G)、青(B)の原色系フィルタが用いられる。撮像素子14は、プロセッサ200から送信されるクロックパルスに従ったタイミングで生体組織を繰り返し撮像する。
なお、撮像素子14は、ローリングシャッター方式で撮像する。具体的には、ローリングシャッター方式の撮像では、撮像素子14の受光面の横方向に延びる1ラインあるいは複数ラインの画素を、1つの画素領域とし、画素領域毎に順次時間差を設けて露光を行う方式で、画素領域毎に、蓄積されている電荷を順次リセットした後、露光による電荷の蓄積を開始して蓄積した画像信号となる電荷を出力する(読み出す)方式である。したがって、撮像された1つのフレーム画像では、1ラインごとに、あるいは複数ラインごとに、露光したタイミングが一定の時間間隔でずれている。
電子スコープ100の接続部50内には、図2に示すようにドライバ信号処理回路15及び図示されないメモリが備えられている。ドライバ信号処理回路15には、生体組織の画像信号がフレーム周期で撮像素子14から入力される。フレーム周期は、例えば、1/30秒である。ドライバ信号処理回路15は、撮像素子14から送られる画像信号に対して所定の処理を施してプロセッサ200の画像処理部26及び調整部28に出力する。
ドライバ信号処理回路15は、また図示されないメモリにアクセスして電子スコープ100の固有情報を読み出す。メモリに記録される電子スコープ100の固有情報には、例えば、撮像素子14の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路15は、メモリから読み出された固有情報をシステムコントローラ21に出力する。
システムコントローラ21は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。図示されないタイミングコントローラは、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープ100に適した処理がなされるように内視鏡システム1の各部分の動作やタイミングを制御する。
ドライバ信号処理回路15では、システムコントローラ21によるタイミング制御に従って、図示されないタイミングコントローラからクロックパルスの供給を受ける。ドライバ信号処理回路15は、供給されるクロックパルスに従って、撮像素子14をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。これにより、撮像素子14は、連続的に被写体を撮像することにより、被写体のフレーム画像の画像信号を連続的に生成する。
画像処理部26は、ドライバ信号処理回路15から1フレーム周期で入力される撮像画像の画像信号に対してデモザイク処理、マトリックス演算、色バランス処理等の所定の画像処理を施して、図示されないフレームメモリに出力する。フレームメモリは、入力される画像信号をバッファし、所定のタイミング制御に従って画像信号を出力する。画像処理部26は、さらに、出力された画像信号を処理してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ400に出力される。これにより、電子スコープ100で撮像された生体組織体の動画がモニタ400の表示画面に表示される。すなわち、モニタ400は、画像処理を行ったフレーム画像を画面表示するように構成される。
調整部28は、後述するRSAの低減のための調整をしつつ、撮像素子14の露光時間の調整と、照明光の光強度の調整及び撮像素子14から得られるフレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせてフレーム画像の輝度の調整をする調整処理を行う部分である。具体的には、調整部28は、撮像される画像内の被写体像の、隣接するフレーム画像間における動き量が調整条件を満足するか否かの判定結果に少なくとも応じて、調整処理の強弱の程度を値の大小で表す調整レベルを調整して上記調整処理を行うように構成されている。
このような内視鏡システム1において、撮像素子14は、上述したように、ローリングシャッター方式で撮像するので、撮像された1つのフレーム画像では、1ラインごとに、あるいは複数ラインごとに、露光したタイミングが一定の時間間隔でずれている。
このため、画像内に、高速で飛翔する液滴が写り、あるいは、観察窓13に液体が接触(あるいは付着)して液体の流れを形成する場合もある。この場合、ローリングシャッター方式による撮像には、露光のタイミングのずれにより、エッジ化現象が発生する場合が多い。以降、このエッジ化減少を、ローリングシャッター方式に起因して、フレーム画像内で撮像素子14の走査ラインに対応したラインに沿ってアーチファクトが発生することから、RSA(ローリングシャッターアーチファクト)という。
図4(a),(b)は、フレーム画像内に生じるRSAを説明する図である。図4(a)に示すように液滴Drpが撮像画像の縦方向に移動する場合、ローリングシャッター方式では、図4(b)に示すように、1ラインあるいは複数ラインの画像領域が露光のタイミングをずらしながら順次露光、撮像するので、液滴Drpの像は、フレーム画像内で撮像素子14の走査ラインに対応したラインに沿って途切れる場合が生じる。これが、RSAである。したがって、縦方向の隣り合うライン間では、像が不連続となり、横方向に筋状に延びるエッジを形成する。液滴Drpには限らず、液体が流れを形成する場合、液体の流れによって生体組織の像がゆらいで、RSAを発生させる場合もある。
なお、図4(b)に示す例では、1ラインあるいは複数ラインの画像領域は、隣にある画像領域と露光のタイミングにおいてお互いに重なる部分がない例を示しているが、隣り合う画像領域間で、露光のタイミングが一部分において重なってもよい。
内視鏡システム1では、このようなRSAの発生し得る場合として、表面に異物が付着した観察窓13を、図3に示す送気送水ポート64から吐出させた液体で観察窓13の表面を洗浄する状況、及び、先端面57が生体組織に存在する液体と接触して、観察窓13に液体が接触して流れる状況が挙げられる。このため、調整部28(図2参照)は、RSAが発生する前に、RSAが発生し易い上述の状況になる場合を予測するために、連続して生成されるフレーム画像から算出される画像特徴量あるいは後述する調光量を用いて、RSAが発生しそうな状況を判定し、判定に応じて後述するRSAの発生の低減のための調整処理を行う。調整処理では、撮像素子14の露光時間を長くすることによりRSAを低減することができるが、これに伴ってフレーム画像の輝度が大きくなることから、撮像素子14の露光時間の調整に合わせて、照明光の光強度の調整及び撮像素子14から得られるフレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて行う。このとき、調整処理の強弱の程度を値の大小で表す調整レベルを、フレーム画像や調光量に基づいて調整して調整処理を行う。
図5は、一実施形態である内視鏡システム1の調整部の構成の一例を示すブロック図である。
調整部28は、フレームメモリ29、動き検出部28a、液体接触検出部28b、ぶれ検出部28c、調光制御部28d、及び、調整値設定部28eを備える。
動き検出部28aは、撮像される画像内の被写体像の、隣接するフレーム画像間における動き量に関する情報を検出する部分である。動き量に関する情報は、現在のフレーム画像における被写体像の動き量、あるいは、現在のフレーム画像における被写体像の動き量の、直前のフレーム画像における被写体像の動き量に対する変化量を含む。以降では、動き量に関する情報として、現在のフレーム画像における被写体像の動き量を例としてあげて説明する。動き量は、隣接するフレーム画像との比較によって行うので、現在のフレーム画像に対して比較対象の直前のフレーム画像は、フレームメモリ29に一時保持され、現在のフレーム画像が供給されたとき、フレームメモリ29から直前のフレーム画像が読み出される。検出する動き量の程度についての具体的な説明は、後述する。
なお、一実施形態によれば、動き検出部28aは、さらに、撮像素子14により取得した現在のフレーム画像の動き量の、直前のフレーム画像における動き量に対する変化量を、動き量に関する情報として検出することが好ましい。
ぶれ検出部28cは、被写体像のエッジのぶれ量に関する情報を検出する部分である。ぶれ量に関する情報は、現在のフレーム画像における被写体像のエッジのぶれ量、あるいは、現在のフレーム画像における被写体像のエッジのぶれ量の、直前のフレーム画像における被写体像のエッジのぶれ量に対する変化量の少なくとも一方を含む。検出するぶれ量についての具体的な説明は、後述する。
撮像素子14によって生成されるフレーム画像は、被写体の像が表示される表示領域と、電子スコープ1の撮像光学系に起因して表示領域に比べて輝度が低く、被写体の像が表示されない、表示領域の外側に形成されるケラレ領域とを、含む。
液体接触検出部28bは、このケラレ領域の画素値に関する情報を算出する。ケラレ領域の画素値に関する情報は、ケラレ領域における画素値の積算値、ケラレ領域における画素値が予め定めた閾値を越える画素の画素数、現在のフレーム画像の直前のフレーム画像からの積算値の変化量、及び、現在のフレーム画像の直前のフレーム画像からの上記画素数の変化量の少なくとも1つを含む。観察窓13に液体が接触(あるいは付着)した場合、液体の屈折率によって視野角が広がり、ケラレ領域の画素値は、液体が接触(あるいは付着)していない場合のケラレ領域の画素値に比べて大きくなる。このため、ケラレ領域における画素値に関して調べることにより、液体が観察窓13に付着しているか否かを判定することができる。このケラレ領域についての具体的な説明は、後述する。
調光制御部28dは、撮像素子14の撮像により取得した現在のフレーム画像の輝度レベルが目標輝度レベルになるように調整するためのパラメータであって、現在のフレーム画像の輝度レベルが目標輝度レベルより大きい場合は、現在設定されている値から値を小さくし、現在のフレーム画像の輝度レベルが目標輝度レベルより小さい場合は、現在設定されている値から値を大きくするように設定される調光量を用いて、撮像素子14で得られるフレーム画像の輝度レベルを調整する。したがって、調光制御部28dは、フレーム画像を取得すると、画素値を輝度値に変換して、有効画素(ケラレ領域以外の画素)の輝度値の総和を求め、有効画素数で除算することにより得られる平均輝度レベルを、現在の輝度レベルとして算出する。調光制御部28dは、現在の輝度レベルと目標輝度レベルとに基づいて、現在設定されている調光量を変更する。
一実施形態によれば、現在設定されている調光量の値に、log(目標輝度レベル/現在の輝度レベル)/定数(定数は予め設定された値であり、例えば値が10に設定される)を加算した値を、今回新たに設定する調光量の値とする。なお、プロセッサ200の立ち上げ時の調光量の値は、所定の値、例えば50%に設定される。調光量の値が100%とは、光源装置200の光強度、撮像素子14の露光時間、及び撮像素子14のゲインレベルが最大であることを意味し、調光量の値が0%とは、光源装置200の光強度、撮像素子14の露光時間、及び撮像素子14のゲインレベルが最小であることを意味する。以降の調光量の例では、調光量の値を0~100%で表す。
観察窓13が被写体に近づいて被写体からの反射光を大きく受けてフレーム画像の輝度値が大きくなると、調光量は低くなる。この場合、観察窓13は、被写体に接触して観察窓13に被写体にある液体が接触(付着)し易い状況になる。このため、現在の調光量の、直前の調光量に対する変化量は、観察窓13が被写体に近づいて観察窓13に被写体にある液体が接触(付着)し易い状況になることを反映している。
また、観察窓被写体13が被写体に接触し、あるいは極めて近接した状態を維持する場合、観察窓13に被写体にある液体が接触(付着)し易い状況になっている。このため、調光量が予め定めた値より低い値を維持する維持時間は、観察窓13に被写体にある液体が接触(付着)し易い状況になることを反映している。
このため、調光制御部28dは、調光量に関する情報として、現在の調光量の、直前の調光量に対する変化量、及び調光量が予め定めた値より低い値を維持する維持時間の少なくとも一方を算出することが好ましい。
上述した動き量、ぶれ量、及びケラレ領域の画素値に関する情報は、まとめていうとき、画像特徴量という。画像特徴量、調光量、及び調光量の変化量は、調光値設定部28eにおいて調整レベル、さらには調整値を設定するために用いられる。
調整値設定部28eは、動き検出部28a、ぶれ検出部28c、液体接触検出部28bから送られる上記画像特徴量及び調光制御部28dから送られる調光量及び調光量の変化を用いて、これらが調整条件を満足するか否かの判定結果に応じて、調整処理における調整レベルを調整して、調整処理を行う。調整レベルは、調整処理の強弱の程度を値の大小で表わしたもので、値が大きい程、調整処理の程度を強くすることを意味する。調整値設定部28eの判定及び調整レベルの調整についての具体的な説明は、後述する。
図6は、動き量を算出する方法の例を説明する図である。動き検出部28aは、フレーム画像中の有効画素(ケラレ領域を除いた部分の画素)の画素値を輝度値に変換し、現在のフレーム画像の輝度値から、フレームメモリ29から読み出した直前のフレーム画像中の有効画素の画素値を変換した輝度値を、対応する画素間で引き算して輝度値の差分を求める。動き検出部28aは、さらに、この差分の頻度分布において、予め定めた閾値TH以上の差分を有する画素数Fに、所定の係数を乗算することにより、動き量を求める。観察窓13に液体が接触(あるいは付着)して流れ始める初期段階あるいは液体が流れる最中、上記閾値を越える差分の数は大きくなる。このため、動き量が予め定めた閾値を越える場合、RSAは発生しやすい状況であるといえる。なお、上述の例では、予め定めた閾値TH以上の差分を有する画素数Fに、所定の係数を乗算した値を、動き量として求めるが、輝度値の差分を用いて動き量を求める方法は、上述の方法に限定されない。
図7は、上述の方法で得られる動き量の時間変化の一例を示す図である。写真Im1の状態では、動き量が小さく安定しているのに対し、観察窓13の洗浄のために水を観察窓13に供給したときの写真Im2の状態では、動き量が大きく、しかも変動している。その後、水の供給を停止したときの写真Im3の状態では、動き量は小さく、安定している。このように、動き量は、観察窓13を流れる液体の有無を反映している。
図8は、ぶれ量を算出する方法の例を説明する図である。ぶれ検出部28cは、フレーム画像中の有効画素の各画素に対して微分フィルタ、例えば5画素×5画素の微分フィルタを用いて、フレーム画像の縦方向に延びるエッジの強さを表す横方向の微分値を算出する。画素値が急激に変化するエッジに相当する画素ではフィルタ処理した結果の値は大きくなる。ぶれ検出部28cは、さらに、横方向の微分値のフレーム画像における頻度分布において、予め定めた閾値TH以下の微分値を有する画素数Fに、所定の係数を乗算することにより、ぶれ量を求める。横方向の微分値は、RSAのように、横方向に線状に延びたエッジの程度及びその発生数を反映せず、縦方向に延びたエッジの程度及びその発生数を反映するので、横方向の微分値に基づいて求めるぶれ量は、横方向に線状に延びるRSAの発生を反映しない。しかし、観察窓13に液体が流れている場合のように、液体の流れは、縦方向及び横方向に被写体の像がぶれてあるいはぼけて縦方向及び横方向のエッジを少なくするので、縦方向に延びるエッジの発生数が少ないほど液体の流れによる被写体像のぶれ量は大きくなるといえる。このため、RSAの発生に影響されない横方向の微分値のうち、微分値が閾値TH以下の微分値を有する画素数Fは、観察窓13に付着する液体の流れによって被写体の像がぶれるぶれ量の程度を反映している、といえる。
図9は、フレーム画像に横方向の微分値を算出する微分フィルタを適用したときのフレーム画像の各画素の総和の値の時間変化の一例を示す図である。写真Im1の状態では、微分値の総和は大きく安定しているのに対し、観察窓13の洗浄のために水を観察窓13に供給したときの写真Im2の状態では、微分値の総和は小さくなっている。その後、水の供給を停止したときの写真Im3の状態では、微分値の総和は大きく、安定している。このように、横方向の微分値の総和が小さいほど、ぶれ量が大きくなるといえる。このため、ぶれ検出部28cは、横方向の微分値のフレーム画像における頻度分布において、予め定めた閾値TH以下の微分値を有する画素数Fに、所定の係数を乗算することにより、ぶれ量の程度を示す値を求める。なお、ぶれ量の算出方法は、上記方法に制限されず、ぶれ量は、横方向の微分値の情報に基づいて、微分値が多くなればなるほど、値が小さくなるように設定できる限りにおいて、ぶれ量の算出方法は特に制限されない。
図10は、ケラレ領域を説明する図である。図10に示すように、撮像素子14によって生成されるフレーム画像Imは、被写体の像が表示される丸い表示領域Im4と、電子スコープ1の撮像光学系に起因して表示領域に比べて輝度が低く、被写体の像が表示されない、表示領域の外側に形成されるケラレ領域Dfとを、含む。ケラレ領域Dfは、予め定められた範囲に形成される。図10に示す例では、矩形領域のフレーム画像Imの四隅に形成されている。このケラレ領域Dfは、電子スコープ1の撮像光学系(円形状のレンズ群)に起因して得られる領域である。しかし、観察窓13に液体が接触(あるいは付着)すると、液体は空気に比べて屈折率が高いので、この屈折率によって、ケラレ領域Dfにも光が到達する。したがって、このケラレ領域Dfの画素値に関する情報を求めることで、観察窓13に液体が付着しているか否かを判定することができる。
図11は、ケラレ領域Dfにおける画素値に関する情報の一例である画素値の積算値の時間変化の一例を示す図である。写真Im1の状態では、ケラレ領域Dfにおける画素値の積算値は小さく安定しているのに対し、観察窓13の洗浄のために水を観察窓13に供給したときの写真Im2の状態では、ケラレ領域Dfにおける画素値の積算値が大きくなる。その後、水の供給を停止したときの写真Im3の状態では、ケラレ領域Dfにおける画素値の積算値は小さく、安定している。このように、上記積算値は、観察窓13に接触(あるいは付着する)液体の有無を反映している。図11に示す例では、ケラレ領域Dfの画素値に関する情報として、ケラレ領域Dfにおける画素値の積算値を用いるが、ケラレ領域Dfにおける画素値が予め定めた閾値を越える画素の画素数Fを用いてもよい。
また、図11に示すように、ケラレ領域Dfの画素値の積算値が液体の接触により急に積算値が大きなくり、あるいは、上記画素数が急激に増大することから、現在のフレーム画像Imにおける積算値あるいは画素数Fの、直前のフレーム画像Imにおける積算値あるいは画素数Fからの変化量を、画像特徴量に関する情報としてもよい。
また、観察窓13に接触した液体が流れ始めその流速が大きくなるほどRSAの発生し得る状況に近づくので、動き量の変化を、上述の画像特徴量として算出することも好ましい。
さらに、観察窓13上に生体組織にある液体が接触(あるいは付着)することは、生体組織表面に電子スコープ100の先端面57を近づけることにより生じる。生体組織表面に電子スコープ100の先端面57を近づけるとき、電子スコープ100で撮像される画像の輝度は徐々に上がる。このため、上述の調光制御部28dの調光量の調整により、調光量は徐々に小さくなる。したがって、現在のフレーム画像に対して設定される調光量の、直前のフレーム画像に対して設定される調光量からの変化が負であり、かつ、その変化量の絶対値が予め定めた閾値より大きくなる場合、観察窓13が生体組織にある液体に接触してRSAが発生し得る状況に近づく、といえる。このため、調光制御部28dは、現在のフレーム画像に対して設定される調光量の、直前のフレーム画像に対して設定される調光量からの変化量が算出されることが好ましい。
このような画像特徴量に関する情報、及び調光量の変化量が、調整値設定値28eに送られる。
図12は、一実施形態の内視鏡システム1で行われる調整処理のフローの一例を示す図である。まず、内視鏡システム1が立ち上げられると、調整部28は、画像特徴量及び調整処理の強弱の程度を表す調整レベルをゼロリセットし、調光量を50%に設定する(ステップS10)。この後、撮像素子14により被写体の撮像が行われることにより、調整部28は、フレーム画像の画像データを取得する(ステップS12)。調整部28が画像データを取得すると、調整部28の動き検出部28a、ぶれ検出部28c、液体接触検出部28b、及び調光制御部28dは、各画像特徴量及び調光量を上述したように算出する(ステップS14)。
次に、調整値設定部28eは、RSAを低減するとともに画像の輝度を調整するための調整処理における処理の強弱を示す調整レベルを設定する(ステップS14)。調整レベルは、画像特徴量の値及び調光量の変化に応じて設定される。調整レベルの設定については、後述する。
さらに、調整値設定部28eは、設定した調整レベルと調光量に基づいて、光源部310が照射する照明光の光強度レベル、撮像素子14が行う露光時間の長さ、及び撮像素子14が生成した撮像信号の信号レベルを定めるゲインレベルの調整値を設定する(ステップS18)。
設定された光強度レベル、露光時間の長さ、及びゲインレベルの値は、システムコントローラ21に送られ、システムコントローラ21において光強度レベル、露光時間の長さ、及びゲインレベルに関する制御信号が作成される。この制御信号は、光量制御回路340及び撮像素子14に送られて、光強度レベル、露光時間の長さ、及びゲインレベルの値が、光量制御回路340及び撮像素子14に指示される。ゲインレベルに基づくゲイン調整は、撮像素子14に内蔵される図示されないアンプのゲインに対して行われる。
調整部28は、画像データの入力が終了したか否かを判定し(ステップS22)、画像データの入力が終了したと判定した場合、調整値の設定を終了する。一方、調整部28に、画像データの入力が終了していない、すなわち、次のフレーム画像が取得されると判定した場合、画像特徴量及び各種内部パラメータをゼロリセットして(ステップS24)、新たな画像データを取得する(ステップS12)。このように画像データが入力する毎に、調整レベル、及び調整値が設定される。
図13は、図12に示すステップS16における調整レベルの設定のフローの一例を示す図である。
調整値設定部28eは、画像特徴量に関する情報、例えば、動き量、動き量の変化(現在のフレーム画像における動き量から、直前のフレーム画像における動き量を差し引いた差分)、ぶれ量、ケラレ領域Dfにおける画素値の積算値(あるいは、ケラレ領域Dfにおける画素値が予め定めた閾値を越える画素の画素数F)、及び調光量の変化量(現在のフレーム画像で設定された調光量から、直前のフレーム画像で設定された調光量を差し引いた差分)が予め設定された調整条件を満足するか否かを判定する(ステップS30)。調整条件は、動き量、動き量の変化、ぶれ量、ケラレ領域Dfにおける画素値の積算値、及び調光量の変化量毎に調整条件は設定されている。調整値設定部28eは、例えば、動き量が予め設定された第1閾値より大きいか否か、ぶれ量が予め設定された第2閾値より大きいか否か、動き量の変化が、予め設定された第3閾値より大きいか否か、ケラレ領域Dfの画素値の積算値が予め設定された第4閾値より大きいか否か、調光量の変化量が負であり、調光量の変化量の絶対値が予め定めた第5閾値より大きいか否か、を判定する。
このような判定の他に、ぶれ量の変化量、ケラレ領域Dfにおける画素値の積算値あるいは画素数Fの変化量、調光量が予め定めた値よりも低い値を維持する維持時間を調整条件の判定に用いてもよい。
このような複数の判定では、いずれか1つの判定が肯定される場合、調整値設定部28eは、現在設定される調整レベルに対して、10%加算した値を、新たな調整レベルとして設定する(ステップS32)。なお、上記判定では、動き量、動き量の変化、ぶれ量、ケラレ領域Dfにおける画素値の積算値、及び調光量の変化量のいずれか1つが調整条件を満足する場合、ステップS32の処理を行うが、動き量、動き量の変化、ぶれ量、ケラレ領域Dfにおける画素値の積算値、及び調光量の変化量の少なくとも2つが調整条件を満足する場合に、ステップS32の処理を行うようにしてもよい。
また、調整レベルは、調整処理の強弱の程度を表す値として%表示で表される。調整レベルは、調整処理を全く行わない場合を0%とし、調整処理を最も強く行った場合を100%として、調整処理の強さを設定した値である。なお、調整レベルは、内視鏡システム1の立ち上げ時、ゼロに設定される。
一方、ステップS30でいずれの判定も否定される場合、調整値設定部28eは、ケラレ領域Dfにおける画素値の積算値が予め定めた第4閾値より大きいか、否かを判定する(ステップS34)。ケラレ領域Dfにおける画素値の積算値が予め定めた第6閾値より大きい場合、RSAが発生している可能性が極めて高いので、RSAを低減するための調整処理の調整レベルを維持する(ステップS36)。ケラレ領域Dfにおける画素値の積算値が予め定めた第4閾値以下であると判定した場合、調整値設定部28eは、RSAが発生しているが、その発生数は小さくなっている、あるいは、RSAは発生していないとして、調整レベルを10%減算した値を新たな調整レベルとして設定する(ステップS38)。
このように、調整値設定部28eは、画像調整量及び調光量の変化に基づいて調整レベルを設定する。なお、ステップ34の判定では、ケラレ領域Dfにおける画素値の積算値を用いるが、積算値に代えて、ケラレ領域Dfにおける画素値が閾値を越える画素の画素数Fを用いてもよい。
図14は、図12に示すステップS18における調整値の設定のフローの一例を示す図である。
調整値設定部28eは、調整レベル0%で調整処理を行った場合、すなわち、調整処理を全く行わない場合の光強度レベル、露光時間、及びゲインレベルそれぞれの第1設定値と、調整レベル100%で調整処理を行った場合の光強度レベル、露光時間、及びゲインレベルそれぞれの第2設定値とを用いて、第1設定値と第2設定値の間で、調整レベルに応じた内挿を行うことにより、光強度のレベル、露光時間の時間長さ、及びゲインレベルの調整値を定める。
すなわち、調整値設定部28eは、RSA低減処理である調整処理を行わない場合の非調整処理用参照テーブル(第1参照テーブル、以降、通常用参照テーブルという)と、RSA低減処理用参照テーブル(第2参照テーブル)を参照することにより、調光制御部28dから送られた調光量に基づいて、通常用参照テーブルから第1設定値である光強度レベルI、露光時間T、及びゲインGを取り出し、RSA低減処理用参照テーブルから、第2設定値である光強度レベルI、露光時間T、及びゲインGを取り出す(ステップS50)。通常用参照テーブル及びRSA低減用参照テーブルのそれぞれは、調光量に対する光強度レベル、露光時間、及びゲインの対応関係が定められたものである。対応関係は、調光量の変化に対する光強度レベル、露光時間、及びゲインの変化を表す。図15(a)は、通常用参照テーブルの一例を示す図であり、図15(b)は、RSA低減用参照テーブルの一例を示す図である。図15(a),(b)では、予め設定された光強度レベル、露光時間、及びゲインレベルを基準として規格化して%表示で表されている。
図15(a),(b)からわかるように、調光量に対する露光時間及び光強度レベルの変化が、通常用参照テーブルとRSA低減処理用参照テーブルの間で異なっている。RSA低減処理用参照テーブルでは、調光量が小さい部分では、RSAの発生を低減するために露光時間を、通常用参照テーブルにおける対応する露光時間に比べて長くしている。しかし、露光時間を長くすることによって画像の輝度が高くなることから、輝度増大を抑制するために、光強度レベルを低下している。なお、図示例では、通常用参照テーブル及びRSA低減用参照テーブル間で、ゲインレベルは、略同じであるが、露光時間、光強度レベル、及びゲインレベルを通常用参照テーブル及びRSA低減用参照テーブル間で異ならせてもよい。この場合、露光時間と光強度レベルとゲインレベルの積が通常用参照テーブル及びRSA低減用参照テーブルの間で同じになるように設定されていることが、調整処理をしても、画像における輝度レベルが変化しないようにする点から、好ましい。
調整値設定部28eは、取り出した光強度レベルI、露光時間T、及びゲインGと、光強度レベルI、露光時間T、及びゲインGとの間で、調整レベルに応じた内挿を行うことにより、光強度レベルI、露光時間T、及びゲインGの値を設定する(ステップS52)。
図14に示す式を変形すると、例えば、光強度レベルIは、I=I (1-α)・I αとなる(αは調整レベルを100で割った値)。すなわち、調整レベルα=0(調整処理をしない)の場合、I=Iとなり、調整レベルα=1(調整処理を最大強度で行う)の場合、I=Iとなる。調整レベルαが0より大きく、1未満の場合、IとIが係る指数が、調整レベルαによって割り振られて、内挿された値が設定される。
したがって、一実施形態によれば、調整レベルαは、調整処理の程度が強い程値が高く、調整レベルαの値が高い程、調整値は光強度レベルI、露光時間T、及びゲインG(第2設定値)に近づくことが好ましい。
このように設定された光強度レベルI、露光時間T、及びゲインGの値の情報は、光量制御回路210及び撮像素子14に制御信号として送信される。
内視鏡システム1では、プロセッサ200の調整部28において、撮像素子14の露光時間の調整と、照明光の光強度の調整及びゲイン調整の少なくとも一方の調整と、を組み合わせてフレーム画像の輝度を調整する調整処理を行い、撮像される画像内の被写体像の、隣接するフレーム画像間における動き量の程度が調整条件を満足するか否かの判定結果に少なくとも応じて、RSA低減のための調整処理の強弱の程度を値の大小で表す調整レベルを調整して調整処理を行うように構成されている。したがって、RSAが発生する前からRSA低減のための調整処理を行うことができる。しかも、調整レベルを画像内の少なくとも被写体像の動き量に関する情報あるいはぶれ量に関する情報に基づいて調整するので、調整レベルにより調整処理の強弱を付けてRSAの発生を抑制する調整処理を効率よく行うことができる。被写体像の動き量あるいはぶれ量は、観察窓13に液体が接触する直前や接触した場合に大きくなり易く、RSAの発生を予測するための指標として有効に用いることができる。
さらに、調整部28は、被写体像のエッジのぶれ量に関する情報が、調整条件を満足するか否かの判定を、動き量に関する情報の判定の他に行い、さらに、調整部28は、動き量に関する情報の判定結果の他に、ぶれ量に関する情報の判定結果に少なくとも応じて、調整レベルを調整するように構成さることにより、RSAの発生し得る情況を、より漏らすことなく判定することができる。例えば、動き量の調整条件は、例えば動き量が第1閾値を越えるか否かである。
なお、動き量に関する情報は、現在のフレーム画像における被写体像の動き量、及び、現在のフレーム画像における被写体像の動き量の、直前のフレーム画像における前記被写体像の動き量に対する変化量の少なくとも一方を含む、ことが好ましい。また、ぶれ量に関する情報は、現在のフレーム画像における被写体像のぶれ量、あるいは、現在のフレーム画像における被写体像のぶれ量の、直前のフレーム画像における被写体像のぶれ量に対する変化量の少なくとも一方を含む、ことが好ましい。これにより、調整部28は、RSAの発生し得る情況を、漏らすことなく判定することができる。動き量の変化量あるいはぶれ量の変化量に関する調整条件は、例えば動き量の変化量あるいはぶれ量の変化量が閾値を越えるか否かである。
また、調整部28は、上述したように、調光量に関する情報の判定結果に少なくとも応じて、調整レベルを調整するように構成されることが好ましい。調整部28は、調光量を用いて、撮像素子14で得られる画像の輝度レベルを調整するので、輝度レベルを目標輝度レベルに効率よく達成することができる。調整部28は、観察窓13が生体組織にある液体に接触(あるいは付着)する程度に、先端面72が被写体に近づくとき、フレーム画像の輝度レベルが上昇しないように調光量を低下させるので、このような場合を想定して、調整レベルを調整することが好ましい。すなわち、現在の調光量(現在のフレーム画像に対して設定される調光量)の、直前の調光量(直前のフレーム画像に対して設定される調光量)に対する変化量が、調整条件を満足するか否かの判定を行い、調整部28は、動き量あるいはぶれ量に関する情報の判定結果とは別に、調光量の変化量の判定結果に少なくとも応じて、調整レベルを調整するように構成される。調光量の変化量に関する調整条件は、例えば調光量の変化量が負であり、調光量の変化量の絶対値が第5閾値より大きいか否かである。
また、観察窓被写体13が被写体に接触し、あるいは極めて近接した状態を維持する場合、上述したように、観察窓13に被写体にある液体が接触(付着)し易い状況になっていることを考慮して、調光量が予め定めた値より低い値を維持する維持時間の少なくとも一方を算出することが好ましい。
これにより、調整部28は、RSAの発生し得る情況を、より漏らすことなく判定することができる。
調整部28は、ケラレ領域Dfにおける画素値に関する情報が調整条件を満足するか否かの判定を、動き量あるいはぶれ量に関する情報の判定の他に行い、調整部28は、動き量あるいはぶれ量に関する情報の判定結果とは別に、上記ケラレ領域Dfにおける画素値に関する情報の判定結果に少なくとも応じて、調整レベルを調整するように構成されるので、調整部28は、RSAの発生し得る情況を、より漏らすことなく判定することができる。ケラレ領域Dfにおける画素値に関する情報は、上述したように、ケラレ領域Dfにおける画素値の積算値、ケラレ領域Dfにおける画素値が予め定めた閾値を越える画素の画素数F、現在のフレーム画像の直前のフレーム画像からの積算値の変化量、及び、現在のフレーム画像の直前のフレーム画像からの画素数Fの変化量の少なくとも1つを含むことが好ましい。ケラレ領域Dfにおける画素値の積算値に関する調整条件は、例えば積算値が第4閾値より大きいか否かである。
上述したように、調整部28は、撮像素子14からフレーム画像が得られる度に、図13に示すステップS30のように調整条件を用いて各判定を行い、調整条件を満足する場合、図13に示すステップS32のように調整レベルの値を直前のフレーム画像で定められている調整レベルの値よりも大きくするので、調整レベルをフレーム画像に応じて逐次調整することができる。
調整部28によるステップS30の判定結果が否定であり、ケラレ領域Dfにおける画素値の積算値が予め定めた第4閾値より大きい場合、調整値設定部28eは、調整レベルの値を直前のフレーム画像で定められている調整レベルの値に維持するので、フレーム画像に応じて調整レベルを適正に維持することができる。
また、調整部28によるステップS30の判定結果が否定であり、ケラレ領域Dfにおける画素値の積算値が第4閾値以下である場合、現在のフレーム画像における調整レベルの値を直前のフレーム画像で定められている調整レベルの値よりも小さくするので、調整レベルをフレーム画像に応じて逐次調整することができる。
なお、図13に示すフローでは、ステップS34において、ケラレ領域Dfにおける画素値の積算値を算出して第4の閾値と比較することで判定を行うが、積算値に代えて、フレーム画像内に発生するRSAの発生量(以降、RSA量という)が予め設定された第7の閾値と比較し、RSA量が第7閾値より大きい場合、ステップS36の処理を行い、RSA量が第7の閾値以下の場合、ステップS38の処理を行うようにしてもよい。図16は、RSA量の算出方法の一例を説明する図である。
図16に示す例では、フレーム画像の各画素における縦方向の微分値から横方向の微分値を差し引いた値の頻度分布において、閾値TH以上の画素の総数に所定の係数を乗算したものを、RSA量として定める。縦方向の微分値は、RSAのエッジの他に被写体像の縦方向のぶれも反映している。横方向の微分値は、RSAのエッジを反映せず、フレーム画像の横方向のぶれを反映している。ここで、縦方向のぶれは、横方向のぶれと同程度であると想定して、縦方向におけるぶれを除去するために、縦方向の微分値から横方向の微分値を差し引いた値を用いる。
このようなRSA量を、図13に示すステップS34のケラレ領域Dfにおける画素値の積算値に代えて用いることができる。
図17は、上述の方法により得られるRSA量の時間変化の一例を示す図である。写真Im1の状態では、RSA量の値は小さく安定しているのに対し、観察窓13の洗浄のために水を観察窓13に供給したときの写真Im2の状態では、RSA量の値は大きくなり、しかも変動している。その後、水の供給を停止したときの写真Im3の状態では、RSA量の値は小さく、安定している。このように、RSA量の値は、RSAの発生数を反映している。
したがって、一実施形態によれば、調整部28は、フレーム画像内において、RSAの発生の程度を表す指数であるRSA量を算出するRSA検出部(指数算出部)を有し、調整部28は、図13に示すステップS30における判定結果が否定であり、RSA量が予め定めた第7閾値より大きい場合、図13に示すステップS36のように、調整レベルの値を直前のフレーム画像で定められている調整レベルの値に維持することが好ましい。これにより、フレーム画像に応じて調整レベルを維持させることができる。
また、調整部28は、図13に示すステップS30における判定結果が否定であり、RSA量が予め定めた第7閾値以下の場合、図13に示すステップS38のように、現在のフレーム画像における調整レベルの値を直前のフレーム画像で定められている調整レベルの値よりも小さくすることが好ましい。これにより、調整レベルをフレーム画像に応じて逐次調整することができる。
上述したように、調整部28は、RSA量を検出する場合、以下の調整部28の構成を用いて調整レベルを調整して、RSA低減のための調整処理を行うことができる。
図18は、図5に示す調整部28と異なる一実施形態の調整部28のブロック構成図である。図18に示す調整部28は、図5に示す液体接触検出部28bに代えてRSA検出部28fを備え、それ以外の部分は、図5に示す調整部28と同じである。したがって、図18では、調光制御部28d、ぶれ検出部28c、フレームメモリ29、及び動き検出部28aの説明は省略する。
RSA検出部28fは、フレーム画像内において、RSAの発生量の程度を表す指数であるRSA量を算出する部分(指数算出部)である。RSA検出部28fは、例えば、図16に示す方法によりRSA量を算出する。算出されたRSA量は、調整値設定部28eに送られる。調整値設定部28は、撮像素子14の露光時間の調整と、照明光の光強度の調整及び撮像素子14から得られるフレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせてフレーム画像の輝度を調整する調整処理を行う部分である。具体的には、調整値設定部28は、RSA量が調整条件を満足するか否かの判定結果に応じて、調整処理の強弱の程度を値の大小で表す調整レベルを調整して、調整処理を行うように構成される。この場合、動き検出部28aから送られる画像特徴量が調整条件を満足するか否か、及び調光制御部28dから送られる調光量の変化量が調整条件を満足するか否かの判定を、RSA量が調整条件を満足するか否かとともに判定してもよい。RSA量に関する調整条件は、RSA量が第8閾値より大きいか否かである。この場合、図13に示すステップS30のように、画像特徴量が調整条件を満足するか否か、及び調光制御部28dから送られる調光量の変化量が調整条件を満足するか否か、RSA量が調整条件を満足するか否か、のうちすべての判定で否定された場合、ケラレ領域における画素値の積算値が第4閾値より大きいか否かを判定する図13に示すステップS34の判定の代わりに、RSA量が第7閾値より大きいか否かの判定を行うとよい。
図19(a),(b)は、RSA量と動き量を示す値の時間変化の一例を示す図である。図19(a),(b)では、観察窓13に洗浄水を供給したときのRSA量と被写体像の動き量の時間変化を示している。洗浄水の送水を開始してから、観察窓13に水が接触して流れを形成するまでの初期段階Tstでは、RSA量は増加しないが、水の接触による被写体像の動きを反映して、動き量が増大している。一方、初期段階Tst以降では、RSA量が増大しているが、被写体像の動きは安定するため、動き量は低下している。このように、RSA量は、RSAの発生が持続しているときには大きな値になる。したがって、RSAが発生する前に、動き量によりRSAが発生しそうな状況になっているか否かを判定することができ、RSAが発生し持続している場合、RSA量を、調整処理の調整レベルを維持するべきか、調整レベルを低下させるべきか、の指標とすることができる。
図20(a),(b)も、RSA量と動き量の時間変化の一例を示す図である。図20(a),(b)では、被写体である生体組織に観察窓13が接近して、生体組織に存在する液体が接触したときのRSA量と被写体像の動き量の時間変化を示している。この場合においても、初期段階Tstでは、RSA量は増加しないが、液体の付着による被写体像の動きを反映して、動き量が増大している。一方、初期段階Tst以降では、RSA量が増大しているが、被写体像の動きは安定するため、動き量は比較的低下している。
図21は、図18に示す調整部28を用いて一実施形態の調整処理を行ったときのRSA量と調整レベルの時間変化の一例を示す図である。写真Im1の状態では、RSAは発生せず、RSA量は小さく安定している。この状態から、観察窓13の洗浄のために水を観察窓13に供給したとき、RSAが発生してRSA量は増加を開始するが、これに伴って徐々に大きくなる調整レベルで調整処理を行うので、写真Im2に示すように被写体像のRSAの発生を抑えることができる。その後、水の供給を停止したときの写真Im3の状態では、RSAの発生はなくなり、RSA量は小さくなっている。これに伴って、調整レベルも、徐々に低下している。このように、写真Im2では、調整レベルを設定して、露光時間と、光強度レベル及びゲインレベルの少なくともいずれか1つとを組み合わせて調整処理を行うので、写真Im2における輝度レベルは、写真Im1,Im3の輝度レベルと略同じに維持されていることがわかる。
このように、RSA量が調整条件を満足するか否かの判定結果に応じて、調整レベルを調整して、調整処理を行うように構成されるので、RSAの発生に対応させて調整レベルを種々調整することができる。
調整値設定部28eは、図15(a),(b)に一例が示されるように、調光量に対して、光強度のレベル、露光時間の時間長さ、及びゲイン調整のゲインレベルを定める通常用参照テーブル(第1参照テーブル)とRSA低減用参照テーブル(第2参照テーブル)を備える。
ここで、一実施形態によれば、調光量の値に対する光強度のレベル、露光時間の時間長さ、及びゲイン調整のゲインレベルの各値を乗算した積が、調光量の取り得る値の全範囲にわたって、通常用参照テーブルとRSA低減用参照テーブルの間で一致する一方、通常用参照テーブル及びRSA低減用参照テーブルの間では、調光量の値に対する光強度のレベルの対応関係、及び調光量の値に対する露光時間の時間長さの対応関係が互いに異なっている。言い換えると、調光量の変化に対する光強度のレベル及び露光時間の時間長さの変化が通常用参照テーブル及びRSA低減用参照テーブルの間で異なり、光強度のレベルの値及び露光時間の時間長さが互いに異なっている。
調整値設定部28eは、一実施形態によれば、調光量の値に応じて通常用参照テーブル(図15(a)に示す参照テーブル)から定まる光強度のレベル、露光時間の時間長さ、及びゲインレベルのそれぞれの第1設定値と、調光量の値に応じてRSA低減用参照テーブル(図15(b)に示す参照テーブル)から定まる光強度のレベル、露光時間の時間長さ、及びゲインレベルのそれぞれの第2設定値と、を取り出す。この第1設定値と第2設定値とを用いて、第1設定値と第1設定値に対応する第2設定値との間で調整レベルに応じた内挿を行うことにより、調整処理で用いる光強度のレベル、露光時間の時間長さ、及びゲインレベルの調整値を定めるように構成される。このため、調整レベルに応じた調整値を設定することができる。調整レベルが0%である場合、通常用参照テーブルにより設定される第1設定値が調整値になる。
このように調整レベルに応じて、第1設定値と第2設定値との間で内挿を行うので、適切な強さで調整処理を行うことができる。しかも、通常参照用テーブルとRSA低減用参照テーブルの間で、光強度のレベル、露光時間の時間長さ、及びゲイン調整のゲインレベルの各値を乗算した積が、調光量の取り得る値の全範囲にわたって一致するので、調整処理を行っても、画像の輝度レベルの変化を生じさせない。
一実施形態によれば、通常用参照テーブル及びRSA低減用参照テーブルにおいて、調光量の最高値における光強度レベル、露光時間の時間長さ、及びゲインレベルの各値を乗算した積は、調光量の最低値における光強度レベル、露光時間の時間長さ、及びゲインレベルの各値を乗算した積に比べて大きいことが好ましい。調光量が最高値である場合、画像の輝度レベルは極めて低いので、画像の輝度レベルを短時間に調整するためには、光強度レベル、露光時間の時間長さ、及びゲインレベルの各値を乗算した積は大きいことが好ましく、調光量が最低値である場合、画像の輝度レベルは極めて高いので、光強度レベル、露光時間の時間長さ、及びゲインレベルの各値を乗算した積は小さいことが好ましい。その際、RSA低減用参照テーブルの露光時間の時間長さは、調光量の取り得る値の全範囲にわたって、通常用参照テーブルの対応する露光時間の時間長さに比べて短くならない。このとき、RSA低減用参照テーブルの光強度レベルの値とゲインレベルの値の積は、調光量の取り得る値の全範囲にわたって、通常用参照テーブルの対応する光強度レベルの値とゲインレベルの値の積に比べて大きくならないことが、フレーム画像の輝度レベルを調整処理の有無及び調整処理における調整レベルによって変化させない点から好ましい。RSAを低減するための調整処理では、調整レベルが大きくなるにつれて、露光時間の時間長さを長くしてRSAを抑制する場合が多いので、露光時間の時間長さを長くする調整処理によって輝度レベルが大きくならないようにするために、RSA低減用参照テーブルの光強度レベルの値とゲインレベルの値の積は、調光量の取り得る値の全範囲にわたって、通常用参照テーブルの対応する光強度レベルの値とゲインレベルの値の積に比べて小さくすることが好ましい。
一実施形態によれば、通常用参照テーブル及びRSA低減用参照テーブルは、調光量の値に対して、RSA低減用参照テーブルの露光時間の時間長さが、通常用参照テーブルの露光時間の時間長さに比べて長く、RSA低減用参照テーブルの光強度のレベルが通常用参照テーブルの光強度のレベルに比べて小さい、調光量の範囲を有することが、調整処理における調整レベルの変化によってフレーム画像の輝度レベルを変化させない点から、好ましい。
以上、本発明の内視鏡システムについて詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
1 内視鏡システム
11 LCB
12 照明窓
13 観察窓
14 撮像素子
15 ドライバ信号処理回路
21 システムコントローラ
24 操作パネル
26 画像処理部
28 調整部
28a 動き検出部
28b 液体接触検出部
28c ぶれ検出部
28d 調光制御部
28e 調整値設定部
28f RSA検出部
29 フレームメモリ
50 操作部
51 ケーブル
52 操作部
54 挿入部
56 先端部
57 先端面
58 可撓管
60 屈曲部
62 処置具用開口
64 送気送水ポート
200 プロセッサ
300 光源装置
310 光源部
340 光量制御回路
350 集光レンズ
400 モニタ

Claims (21)

  1. 体腔内の生体組織の撮像画像を画面表示する内視鏡システムであって、
    生体組織を照明する照明光を生成するように構成された光源装置と、
    生体組織をローリングシャッター方式により動画として撮像するように構成された撮像素子を備える電子内視鏡と、
    前記撮像素子の撮像によって得られたフレーム画像に画像処理を行うように構成された画像処理ユニットと、前記撮像素子の露光時間の調整と、前記照明光の光強度の調整及び前記撮像素子から得られる前記フレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて前記フレーム画像の輝度を調整する調整処理を行う部分であって、前記像画像内の被写体像の、隣接するフレーム画像間における動き量に関する第1情報が調整条件を満足するか否かの判定をし、判定結果に少なくとも応じて、前記調整処理の強弱の程度を値の大小で表す調整レベルを調整して前記調整処理を行うように構成された調整部と、を有するプロセッサと、
    画像処理を行った前記フレーム画像を画面表示するように構成されたモニタと、
    を備える、ことを特徴とする内視鏡システム。
  2. 体腔内の生体組織の撮像画像を画面表示する内視鏡システムであって、
    生体組織を照明する照明光を生成するように構成された光源装置と、
    生体組織をローリングシャッター方式により動画として撮像するように構成された撮像素子を備える電子内視鏡と、
    前記撮像素子の撮像によって得られたフレーム画像に画像処理を行うように構成された画像処理ユニットと、前記撮像素子の露光時間の調整と、前記照明光の光強度の調整及び前記撮像素子から得られる前記フレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて前記フレーム画像の輝度を調整する調整処理を行う部分であって、前記像画像内の被写体像のエッジのぶれ量に関する第2情報が調整条件を満足するか否かの判定をし、判定結果に少なくとも応じて、前記調整処理の強弱の程度を値の大小で表す調整レベルを調整して前記調整処理を行うように構成された調整部と、を有するプロセッサと、
    画像処理を行った前記フレーム画像を画面表示するように構成されたモニタと、
    を備える、ことを特徴とする内視鏡システム。
  3. 前記調整部は、前記像画像内の被写体像の、隣接するフレーム画像間における動き量に関する第1情報が、前記調整条件を満足するか否かの判定を、前記ぶれ量に関する第2情報の判定の他に行い、
    前記調整部は、前記ぶれ量に関する第2情報の判定結果とは別に、前記動き量に関する第1情報の判定結果に少なくとも応じて、前記調整レベルを調整するように構成される、請求項2に記載の内視鏡システム。
  4. 前記動き量に関する第1情報は、現在のフレーム画像における前記被写体像の前記動き量、及び、現在のフレーム画像における前記被写体像の前記動き量の、直前のフレーム画像における前記被写体像の前記動き量に対する変化量の少なくとも一方を含む、請求項1または3に記載の内視鏡システム。
  5. 前記ぶれ量に関する第2情報は、現在のフレーム画像における前記被写体像のぶれ量、あるいは、現在のフレーム画像における前記被写体像のぶれ量の、直前のフレーム画像における前記被写体像のぶれ量に対する変化量の少なくとも一方を含む、請求項2または3に記載の内視鏡システム。
  6. 前記調整部は、前記撮像素子の撮像により取得した現在のフレーム画像の輝度レベルが目標輝度レベルになるように調整するためのパラメータであって、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより大きい場合は、現在設定されている値から値を小さくし、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより小さい場合は、現在設定されている値から値を大きくするように設定される調光量を用いて、前記撮像素子で得られる画像の輝度レベルを調整する、請求項1~4のいずれか1項に記載の内視鏡システム。
  7. 前記調整部は、さらに、前記調光量に関する第3情報の判定結果に少なくとも応じて、前記調整レベルを調整するように構成される、請求項6に記載の内視鏡システム。
  8. 前記調光量に関する第3情報は、現在の前記調光量の、直前の前記調光量に対する変化量、及び前記調光量が予め定めた値より低い値を維持する維持時間の少なくとも一方を含む、請求項7に記載の内視鏡システム。
  9. 前記フレーム画像は、前記被写体像が表示される表示領域と、前記電子内視鏡の撮像光学系に起因して前記表示領域に比べて輝度が低く、前記被写体像が表示されない、前記表示領域の外側に形成されるケラレ領域とを、含み、
    前記調整部は、前記ケラレ領域における画素値に関する第4情報が前記調整条件を満足するか否かの判定を、さらに行い、
    前記調整部は、前記第4情報の判定結果に少なくとも応じて、前記調整レベルを調整するように構成される、請求項1~8のいずれか1項に記載の内視鏡システム。
  10. 前記ケラレ領域における画素値に関する前記第4情報は、前記ケラレ領域における画素値の積算値、前記ケラレ領域における画素値が予め定めた閾値を越える画素の画素数、現在のフレーム画像の直前のフレーム画像からの前記積算値の変化量、及び、現在のフレーム画像の直前のフレーム画像からの前記画素数の変化量の少なくとも1つを含む、請求項9に記載の内視鏡システム。
  11. 前記調整部は、前記撮像素子から前記フレーム画像が得られる度に、前記判定をし、前記調整条件を満足する場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも大きくする、請求項1~10のいずれか1項に記載の内視鏡システム。
  12. 前記調整部による前記判定結果が否定であり、前記ケラレ領域における前記画素値の前記積算値あるいは前記画素数が予め定めた閾値より大きい場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値に維持する、請求項10に記載の内視鏡システム。
  13. 前記調整部による前記判定結果が否定であり、前記ケラレ領域における前記画素値の前記積算値あるいは前記画素数が前記閾値以下である場合、前記現在のフレーム画像における前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも小さくする、請求項12に記載の内視鏡システム。
  14. 前記調整部は、前記フレーム画像内において、前記ローリングシャッター方式に起因して、前記撮像素子の走査ラインに対応するラインに沿って発生するアーチファクトの発生量の程度を表す指数を算出する指数算出部を有し、
    前記調整部による前記判定結果が否定であり、前記指数が予め定めた閾値より大きい場合、前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値に維持する、請求項1~11のいずれか1項に記載の内視鏡システム。
  15. 前記調整部による前記判定結果が否定であり、前記指数が予め定めた閾値以下である場合、現在のフレーム画像における前記調整レベルの値を直前のフレーム画像で定められている前記調整レベルの値よりも小さくする、請求項14に記載の内視鏡システム。
  16. 体腔内の生体組織を撮像した画像を画面表示する内視鏡システムであって、
    生体組織を照明する照明光を生成するように構成された光源装置と、
    生体組織をローリングシャッター方式により動画として撮像するように構成された撮像素子を備える電子内視鏡と、
    前記撮像素子の撮像によって得られたフレーム画像に画像処理を行うように構成された画像処理ユニットと、前記ローリングシャッター方式に起因して、前記フレーム画像内で前記撮像素子の走査ラインに対応したラインに沿ってアーチファクトが発生する程度を表すアーチファクト発生指数を算出するように構成された指数算出部と、前記撮像素子の露光時間の調整と、前記照明光の光強度の調整及び前記撮像素子から得られる前記フレーム画像の撮像信号の信号レベルを定めるゲイン調整の少なくとも一方の調整と、を組み合わせて前記フレーム画像の輝度を調整する調整処理を行う部分であって、前記アーチファクト発生指数の大きさが調整条件を満足するか否かの判定結果に応じて、前記調整処理の強弱の程度を値の大小で表す調整レベルを調整して、前記調整処理を行うように構成された調整部と、を有するプロセッサと、
    画像処理を行った前記フレーム画像を画面表示するモニタと、
    を備える、ことを特徴とする内視鏡システム。
  17. 前記調整部は、前記撮像素子の撮像により取得した現在のフレーム画像の輝度レベルが目標輝度レベルになるように調整するためのパラメータであって、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより大きい場合は、現在設定されている値から値を小さくし、前記現在のフレーム画像の輝度レベルが前記目標輝度レベルより小さい場合は、現在設定されている値から値を大きくするように設定される調光量を用いて、前記撮像素子で得られる画像の輝度レベルを調整する、請求項16に記載の内視鏡システム。
  18. 前記調整部は、前記調光量に対して、前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲイン調整のゲインレベルを定める第1参照テーブルと第2参照テーブルを備え、
    前記調光量の値に対する前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲイン調整のゲインレベルの各値を乗算した積が、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルと前記第2参照テーブルの間で一致する一方、前記第1参照テーブル及び前記第2参照テーブルの間では、前記調光量の値に対する前記光強度のレベルの対応関係、及び前記調光量の値に対する前記露光時間の時間長さの対応関係が互いに異なり、
    前記調整部は、前記調光量の値に応じて前記第1参照テーブルから定まる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルのそれぞれの第1設定値と、前記調光量の値に応じて前記第2参照テーブルから定まる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルのそれぞれの第2設定値と、を用いて、前記第1設定値と前記第1設定値に対応する前記第2設定値との間で前記調整レベルに応じた内挿を行うことにより、前記調整処理で用いる前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの調整値を定めるように構成される、請求項7、8、及び17のいずれか1項に記載の内視鏡システム。
  19. 前記第1参照テーブル及び前記第2参照テーブルのいずれにおいても、前記調光量の最高値における前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの各値を乗算した積は、前記調光量の最低値における前記光強度のレベル、前記露光時間の時間長さ、及び前記ゲインレベルの各値を乗算した積に比べて大きく、
    前記第2参照テーブルの前記露光時間の時間長さは、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルの対応する前記露光時間の時間長さに比べて短くならず、
    前記第2参照テーブルの前記光強度のレベルの値と前記ゲインレベルの値の積は、前記調光量の取り得る値の全範囲にわたって、前記第1参照テーブルの対応する前記光強度のレベルの値と前記ゲインレベルの値の積に比べて大きくならない、請求項18に記載の内視鏡システム。
  20. 前記第1参照テーブル及び前記第2参照テーブルは、前記調光量の値に対して、前記第2参照テーブルの前記露光時間の時間長さが、前記第1参照テーブルの前記露光時間の時間長さに比べて長く、前記第2参照テーブルの前記光強度のレベルが前記第1参照テーブルの前記光強度のレベルに比べて小さい、前記調光量の範囲を有する、請求項18または19に記載の内視鏡システム。
  21. 前記調整レベルは、前記調整処理の程度が強い程値が高く、前記調整レベルの値が高い程、前記調整値は前記第2設定値に近づく、請求項18~20のいずれか1項に記載の内視鏡システム。
JP2019190835A 2019-10-18 2019-10-18 内視鏡システム Active JP7455547B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019190835A JP7455547B2 (ja) 2019-10-18 2019-10-18 内視鏡システム
PCT/JP2020/036430 WO2021075235A1 (ja) 2019-10-18 2020-09-25 内視鏡システム
US17/768,742 US20230301491A1 (en) 2019-10-18 2020-09-25 Endoscope system
CN202080070685.0A CN114554936A (zh) 2019-10-18 2020-09-25 内窥镜系统
EP20876652.7A EP4046564A4 (en) 2019-10-18 2020-09-25 ENDOSCOPE SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019190835A JP7455547B2 (ja) 2019-10-18 2019-10-18 内視鏡システム

Publications (2)

Publication Number Publication Date
JP2021065280A JP2021065280A (ja) 2021-04-30
JP7455547B2 true JP7455547B2 (ja) 2024-03-26

Family

ID=75537777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019190835A Active JP7455547B2 (ja) 2019-10-18 2019-10-18 内視鏡システム

Country Status (5)

Country Link
US (1) US20230301491A1 (ja)
EP (1) EP4046564A4 (ja)
JP (1) JP7455547B2 (ja)
CN (1) CN114554936A (ja)
WO (1) WO2021075235A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021133341A1 (de) 2021-12-15 2023-06-15 Karl Storz Se & Co. Kg Endoskop, endoskopisches System und Verfahren zum Betreiben des endoskopischen Systems
CN115002355B (zh) * 2022-07-01 2024-07-09 重庆金山医疗技术研究院有限公司 图像拍摄参量调整方法及装置、胶囊式内窥镜
WO2024176602A1 (ja) * 2023-02-22 2024-08-29 富士フイルム株式会社 内視鏡システム及びインタフェースアダプタ

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001059942A (ja) 1999-08-23 2001-03-06 Olympus Optical Co Ltd 内視鏡光源装置
JP2012065690A (ja) 2010-09-21 2012-04-05 Olympus Corp 内視鏡装置及び内視鏡装置の制御方法
JP2015146924A (ja) 2014-02-06 2015-08-20 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP2016087141A (ja) 2014-11-06 2016-05-23 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
WO2017065053A1 (ja) 2015-10-16 2017-04-20 オリンパス株式会社 内視鏡装置
WO2018038269A1 (ja) 2016-08-25 2018-03-01 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2019128353A (ja) 2018-01-19 2019-08-01 ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. 蛍光強度を正規化するための方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6464633B1 (en) * 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD
JP5735478B2 (ja) 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡装置及びその作動方法
JP5735477B2 (ja) 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡装置及びその作動方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001059942A (ja) 1999-08-23 2001-03-06 Olympus Optical Co Ltd 内視鏡光源装置
JP2012065690A (ja) 2010-09-21 2012-04-05 Olympus Corp 内視鏡装置及び内視鏡装置の制御方法
JP2015146924A (ja) 2014-02-06 2015-08-20 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP2016087141A (ja) 2014-11-06 2016-05-23 ソニー株式会社 内視鏡システム、画像処理装置、画像処理方法、およびプログラム
WO2017065053A1 (ja) 2015-10-16 2017-04-20 オリンパス株式会社 内視鏡装置
WO2018038269A1 (ja) 2016-08-25 2018-03-01 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2019128353A (ja) 2018-01-19 2019-08-01 ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッドLeica Instruments (Singapore) Pte. Ltd. 蛍光強度を正規化するための方法

Also Published As

Publication number Publication date
EP4046564A1 (en) 2022-08-24
CN114554936A (zh) 2022-05-27
WO2021075235A1 (ja) 2021-04-22
JP2021065280A (ja) 2021-04-30
US20230301491A1 (en) 2023-09-28
EP4046564A4 (en) 2023-11-08

Similar Documents

Publication Publication Date Title
WO2021075235A1 (ja) 内視鏡システム
JP5568584B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5814698B2 (ja) 自動露光制御装置、制御装置、内視鏡装置及び内視鏡装置の作動方法
US9591966B2 (en) Electronic endoscope system and light source for endoscope
US20160128545A1 (en) Endoscope apparatus and method for controlling endoscope apparatus
US20140171737A1 (en) Endoscope apparatus and image pickup control method thereof
JP5547118B2 (ja) 画像取得装置および画像取得装置の作動方法
US20140171738A1 (en) Endoscope apparatus and image pickup control method thereof
JP2007050110A (ja) 画像処理装置および電子内視鏡装置
US20240284052A1 (en) Systems and methods for mitigating artifacts in medical imaging
JP6489644B2 (ja) 撮像システム
JP5922955B2 (ja) 電子内視鏡システム
JP5653163B2 (ja) 内視鏡装置
WO2021157392A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP2011036552A (ja) 内視鏡システム
JP2020116147A (ja) 内視鏡システム
JP2011176671A (ja) 撮像システム
US10638077B2 (en) Imaging device and control method
JP2020137614A (ja) 電子内視鏡システム
WO2023090044A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP4761651B2 (ja) ハレーションを防ぐ自動調光機能を備えた電子内視鏡装置
JPWO2019116947A1 (ja) 電子内視鏡システム
JP6726541B2 (ja) 内視鏡システム
JP2021171475A (ja) 内視鏡及び内視鏡システム
JP2012075807A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240313

R150 Certificate of patent or registration of utility model

Ref document number: 7455547

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150