JPWO2020066941A1 - 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 - Google Patents

医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 Download PDF

Info

Publication number
JPWO2020066941A1
JPWO2020066941A1 JP2020549160A JP2020549160A JPWO2020066941A1 JP WO2020066941 A1 JPWO2020066941 A1 JP WO2020066941A1 JP 2020549160 A JP2020549160 A JP 2020549160A JP 2020549160 A JP2020549160 A JP 2020549160A JP WO2020066941 A1 JPWO2020066941 A1 JP WO2020066941A1
Authority
JP
Japan
Prior art keywords
area
medical image
interest
display control
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020549160A
Other languages
English (en)
Other versions
JP7047122B2 (ja
Inventor
央奈 弓部
央奈 弓部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020066941A1 publication Critical patent/JPWO2020066941A1/ja
Application granted granted Critical
Publication of JP7047122B2 publication Critical patent/JP7047122B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/08Biomedical applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

注目領域の正確な位置を認識可能とし、表示画面のちらつきを防止できる医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供する。
プロセッサ装置(16)は、画像信号取得部(50)と、画像処理部(56)と、表示制御部(58)とを備えている。画像信号取得部(50)は、内視鏡(12)から、観察モードに対応したデジタル画像信号を取得する。画像処理部(56)は、注目領域検出モード画像処理部(64)を備えている。表示制御部(58)は、注目領域よりも面積が広く、かつ注目領域を包含する強調領域を設定し、強調領域を強調表示し、注目領域の変動量に応じて、強調領域の設定を変更するか否かを判断する。

Description

本発明は、病変部などの注目領域を検出するための医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法に関する。
医療分野においては、内視鏡画像、X線画像、CT(Computed Tomography)画像、MR(Magnetic Resonanse)画像などの医用画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。
近年、医用画像を用いた画像診断においては、医用画像を解析して臓器内の病変や腫瘍など注意して観察すべき注目領域を自動的に検出することが行われつつある。特に、ディープラーニングなどの機械学習を行うことによって、注目領域を検出する精度が飛躍的に向上している。
特許文献1には、医用画像から病変部などの注目領域を検出した場合、検出結果に基づいて画像処理を行う医用画像処理装置が記載されている。この特許文献1記載の医用画像処理装置では、注目領域が検出された画素を含む領域を強調領域として設定し、強調領域の表示態様を異ならせる。例えば、強調領域の画素の色をターゲット色に変換する色変換加工などを行って注目領域を強調する。そして、検出された注目領域の位置、大きさが変移すれば、強調領域も同時に変移して医用画像内の強調表示の位置、大きさが変動する。
特許文献2には、医用画像を4分割した領域のいずれかから病変部などの注目領域を検出した場合、この注目領域が検出された4分割領域に対して、領域の周囲に部分的な表示枠を表示させる医用画像処理装置が記載されている。
特許第5802364号公報 特許第6120762号公報
しかしながら、特許文献1記載の医用画像処理装置では、医用画像内の注目領域の位置、大きさが変移すれば、それに追従して強調表示の位置、大きさも変移するため、表示画面内にちらつきが発生しやすく、医師の観察の妨げとなる。
また、特許文献2記載の医用画像処理装置では、注目領域が検出された場合、表示画面の周囲に表示枠を表示しているため、表示画面内には、ちらつきが発生することはないが、注目領域の大まかな位置しか表さないため、正確な位置が分からない。
本発明は、注目領域の正確な位置を認識可能とし、表示画面のちらつきを防止できる医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法を提供することを目的とする。
本発明の医用画像処理装置は、医用画像取得部と、注目領域検出部と、表示制御部とを有する。医用画像取得部は、観察対象を撮像して医用画像を取得する。注目領域検出部は、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出する。表示制御部は、注目領域よりも面積が広く、かつ注目領域を包含する強調領域を設定し、医用画像に対して強調領域を強調表示する表示制御部であって、医用画像内における注目領域の変動量に応じて、強調領域の設定を変更するか否かを判断する。
表示制御部は、強調領域を設定する際、注目領域よりも外側かつ強調領域よりも内側に基準領域を設定し、基準領域の外側に注目領域の少なくとも一部が変移した場合、強調領域および基準領域を再設定することが好ましい。
表示制御部は、強調領域および基準領域を設定した後、強調領域および基準領域を再設定する場合、再設定前の強調表示の位置に対して、再設定後の強調表示の位置を移動することが好ましい。
表示制御部は、強調領域および基準領域を設定した後、強調領域および基準領域を再設定する場合、再設定前の強調表示に対して、再設定後の強調表示を拡大することが好ましい。
表示制御部は、強調領域を設定した後、注目領域の面積の拡大率が、第1の閾値を超えた場合、強調領域を再設定することにより再設定前の強調表示に対して、再設定後の強調表示を拡大することが好ましい。
表示制御部は、強調領域を設定した後、注目領域の面積の拡大率が、第1の閾値よりも大きい第2の閾値を超えた場合、強調表示として医用画像と重畳表示する図形の面積を減少する変更を行うことが好ましい。
表示制御部は、注目領域検出部により検出した注目領域から代表座標を決定し、代表座標の位置が閾値以上移動した場合、強調領域の位置を再設定することが好ましい。
表示制御部は、強調表示として、強調領域に重畳させた枠形状の図形を表示させることが好ましい。
表示制御部は、強調表示として、強調領域の色を医用画像の他の部分と異なる色に変更することが好ましい。
表示制御部は、拡大率が第2の閾値を超えた場合、強調表示として医用画像内の観察領域の外側にアイコンまたは帯状の図形を表示させることが好ましい。
本発明の内視鏡システムは、光源装置と、内視鏡と、医用画像取得部と、注目領域検出部と、表示制御部と、表示部とを備える。光源装置は、観察対象を照明するための照明光を発する。内視鏡は、照明光で照明された観察対象を撮像する撮像部を有する。医用画像取得部は、撮像部で観察対象を撮像して得られる医用画像を取得する。表示部は、医用画像及び強調表示を表示する。
本発明の医療用画像処理装置の作動方法は、医用画像取得部が、観察対象を撮像部で撮像して医用画像を取得するステップと、注目領域検出部が、医用画像取得部により取得した医用画像に対して観察対象内の注目領域を検出するステップと、表示制御部が、注目領域よりも面積が広く、かつ注目領域を包含する強調領域を設定ステップと、表示制御部が、医用画像に対して強調領域を強調表示するステップと、表示制御部が、医用画像内における注目領域の変動量に応じて、強調領域の設定を変更するか否かを判断するステップとを含んでいる。
本発明によれば、注目領域の正確な位置を認識可能とし、表示画面のちらつきを防止することができる。
内視鏡システムの外観図である。 複数のLED光源を備える第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、青色光Bx、緑色光G、赤色光Rの分光スペクトルを示すグラフである。 第1実施形態の通常光の分光スペクトルを示すグラフである。 第1実施形態の特殊光の分光スペクトルを示すグラフである。 注目領域検出モード画像処理部及び表示制御部の機能を示すブロック図である。 表示制御部が注目領域の強調表示を行う場合に設定される強調領域及び基準領域を示す説明図である。 注目領域検出モードの一連の流れを示すフローチャートである。 表示制御部が注目領域の強調表示を行う場合の表示画面の一例であり、表示画面の変化を時系列順に示す説明図である。 第2実施形態における表示画面の変化を時系列順に示す説明図である。 第3実施形態における表示画面の変化を時系列順に示す説明図である。 第3実施形態の第1変形例を示す説明図である。 第3実施形態の第2変形例を示す説明図である。 第4実施形態図におけるにおける表示画面の変化を時系列順に示す説明図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ13aを操作することにより、湾曲部12cが湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。
先端部12dは、先端面に、照明窓と、観察窓と、送気・送水ノズルと、鉗子出口とを有する(いずれも図示無し)。照明窓は、照明光を観察部位に照射するためのものである。観察窓は、観察部位からの光を取り込むためのものである。送気・送水ノズルは、照明窓及び観察窓を洗浄するためのものである。鉗子出口は、鉗子と電気メス等の処置具を用いて各種処置を行うためのものである。
また、操作部12bには、アングルノブ13aの他、静止画像の取得操作に用いる静止画像取得部13b、観察モードの切り替え操作に用いるモード切替部13c、ズーム倍率の変更操作に用いるズーム操作部13dを設けている。静止画像取得部13bは、モニタ18に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。
内視鏡システム10は、観察モードとして、通常モードと、特殊モードと、注目領域検出モードとを有している。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Lcで合波した通常光を発光する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Lsで合波した特殊光を発光する。
また、観察モードが注目領域検出モードである場合、注目領域検出モード用照明光を発光する。本実施形態では、注目領域検出モード用照明光として、通常光を発光するが、特殊光を発光するようにしてもよい。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール19は、注目領域(ROI : Region Of Interest)の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。
図2に示すように、光源装置14は、観察対象の照明に用いる照明光を発する光源部20と、光源部20を制御する光源制御部22とを備えている。光源部20は、複数色のLED(Light Emitting Diode)等の半導体光源である。光源制御部22は、LED等のオン/オフや、LED等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部22は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
第1実施形態では、光源部20は、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、及びR−LED(Red Light Emitting Diode)20dの4色のLEDと、波長カットフィルタ23とを有している。図3に示すように、V−LED20aは、波長帯域380nm〜420nmの紫色光Vを発する。
B−LED20bは、波長帯域420nm〜500nmの青色光Bを発する。B−LED23bから出射した青色光Bのうち少なくともピーク波長の450nmよりも長波長側は、波長カットフィルタ23によりカットされる。これにより、波長カットフィルタ23を透過した後の青色光Bxは、420〜460nmの波長範囲になる。このように、460nmよりも長波長側の波長域の光をカットしているのは、この460nmよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ23は、460nmよりも長波長側の波長域の光をカットする代わりに、460nmよりも長波長側の波長域の光を減光させてもよい。
G−LED20cは、波長帯域が480nm〜600nmに及ぶ緑色光Gを発する。R−LED20dは、波長帯域が600nm〜650nmに及び赤色光Rを発する。なお、各LED20a〜20dから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
光源制御部22は、各LED20a〜20dの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部22における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさは光源装置14の明るさ設定部又はコンソール19等によって設定可能である。
通常モード又は注目領域検出モードの場合、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。その際、図4に示すように、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比Lcは、青色光Bxの光強度のピークが、紫色光V、緑色光G、及び赤色光Rのいずれの光強度のピークよりも大きくなるように、設定されている。これにより、通常モード又は注目領域検出モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む通常モード用又は注目領域検出モード用の多色光が、通常光として、が発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。
特殊モードの場合、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。その際、図5に示すように、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比Lsは、紫色光Vの光強度のピークが、青色光Bx、緑色光G、及び赤色光Rのいずれの光強度のピークよりも大きくなるように、設定されている。また、緑色光G及び赤色光Rの光強度のピークは、紫色光V及び青色光Bxの光強度のピークよりも小さくなるように、設定されている。これにより、特殊モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Vが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、4色全ての光が含まれていなくてもよく、4色のLED20a〜20dのうち少なくとも1色のLEDからの光が含まれていればよい。また、特殊光は、450nm以下に主な波長域、例えばピーク波長又は中心波長を有することが好ましい。
図2に示すように、光源部20が発した照明光は、ミラーやレンズ等で形成される光路結合部(図示しない)を介して、挿入部12a内に挿通したライトガイド24に入射する。ライトガイド24は、内視鏡12及びユニバーサルコードに内蔵され、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド24としては、マルチモードファイバを使用することができる。一例として、ライトガイド24には、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3mm〜φ0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bとを設けている。照明光学系30aは、照明レンズ32を有している。この照明レンズ32を介して、ライトガイド24を伝搬した照明光によって観察対象を照明する。撮像光学系30bは、対物レンズ34と、拡大光学系36と、撮像センサ38(本発明の「撮像部」に対応する)とを有している。これら対物レンズ34及び拡大光学系36を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ38に入射する。これにより、撮像センサ38に観察対象の像が結像する。
拡大光学系36は、観察対象を拡大するズームレンズ36aと、ズームレンズ36aを光軸方向CLに移動させるレンズ駆動部36bとを備えている。ズームレンズ36aは、レンズ駆動部36bによるズーム制御に従って、テレ端とワイド端の間で自在に移動させることで、撮像センサ38に結像する観察対象を拡大又は縮小させる。
撮像センサ38は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ38の各画素には、R(赤色)カラーフィルタ、G(緑色)カラーフィルタ、B(青色)カラーフィルタのいずれかが設けられている。撮像センサ38は、Bカラーフィルタが設けられているB画素で紫色から青色の光を受光し、Gカラーフィルタが設けられているG画素で緑色の光を受光し、Rカラーフィルタが設けられているR画素で赤色の光を受光する。そして、各色の画素から、RGB各色の画像信号を出力する。撮像センサ38は、出力した画像信号を、CDS回路40に送信する。
通常モード又は注目領域検出モードにおいては、撮像センサ38は、通常光が照明された観察対象を撮像することにより、B画素からBc画像信号を出力し、G画素からGc画像信号を出力し、R画素からRc画像信号を出力する。また、特殊モードにおいては、撮像センサ38は、特殊光が照明された観察対象を撮像することにより、B画素からBs画像信号を出力し、G画素からGs画像信号を出力し、R画素からRs画像信号を出力する。
撮像センサ38としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等を利用可能である。また、RGBの原色のカラーフィルタを設けた撮像センサ38の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号を出力する。このため、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ38と同様のRGB各色の画像信号を得ることができる。また、撮像センサ38の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
CDS回路40は、撮像センサ38から受信したアナログの画像信号に、相関二重サンプリング(CDS:Correlated Double Sampling)を行う。CDS回路40を経た画像信号はAGC回路42に入力される。AGC回路40は、入力された画像信号に対して、自動利得制御(AGC:Automatic Gain Control)を行う。A/D(Analog to Digital)変換回路44は、AGC回路42を経たアナログ画像信号を、デジタルの画像信号に変換する。A/D変換回路44は、A/D変換後のデジタル画像信号を、プロセッサ装置16に入力する。
図2に示すように、プロセッサ装置16は、画像信号取得部50(本発明の「医用画像取得部」に対応する)と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理部56と、表示制御部58とを備えている。
画像信号取得部50は、内視鏡12から、観察モードに対応したデジタル画像信号を取得する。通常モード又は注目領域検出モードの場合には、Bc画像信号、Gc画像信号、Rc画像信号を取得する。特殊モードの場合には、Bs画像信号、Gs画像信号、Rs画像信号を取得する。注目領域検出モードの場合には、通常光の照明時に1フレーム分のBc画像信号、Gc画像信号、Rc画像信号を取得し、特殊光の照明時に1フレーム分のBs画像信号、Gs画像信号、Rs画像信号を取得する。
DSP52は、画像信号取得部50が取得した画像信号に対して、欠陥補正処理、オフセット処理、DSP用ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ38の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。DSP用ゲイン補正処理は、オフセット処理した画像信号に特定のDSP用ゲインを乗じることにより信号レベルを整える。
リニアマトリクス処理は、DSP用ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理(等方化処理、又は同時化処理とも言う)を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ低減部54は、DSP52でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減後の画像信号は画像処理部56に入力される。
画像処理部56は、通常モード画像処理部60と、特殊モード画像処理部62と、注目領域検出モード画像処理部64を備えている。通常モード画像処理部60は、通常モードに設定されている場合に作動し、受信したBc画像信号、Gc画像信号、Rc画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、RGB画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(Look Up Table)処理などにより色変換処理を行う。
色彩強調処理は、色変換処理済みのRGB画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のRGB画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Bx、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部58に入力される。
特殊モード画像処理部62は、特殊モードに設定されている場合に作動する。特殊モード画像処理部62では、受信したBs画像信号、Gs画像信号、Rs画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード画像処理部60と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部58に入力される。
注目領域検出モード画像処理部64は、注目領域検出モード時に設定されている場合に作動する。図6に示すように、注目領域検出モード画像処理部64は、検出用画像処理部70と、注目領域検出部71とを有している。検出用画像処理部70は、受信したBc画像信号、Gc画像信号、Rc画像信号に対して、色変換処理など通常モード画像処理部60と同様の画像処理により内視鏡画像を順次取得する。
注目領域検出部71は、内視鏡画像を画像解析し、観察対象内の注目領域を検出するための注目領域検出処理を行う。本実施形態では、注目領域検出部71は、注目領域として観察対象内の病変部(例えば、腫瘍や炎症など)を検出する。この場合、注目領域検出部71は、先ず内視鏡画像を複数の小領域、例えば画素数個分の正方領域に分割する。次いで、分割した内視鏡画像から画像的な特徴量を算出する。続いて、算出した特徴量に基づき、各小領域が病変部であるか否かを認識処理する。このような認識処理としては、畳み込みニューラルネットワーク(Convolutional Neural Network)や、深層学習(Deep Learning)などの機械学習アルゴリズムであることが好ましい。
また、注目領域検出部71により内視鏡画像から算出される特徴量としては、観察対象における所定部位の形状、色又はそれら形状や色などから得られる指標値であることが好ましい。例えば、特徴量として、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを2以上組み合わせた値であることが好ましい。
最後に、同じ種類と特定された、ひとかたまりの小領域を1つの病変部として抽出する。注目領域検出部71は、抽出した病変部の位置、大きさ、病変の種類などの情報を検出結果として内視鏡画像に関連付ける。注目領域検出モード画像処理部64は、検出結果を関連付けた内視鏡画像を表示制御部58に出力する。
表示制御部58は、画像処理部56からの画像やデータをモニタ18に表示するための表示制御を行う。通常モードに設定されている場合には、表示制御部58は、通常画像をモニタ18に表示する制御を行う。特殊モードに設定されている場合には、表示制御部58は、特殊画像をモニタ18に表示する制御を行う。
注目領域検出モードに設定されている場合には、表示制御部58は、内視鏡画像に対して注目領域検出部71により検出した注目領域を強調表示する。表示制御部58は、注目領域を強調表示する場合、先ず、注目領域検出モード画像処理部64から出力された内視鏡画像、及び内視鏡画像に関連付けられた検出結果に基づき、注目領域を強調するための強調領域を設定する。
図7に示すように、表示制御部58は、注目領域としての病変部76よりも面積が広く、かつ病変部76を包含する強調領域を設定する。本実施形態では、強調領域75として、正方形の領域を設定する。強調領域75は、例えば、病変部76の外周との間に所定の寸法A以上の間隔を置いて設定される正方形の外周を有する。
表示制御部58は、強調領域75を設定する際、または強調領域75を設定した後、病変部76よりも外側かつ強調領域75よりも内側に基準領域77を設定する。本実施形態では、基準領域77として、強調領域75より小さく、病変部76を包含する正方形の領域を設定する。基準領域77は、例えば、病変部76の外周との間に所定の寸法B以上の間隔(寸法Bは寸法Aより小さい。)を置いて設定される正方形の外周を有する。
表示制御部58は、上記のように設定した強調領域75に対して強調表示を行う。すなわち、表示制御部58は、内視鏡画像内の強調領域75の位置に強調表示としての図形を重畳表示する。本実施形態では、表示制御部58は、病変部76を囲む正方形枠状(枠形状)の図形78を、強調領域75の位置に合わせて表示する。なお、説明の都合上、基準領域77を破線で図示しているが、実際の内視鏡画像には、基準領域77を示す破線を表示しなくてもよい。
また、強調表示としての図形78は、内視鏡画像の他の部分とは異なる表示態様であり、表示制御部58は、例えば、内視鏡画像に多く含まれている色を抽出し、抽出した色と色相が異なる色で図形78を表示させる。
表示制御部58は、強調領域75及び基準領域77を設定した後、内視鏡画像内における病変部76の変動量に応じて、強調領域75の設定を変更するか否かを判断する。具体的には、表示制御部58は、基準領域77の外側に、病変部76の少なくとも一部が変移した場合、強調領域75及び基準領域77を再設定する。
以下では、注目領域検出モードにおいて、表示制御部58が強調領域75及び基準領域77を再設定するプロセスについて、図8に示すフローチャート及び図9に示す説明図に沿って説明を行う。ユーザーである医師がモード切替部13cを操作して、注目領域検出モードに切り替える(S11)。これにより、観察対象に対して、注目領域検出モード用照明光が照明される。この注目領域検出モード用照明光で照明された観察対象を撮像センサ38で撮像して内視鏡画像を取得する。注目領域検出モードに切り替えた場合、表示制御部58は、内視鏡画像を順次取得してモニタ18の表示画面81にリアルタイム表示する。(S12)。
注目領域検出モードにおけるリアルタイム表示中に、取得した内視鏡画像に対して、注目領域検出部71により観察対象内の注目領域を検出するための注目領域検出処理を行う(S13)。注目領域を検出した場合(S14でY)、注目領域検出部71による検出結果を内視鏡画像に関連付けて出力する。
そして、図9(A)に示すように、観察対象内に注目領域としての病変部76が検出された場合、すなわち、内視鏡画像79に検出結果が関連付けされている場合、表示制御部58は、内視鏡画像79に関連付けされた検出結果、特に病変部76の位置及び大きさの情報などを用いて強調領域75及び基準領域77を設定する(S15)。
強調領域75及び基準領域77の設定後、表示制御部58は、内視鏡画像79内の強調領域75の位置に強調表示としての図形78を重畳表示する(S16)。なお、図9〜図11、及び図14においては、図示の都合上、内視鏡画像79の他の部分と図形78との色の違いを、網掛けの有無で表現している。一方、観察対象内に病変部76が検出されていない場合は(S14でN)、当然強調表示を行わない。
次に、表示制御部58は、強調表示としての図形78を表示させるとともに(S16)、基準領域77の外側に病変部76が変移するか否かを監視する。そして、基準領域77の外側に、病変部76の少なくとも一部が変移した場合(S17でY)、表示制御部58は、強調領域75及び基準領域77を再設定する(S18)。図9に示す例では、内視鏡画像79内における病変部76の位置が基準領域77の内側(図9(B)に示す状態)から基準領域77の外側(図9(C)に示す状態)に移動したため、病変部76の位置及び大きさの情報などを用いて再設定される強調領域75及び基準領域77の位置も当然移動する。
表示制御部58は、再設定された強調領域75の位置に強調表示としての図形78を重畳表示する(S19)。これにより、図9(D)に示すように、図形78は、2点鎖線で示す再設定前の位置から実線で示す再設定後の位置まで移動する。一方、基準領域77から外側に病変部76が変移しない場合(S17でN)、表示制御部58は、強調領域75及び基準領域77を再設定しないため、強調表示としての図形78は同じ状態を維持する。
以上のように、内視鏡画像79における病変部76を図形78により強調表示しているため、医師は、病変部76の正確な位置を容易に認識することができる。また、内視鏡画像79から検出される病変部76が変移しても、病変部76が基準領域77から外側に変移しない場合は、強調表示としての図形78は同じ状態を維持し、基準領域77から外側に病変部76の少なくとも一部が出た場合にだけ、図形78が移動するので、図形78の変化する時間が短く、表示画面81におけるちらつきが少ない。このため、医師は、図形78の表示に阻害されることなく、病変部76の観察に集中することができる。
[第2実施形態]
上記第1実施形態では、内視鏡画像79から検出される病変部76が大きさを変えずに変移している例を上げているため(図9に示す例)、強調表示としての図形78は、病変部76の変移に応じて位置が移動するだけの変化となっているが、これに限らず、病変部76の変移に応じて図形78の大きさを変えるようにしてもよい。図10においては、内視鏡12のズーム倍率の変更などにより内視鏡画像79から検出される病変部76が拡大した場合を例に上げている。
先ず、図10(A)に示すように、注目領域検出モード下において、観察対象内に注目領域としての病変部76が検出された場合、上記第1実施形態と同様に、表示制御部58は、強調領域75及び基準領域77を設定し、強調表示としての図形78を重畳表示する。
そして、内視鏡画像79内における病変部76が変移し、基準領域77の内側(図10(B)に示す状態)から基準領域77の外側(図10(C)に示す状態)に病変部76が拡大する。基準領域77の外側に、病変部76の少なくとも一部が変移した場合、表示制御部58は、強調領域75及び基準領域77を再設定する。図10に示す例では、病変部76が拡大しているため、病変部76の位置及び大きさの情報などを用いて再設定される強調領域75及び基準領域77の大きさも当然拡大する。
表示制御部58は、再設定された強調領域75の位置に強調表示としての図形78を重畳表示する。これにより、図10(D)に示すように、図形78は、2点鎖線で示す再設定前の強調領域75の大きさから、実線で示す再設定後の強調領域75の大きさに拡大する。
以上のように、内視鏡画像79から検出される病変部76が拡大しても、病変部76が基準領域77から外側に変移しない場合は、強調表示としての図形78は同じ状態を維持し、基準領域77から外側に病変部76の少なくとも一部が出た場合にだけ、図形78が拡大する。これにより、図形78の変化する時間が短く、表示画面81におけるちらつきが少ない。
[第3実施形態]
上記第2実施形態では、内視鏡画像79から検出される病変部76が大幅に拡大した場合、病変部76に応じて拡大した強調表示としての図形78も拡大するため、変化に応じた画面のちらつきも大きい。そこで、以下で説明する第3実施形態では、表示制御部58は、第1の閾値α1と、第1の閾値α1よりも大きい第2の閾値α2という2段階の閾値を予め設定し、第1の閾値α1を超えた場合は、上記第2実施形態と同様に、病変部76に応じて強調表示としての図形78も拡大し、第2の閾値α2を超えた場合は、アイコンなどの表示面積の小さい強調表示に変更する。
先ず、図11(A)に示すように、注目領域検出モード下において、観察対象内に注目領域としての病変部76が検出された場合、上記第1実施形態と同様に、表示制御部58は、強調領域75を設定し、強調表示としての図形78を重畳表示する。
表示制御部58は、強調領域75を設定した後、病変部76の面積の拡大率Eを監視する。具体的には、予め設定された第1の閾値α1及び第2の閾値α2と、拡大率Eとを比較する。なお、拡大率Eは、内視鏡画像79の取得開始後から病変部76が最初に検出された際(すなわち強調領域75が設定された際)の病変部76の面積に対する現在表示されている病変部76の面積の比率である。
そして、内視鏡画像79内において病変部76が拡大し、拡大率Eが第1の閾値α1を超えた場合、表示制御部58は、強調領域75を再設定する。拡大率Eが第1の閾値α1を超えた場合の再設定では、上記第2実施形態と同様に、強調領域75の大きさを再設定する。表示制御部58は、再設定された強調領域75の位置に強調表示としての図形78を重畳表示する(以下では、説明の都合上、第1段階の強調表示とする。)。これにより、図11(B)に示すように、図形78は、2点鎖線で示す再設定前の大きさから、実線で示す再設定後の大きさに拡大する。
なお、第1段階の強調表示においては、上記第2実施形態と同様に、強調領域75及び基準領域77を設定し、基準領域77の外側に、病変部76の少なくとも一部が変移した場合、表示制御部58が強調領域75及び基準領域77を再設定するようにしてもよい。
その後、内視鏡画像79内において病変部76がさらに拡大し、拡大率Eが第2の閾値α2を超えた場合(図11(C)に示す状態)、表示制御部58は、強調領域75を再設定せず、強調表示を変更する(以下では、説明の都合上、第2段階の強調表示とする。)。
。本実施形態では、第2段階の強調表示の場合、第1段階の強調表示のように枠形状の図形78は表示せずに、内視鏡画像79の観察領域の外側、且つ病変部76の近傍にアイコン85を重畳表示する。本実施形態では、強調表示としてのアイコン85は、正方形の図形であるが、これに限るものではなく、他の図形でもよい。なお、アイコン85の面積は、強調表示の変更前の図形78よりも面積が減少している。
以上のように、内視鏡画像79から検出される病変部76が大幅に拡大した場合、拡大率Eが第1の閾値α1を超えるまでは、図形78は同じ状態を維持し、拡大率Eが第1の閾値α1を超えて、第2の閾値α2を超えるまでの範囲内では、図形78が拡大する。そして、拡大率Eが第2の閾値α2を超えてからは、強調表示を変更して図形78よりも面積の小さいアイコン85が表示されるので、表示画面81の変化が少なく、ちらつきが少ない。また、本実施形態では、正方形枠状の図形78から正方形のアイコン85に変化しているので、強調表示であることが認識しやすい。
なお、第2段階の強調表示の場合、図11に示すようなアイコン85に限定するものではなく、強調表示の変更前の図形78よりも面積が減少していればよい。例えば図12に示すように、第2段階の強調表示の場合、内視鏡画像79の周囲、かつ表示画面81に沿って帯状の図形86を表示してもよい。あるいは、図13に示すように、内視鏡画像79の周囲に座標軸Xを設定し、この座標軸X上において、病変部76に対応する部分87だけ表示態様を変えてもよい。図13に示す例では、座標軸X上で病変部76に対応する帯状の部分87だけ幅が広く、且つ網掛け模様を施しているが、これに限らず、座標軸X上で病変部76に対応する部分だけ色を変更したり、輝度を変えるなど異なる表示態様であればよい。
[第4実施形態]
上記各実施形態では、内視鏡画像から検出された注目領域の情報などを用いて強調領域及び基準領域を設定し、強調領域の設定を変更するか否かを判断しているが、これに限るものではなく、基準領域を設定せずに、病変部の代表座標を設定し、この代表座標の位置が閾値を超えて移動した場合、強調領域の設定を変更するか否かを判断してもよい。以下で説明する第4実施形態では、表示制御部58は、病変部76の代表座標91を設定し、この代表座標91の位置が閾値を超えて移動した場合、強調領域75の位置を再設定する。
先ず、図14(A)に示すように、注目領域検出モード下において観察対象内に注目領域としての病変部76が検出された場合、上記第1実施形態と同様に、表示制御部58は、強調領域75を設定するとともに、代表座標91を決定する。表示制御部58は、代表座標91として、例えば、病変部76の重心位置の座標を用いる。本実施形態においては、重心位置として病変部76の面積中心を算出する。
強調領域75及び代表座標91の設定後、表示制御部58は、内視鏡画像79内の強調領域75の位置に強調表示としての図形78を重畳表示する。なお、図14においては、代表座標91の位置に円形状の図形を表示しているが、これに限らず、代表座標91の位置に図形を表示しなくてもよい。
表示制御部58は、強調領域75を設定した後、代表座標91の移動量を監視する。具体的には、内視鏡画像79の取得開始後から病変部76が最初に検出された際(すなわち強調領域75が設定された際)の代表座標91の初期位置から現在表示されている病変部76における代表座標91までの移動量である。
そして、図14(B)及び図14(C)に示すように、内視鏡画像79内において病変部76が変移し、病変部76とともに代表座標91が移動する。符号Mは、代表座標91の移動量を示す。代表座標91の移動量Mが閾値βを超えた場合、表示制御部58は、強調領域75を再設定する。図14に示す例では、病変部76の代表座標91が移動しているため、病変部76の位置及び大きさの情報などを用いて再設定される強調領域75の位置も当然移動する。
表示制御部58は、再設定された強調領域75の位置に強調表示としての図形78を重畳表示する。図14(D)に示すように、図形78は、2点鎖線で示す再設定前の位置から実線で示す再設定後の位置に移動する。一方、代表座標91の移動量Mが閾値βを超えない場合、表示制御部58は、強調領域75を再設定しないため、強調表示としての図形78は同じ状態を維持する。
以上のように、内視鏡画像79から検出される病変部76が変移しても、代表座標91の移動量Mが閾値を超えない場合は、強調表示としての図形78は同じ状態を維持し、代表座標91の移動量Mが閾値を超えた場合にだけ、図形78が移動するので、図形78の変化が少なく、表示画面81におけるちらつきが少ない。
なお、上記各実施形態においては、第3実施形態における第2段階の強調表示を除き、強調表示としての図形は正方形枠状であるが、これに限らず、矩形(四角形)以外の多角形、円、楕円など、注目領域を囲むことができる枠形状であればよい。
上記各実施形態では、表示制御部58は、第3実施形態の第2段階の強調表示を除き、強調表示として強調領域の位置に枠形状の図形を重畳表示させているが、これに限るものではなく、強調表示として強調領域の色を変更してもよい。この場合、注目領域としての病変部76を検出し、強調領域を設定した場合、表示制御部58は、強調表示として強調領域を本来の色とは異なる色、例えば、内視鏡画像に多く含まれている色を抽出し、強調領域を内視鏡画像の他の部分と異なる色に変更してもよい。なお、ここでいう異なる色とは、例えば、色相が異なる色のことである。
なお、強調領域の強調表示としては、上記のものに限らず、彩度変化処理、コントラスト処理、ネガポジ反転処理、フィルタリング処理など、周囲に対して視覚的に区別することができる画像処理であればよい。あるいは、強調領域の画像処理による強調表示と、上記各実施形態における病変部を囲む図形による強調表示を組み合わせてもよい。
上記各実施形態では、4色のLED20a〜20dを用いて観察対象の照明を行っているが、レーザ光源と蛍光体を用いて観察対象の照明を行ってもよい。また、上記各実施形態では、4色のLED20a〜20dを用いて観察対象の照明を行っているが、キセノンランプ等の白色光光源と回転フィルタを用いて観察対象の照明を行ってもよい。また、カラーの撮像センサ38に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。
なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医用画像処理装置を適用しているが、カプセル内視鏡など、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MR画像、超音波画像、病理画像、PET(Positron Emission Tomography)画像などを取得する各種医用画像装置に対しても、本発明の医用画像処理装置の適用は可能である。
上記実施形態において、画像処理部56のような各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a アングルノブ
13b 静止画像取得部
13c モード切替部
13d ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
22 光源制御部
23 波長カットフィルタ
24 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
34 対物レンズ
36 拡大光学系
36a ズームレンズ
36b レンズ駆動部
38 撮像センサ
40 CDS回路
42 AGC回路
44 A/D変換回路
50 画像信号取得部
52 DSP
54 ノイズ低減部
56 画像処理部
58 表示制御部
60 通常モード画像処理部
62 特殊モード画像処理部
64 注目領域検出モード画像処理部
70 検出用画像処理部
71 注目領域検出部
75 強調領域
76 病変部
77 基準領域
78 図形
79 内視鏡画像
81 表示画面
85 アイコン
86 図形
87 部分
91 代表座標

Claims (12)

  1. 観察対象を撮像して医用画像を取得する医用画像取得部と、
    前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出する注目領域検出部と、
    前記注目領域よりも面積が広く、かつ前記注目領域を包含する強調領域を設定し、前記医用画像に対して前記強調領域を強調表示する表示制御部であって、前記医用画像内における前記注目領域の変動量に応じて、前記強調領域の設定を変更するか否かを判断する表示制御部とを有する医用画像処理装置。
  2. 前記表示制御部は、前記強調領域を設定する際、前記注目領域よりも外側かつ前記強調領域よりも内側に基準領域を設定し、前記基準領域の外側に前記注目領域の少なくとも一部が変移した場合、前記強調領域および前記基準領域を再設定する請求項1記載の医用画像処理装置。
  3. 前記表示制御部は、前記強調領域および前記基準領域を設定した後、前記強調領域および前記基準領域を再設定する場合、再設定前の前記強調表示の位置に対して、再設定後の前記強調表示の位置を移動する請求項2記載の医用画像処理装置。
  4. 前記表示制御部は、前記強調領域および前記基準領域を設定した後、前記強調領域および前記基準領域を再設定する場合、再設定前の前記強調表示に対して、再設定後の前記強調表示を拡大する請求項2記載の医用画像処理装置。
  5. 前記表示制御部は、前記強調領域を設定した後、前記注目領域の面積の拡大率が、第1の閾値を超えた場合、前記強調領域を再設定することにより、再設定前の前記強調表示に対して、再設定後の前記強調表示を拡大する請求項1記載の医用画像処理装置。
  6. 前記表示制御部は、前記強調領域を設定した後、前記注目領域の面積の拡大率が、前記第1の閾値よりも大きい第2の閾値を超えた場合、前記強調表示として前記医用画像と重畳表示する図形の面積を減少する変更を行う請求項5記載の医用画像処理装置。
  7. 前記表示制御部は、前記注目領域検出部により検出した前記注目領域から代表座標を決定し、前記代表座標の位置が閾値以上移動した場合、前記強調領域の位置を再設定する請求項1記載の医用画像処理装置。
  8. 前記表示制御部は、強調表示として、前記強調領域に重畳させた枠形状の図形を表示させる請求項1ないし7のいずれか1項記載の医用画像処理装置。
  9. 前記表示制御部は、強調表示として、前記強調領域の色を前記医用画像の他の部分と異なる色に変更する請求項1ないし6のいずれか1項記載の医用画像処理装置。
  10. 前記表示制御部は、前記拡大率が前記第2の閾値を超えた場合、前記強調表示として前記医用画像内の観察領域の外側にアイコンまたは帯状の図形を表示させる請求項6に記載の医用画像処理装置。
  11. 観察対象を照明するための照明光を発する光源装置と、
    前記照明光で照明された観察対象を撮像する撮像部を有する内視鏡と、
    前記撮像部で前記観察対象を撮像して得られる医用画像を取得する医用画像取得部と、
    前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出する注目領域検出部と、
    前記注目領域よりも面積が広く、かつ前記注目領域を包含する強調領域を設定し、前記医用画像に対して前記強調領域を強調表示する表示制御部であって、前記医用画像内における前記注目領域の変動量に応じて、前記強調領域の設定を変更するか否かを判断する表示制御部と、
    前記医用画像及び前記強調表示を表示する表示部とを備える内視鏡システム。
    内視鏡システム
  12. 医用画像取得部が、観察対象を撮像部で撮像して医用画像を取得するステップと、
    注目領域検出部が、前記医用画像取得部により取得した前記医用画像に対して前記観察対象内の注目領域を検出するステップと、
    表示制御部が、前記注目領域よりも面積が広く、かつ前記注目領域を包含する強調領域を設定ステップと、
    前記表示制御部が、前記医用画像に対して前記強調領域を強調表示するステップと、
    前記表示制御部が、前記医用画像内における前記注目領域の変動量に応じて、前記強調領域の設定を変更するか否かを判断するステップとを含む医用画像処理装置の作動方法。
JP2020549160A 2018-09-26 2019-09-20 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 Active JP7047122B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018180054 2018-09-26
JP2018180054 2018-09-26
PCT/JP2019/037100 WO2020066941A1 (ja) 2018-09-26 2019-09-20 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法

Publications (2)

Publication Number Publication Date
JPWO2020066941A1 true JPWO2020066941A1 (ja) 2021-08-30
JP7047122B2 JP7047122B2 (ja) 2022-04-04

Family

ID=69950602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020549160A Active JP7047122B2 (ja) 2018-09-26 2019-09-20 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法

Country Status (5)

Country Link
US (1) US11627864B2 (ja)
EP (1) EP3858223B1 (ja)
JP (1) JP7047122B2 (ja)
CN (1) CN112752535B (ja)
WO (1) WO2020066941A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7148625B2 (ja) * 2018-09-18 2022-10-05 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、医用画像処理装置の作動方法、及びプログラム
KR102283673B1 (ko) * 2020-11-30 2021-08-03 주식회사 코어라인소프트 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007222239A (ja) * 2006-02-21 2007-09-06 Fujinon Corp 体腔内観察装置
JP2011254936A (ja) * 2010-06-08 2011-12-22 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び追跡方法
JP5802364B2 (ja) * 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS582364B2 (ja) 1975-09-12 1983-01-17 理化学研究所 カヘンハチヨウブンプキカンガタシキソレ−ザソウチオモチイタブンコウコウドケイ
JPS55105103A (en) 1979-02-06 1980-08-12 Nippon Steel Corp Low-nox burner for radiant tube
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
JP5677555B2 (ja) * 2009-09-24 2015-02-25 富士フイルム株式会社 内視鏡装置
JP5597021B2 (ja) * 2010-04-15 2014-10-01 オリンパス株式会社 画像処理装置及びプログラム
JP5865606B2 (ja) * 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
US20130218978A1 (en) * 2012-02-17 2013-08-22 Numira Biosciences Systems and Methods for Project Collaboration in a Cloud Computing Environment
JP6120762B2 (ja) 2013-12-13 2017-04-26 オリンパス株式会社 画像処理装置
US9947077B2 (en) * 2013-12-31 2018-04-17 Thomson Licensing Video object tracking in traffic monitoring
EP3166468A4 (en) * 2014-07-10 2018-03-07 M.S.T. Medical Surgery Technologies Ltd. Improved interface for laparoscopic surgeries - movement gestures
EP3141178A4 (en) * 2014-11-26 2018-02-21 Olympus Corporation Diagnosis assistance device and diagnosis assistance information display method
US10835210B2 (en) * 2015-03-30 2020-11-17 Siemens Medical Solutions Usa, Inc. Three-dimensional volume of interest in ultrasound imaging
CN107613839B (zh) * 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007222239A (ja) * 2006-02-21 2007-09-06 Fujinon Corp 体腔内観察装置
JP5802364B2 (ja) * 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2011254936A (ja) * 2010-06-08 2011-12-22 Fujifilm Corp 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び追跡方法
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置

Also Published As

Publication number Publication date
EP3858223A4 (en) 2021-11-17
US11627864B2 (en) 2023-04-18
US20210204794A1 (en) 2021-07-08
JP7047122B2 (ja) 2022-04-04
CN112752535A (zh) 2021-05-04
CN112752535B (zh) 2024-04-05
WO2020066941A1 (ja) 2020-04-02
EP3858223A1 (en) 2021-08-04
EP3858223B1 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
JP6785941B2 (ja) 内視鏡システム及びその作動方法
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7337073B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US20230027950A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
JP2020065685A (ja) 内視鏡システム
EP3685731B1 (en) Medical image processing system, endoscope system, diagnostic support device, and medical task support device
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US11627864B2 (en) Medical image processing apparatus, endoscope system, and method for emphasizing region of interest
JP6858672B2 (ja) 医療画像処理システム及び内視鏡システム
JP6891294B2 (ja) 内視鏡システム及びその作動方法
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
US20230029239A1 (en) Medical image processing system and method for operating medical image processing system
JPWO2018061620A1 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP7447243B2 (ja) プロセッサ装置及びその作動方法
JP7196196B2 (ja) 内視鏡システム
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220323

R150 Certificate of patent or registration of utility model

Ref document number: 7047122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150