JP6751815B2 - 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法 - Google Patents

内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法 Download PDF

Info

Publication number
JP6751815B2
JP6751815B2 JP2019515030A JP2019515030A JP6751815B2 JP 6751815 B2 JP6751815 B2 JP 6751815B2 JP 2019515030 A JP2019515030 A JP 2019515030A JP 2019515030 A JP2019515030 A JP 2019515030A JP 6751815 B2 JP6751815 B2 JP 6751815B2
Authority
JP
Japan
Prior art keywords
image
endoscopic
diagnosis support
support system
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019515030A
Other languages
English (en)
Other versions
JPWO2018198327A1 (ja
Inventor
北村　誠
誠 北村
勝義 谷口
勝義 谷口
大和 合渡
大和 合渡
隆志 河野
隆志 河野
都士也 上山
都士也 上山
大和 神田
大和 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2018198327A1 publication Critical patent/JPWO2018198327A1/ja
Application granted granted Critical
Publication of JP6751815B2 publication Critical patent/JP6751815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法に関する。
従来、医用画像の画像処理を行い、予め指定された条件に合致する部分にマークを付けて表示する技術がある。例えば、日本国特開２００４−１５９７３９号公報には、診断支援を行うことができるように、Ｘ線ＣＴ装置、磁気共鳴撮影装置、超音波診断装置、Ｘ線撮影装置等によって取得した医用画像の画像処理を行い、病変の疑いのある部分にマークを付けて表示する画像処理装置が開示される。
しかし、従来の画像処理装置では、ユーザが医用画像に表れた病変を発見する前に、病変の疑いのある部分にマークが表示され、医用画像に対するユーザの注意を妨げることがある。
そこで、本発明は、内視鏡画像に対するユーザの注意を妨げないように、病変等の異常の候補となる領域である異常候補を示すことができ、内視鏡による診断を支援することができる内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法を提供することを目的とする。
実施形態の内視鏡診断支援システムは、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力する異常検出部と、
メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する画像生成部と、を備える。
実施形態の内視鏡診断支援プログラムは、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力するコードと、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成するコードと、をコンピュータに実行させる。
内視鏡診断支援システムの作動方法は、異常検出部が、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行って検出結果を出力し、
画像生成部が、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割し、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する。
本発明の第１の実施形態に係わる、内視鏡診断支援システムの構成例を示すブロック図である。 本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。 本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第１の実施形態の変形例１に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第１の実施形態の変形例１に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第１の実施形態の変形例２に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第１の実施形態の変形例３に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第１の実施形態の変形例４に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。 本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。 本発明の第２の実施形態に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。 本発明の第２の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。
以下、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
（構成）
図１は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の構成例を示すブロック図である。図１では、観察モードを設定するための、操作部Ｘと制御部３２を結ぶ信号線の図示は省略する。
内視鏡診断支援システム１は、光源駆動部１１と、内視鏡２１と、ビデオプロセッサ３１と、表示部４１と、操作部Ｘと、を有する。光源駆動部１１は、内視鏡２１と、ビデオプロセッサ３１と接続される。内視鏡２１及び操作部Ｘは、ビデオプロセッサ３１と接続される。ビデオプロセッサ３１は、表示部４１と接続される。
光源駆動部１１は、内視鏡２１の挿入部２２の先端部に設けられた照明部２３を駆動する回路である。光源駆動部１１は、ビデオプロセッサ３１内の制御部３２と、内視鏡２１内の照明部２３とに接続される。光源駆動部１１は、制御部３２の制御の下、照明部２３から被検体に照明光を照射させる。光源駆動部１１は、観察モードに応じ、通常光及び狭帯域光を照明部２３から照射させる。より具体的には、光源駆動部１１は、観察モードが、通常光モードであるとき、照明部２３から通常光を照射させ、また、狭帯域光観察モードであるとき、照明部２３から狭帯域光を照射させる。
内視鏡２１は、被検体内を撮像できるように構成される。内視鏡２１は、挿入部２２と、照明部２３と、撮像部２４と、を有する。
挿入部２２は、被検体内に挿入できるように、細長状に形成される。挿入部２２は、図示しない処置具挿通管路等の管路を有する。挿入部２２は、処置具挿通管路に挿通された図示しない処置具を先端部から突出させることが可能である。
照明部２３は、挿入部２２の先端部に設けられ、光源駆動部１１の制御下において、被検体に照明光を照射する。
撮像部２４は、挿入部２２の先端部に設けられ、照明光が照射された被検体を撮像し、撮像信号をビデオプロセッサ３１に出力する。
ビデオプロセッサ３１は、内視鏡２１の制御を行い、内視鏡２１から入力された撮像信号に基づいて、内視鏡画像Ａを生成し、内視鏡画像Ａに基づいて、表示画像Ｂを生成する。ビデオプロセッサ３１は、制御部３２と、異常検出部３３と、画像生成部３４と、を有する。
制御部３２は、内視鏡診断支援システム１内の各部の制御を行う回路である。制御部３２は、内視鏡２１から入力された撮像信号に基づいて、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行って内視鏡画像Ａを生成し、内視鏡画像Ａを異常検出部３３と画像生成部３４に出力する。制御部３２は、光源駆動部１１に制御信号を送信し、観察モードに応じて照明部２３を駆動する。観察モードは、操作部Ｘを介したユーザの指示入力によって設定される。制御部３２は、内視鏡画像Ａの明るさに応じ、照明部２３の発光量を調整しても構わない。内視鏡画像Ａは、動画像又は静止画像のいずれであっても構わない。
異常検出部３３は、内視鏡画像Ａに基づいて、病変等の異常の候補となる領域である異常候補領域Ｌの検出を行う回路である。異常検出部３３は、画像生成部３４と接続される。異常候補領域Ｌが検出されないとき、画像生成部３４は、異常候補領域Ｌが非検出であることを示す検出結果を画像生成部３４に出力する。異常候補領域Ｌが検出されたとき、異常検出部３３は、異常候補領域Ｌの検出位置及び大きさを示す検出結果を画像生成部３４に出力する。すなわち、異常検出部３３は、撮像部２４によって被検体内を撮像して取得された内視鏡画像Ａから異常候補領域Ｌの検出を行い、検出結果を出力する。異常候補領域Ｌは、病変候補領域である。
例えば、異常検出部３３は、機械学習等の人工知能技術を用いた演算装置によって構成される。より具体的には、異常検出部３３は、深層学習技術（ディープラーニング）により、特徴量の抽出を学習した演算装置によって構成される。異常検出部３３は、撮像部２４から入力された内視鏡画像Ａに対して、学習によって調整された所定の演算を行い、検出結果として、異常候補領域Ｌが非検出であることを示す特徴量、又は、異常候補領域Ｌの検出位置及び大きさを示す特徴量を画像生成部３４に出力する。
なお、異常検出部３３は、人工知能技術を用いた演算装置によって構成されるが、人工知能技術を用いない演算装置によって構成されても構わない。例えば、異常検出部３３は、互いに隣り合う画素との変化量から輪郭の抽出を行い、輪郭と、制御部３２内に予め記憶された異常候補領域Ｌのモデル情報とのマッチングによって抽出を行うように構成しても構わない。
画像生成部３４は、表示画像Ｂの生成を行う回路である。画像生成部３４は、制御部３２から入力された内視鏡画像Ａと、異常検出部３３から入力された検出結果と、操作部Ｘから入力された指示信号と、に基づいて表示画像Ｂの生成を行う。画像生成部３４は、指示信号に応じ、メイン領域Ｂ１の検出位置画像Ｄ１を非表示状態から表示状態に切り替える。
表示部４１は、画像生成部３４から入力された表示画像Ｂを表示画面上に表示できるように構成される。表示部４１は、例えば、長方形状の表示画面を有するモニタである。
操作部Ｘは、ユーザの操作によって指示入力できるように構成される。操作部Ｘは、画像生成部３４と接続される。操作部Ｘは、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅを有する。以下、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの全て、又は、一部を示すとき、操作部Ｘという。
フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ及び音声入力装置Ｘｄは、ビデオプロセッサ３１と有線又は無線によって接続される。フットスイッチＸａは、ユーザの足によるペダルの踏み込み操作が可能である。キーボードＸｂは、ユーザの手指による所定キーの押下操作が可能である。タブレットＸｃは、ユーザの手指によるタッチパネルのタッチ操作が可能である。音声入力装置Ｘｄは、ユーザの音声による操作が可能である。音声入力装置Ｘｄでは、ユーザの音声が入力され、入力された音声の中から表示状態及び非表示状態を指示する所定の音声を検出する。スコープスイッチＸｅは、内視鏡２１に取り付けられ、ユーザの手指による操作が可能である。
ユーザの手指、足又は音声によって表示状態を指示する指示入力が行われると、操作部Ｘは、表示状態を指示する指示信号を画像生成部３４に出力する。一方、ユーザの手指、足又は音声によって非表示状態を指示する指示入力が行われると、操作部Ｘは、非表示状態を指示する指示信号を画像生成部３４に出力する。すなわち、操作部Ｘは、ユーザの操作に応じて指示信号を出力する。
（表示画像Ｂの構成）
表示画像Ｂの構成について説明をする。
図２は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。図２の例では、内視鏡画像Ａ１、Ａ２は、全体が八角形であり、生体内管腔が曲線によって模式的に表される。
表示画像Ｂは、長方形の画像であり、長手方向に分割されたメイン領域Ｂ１とサブ領域Ｂ２を有する。図２の１点鎖線は、メイン領域Ｂ１とサブ領域Ｂ２の境界を示す仮想の線である。
メイン領域Ｂ１は、内視鏡画像Ａ１を表示する領域である。メイン領域Ｂ１は、内視鏡画像Ａ１の視認性を向上できるように、サブ領域Ｂ２よりも広くなるように設定される。内視鏡画像Ａ１は、メイン領域Ｂ１内に、内視鏡画像Ａ２よりも大きく表示される。
サブ領域Ｂ２は、異常候補領域Ｌの検出位置を表示する領域である。サブ領域Ｂ２は、メイン領域Ｂ１と隣り合うように配置される。サブ領域Ｂ２には、検出位置を示すための検出位置画像Ｄ２を重畳するための内視鏡画像Ａ２が配置される（図４）。
（作用）
続いて、画像生成部３４の表示画像生成処理について説明をする。
図３は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の表示画像生成処理の一例を示すフローチャートである。図４と図５は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。
挿入部２２を挿入して被検体を撮像すると、撮像部２４は、撮像信号を制御部３２に出力する。制御部３２は、撮像信号に基づいて、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行い、異常検出部３３と画像生成部３４に内視鏡画像Ａを出力する。
異常検出部３３は、所定の演算を行い、検出結果を画像生成部３４に出力する。
画像生成部３４は、制御部３２から入力された内視鏡画像Ａの大きさを調整し、メイン領域Ｂ１に内視鏡画像Ａ１を配置し、サブ領域Ｂ２に内視鏡画像Ａ２を配置する。
異常候補領域Ｌが検出されたか否かを判定する（Ｓ１１）。異常候補領域Ｌが非検出であることを示す検出結果が異常検出部３３から入力されたと、画像生成部３４が判定すると（Ｓ１１：ＮＯ）、処理は、Ｓ１１を繰り返す。一方、図４に示すように、異常候補領域Ｌの検出位置及び大きさを示す検出結果が入力されたと、画像生成部３４が判定すると（Ｓ１１：ＹＥＳ）、処理はＳ１２に進む。
メイン領域Ｂ１の検出マークＭａと、サブ領域Ｂ２の検出位置画像Ｄ２とを表示状態にする（Ｓ１２）。画像生成部３４は、メイン領域Ｂ１の右下部、かつ内視鏡画像Ａ１の外方において、異常候補領域Ｌを検出したことを示す異常検出画像である検出マークＭａを表示状態にする。すなわち、検出マークＭａは、メイン領域Ｂ１の周縁部、かつ内視鏡画像Ａ１の近傍に配置される。図４の例では、検出マークＭａは、旗を模した画像であるが、他の画像であっても構わない。
また、画像生成部３４は、検出結果に基づき、サブ領域Ｂ２の異常候補領域Ｌの検出位置に対応する位置を示すように、検出位置画像Ｄ２を表示状態にする。図４の例では、検出位置画像Ｄ２は、矩形枠画像であるが、他の画像であっても構わない。
指示信号の入力があるか否かを判定する（Ｓ１３）。表示状態を指示する指示信号の入力がないと、画像生成部３４が判定すると、処理は、Ｓ１１に戻る。一方、表示状態を指示する指示信号の入力があると、画像生成部３４が判定すると、処理は、Ｓ１４に進む。
メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にする（Ｓ１４）。図５に示すように、画像生成部３４は、メイン領域Ｂ１の異常候補領域Ｌの検出位置に対応する位置を示すように、検出位置を示すための検出位置画像Ｄ１を表示状態にする。図５の例では、検出位置画像Ｄ１は、矩形枠画像であるが、他の画像であっても構わない。すなわち、メイン領域Ｂ１に配置される検出位置画像Ｄ１は、矩形枠画像である。
操作部Ｘによって非表示状態を指示する指示入力があり、又は、異常候補領域Ｌが非検出になると、画像生成部３４は、検出位置画像Ｄ１を非表示状態にする。
Ｓ１１〜Ｓ１４の処理が第１の実施形態に係わる表示画像生成処理を構成する。
すなわち、画像生成部３４は、メイン領域Ｂ１と、メイン領域Ｂ１よりも小さなサブ領域Ｂ２とに分割され、内視鏡画像Ａ１がメイン領域Ｂ１に配置され、前記検出結果に応じ、異常候補領域Ｌを検出したことを示す異常検出画像がメイン領域Ｂ１の周縁部に配置された、表示画像Ｂを生成する。画像生成部３４は、検出結果に応じ、サブ領域Ｂ２の異常候補領域Ｌの検出位置に対応する位置を示すように、検出位置を示すための検出位置画像Ｄ２を配置する。画像生成部３４は、異常検出画像がメイン領域Ｂ１に配置された表示画像Ｂを生成した後、メイン領域Ｂ１の検出位置に対応する位置を示すように、検出位置画像Ｄ１を配置する。
すなわち、内視鏡診断支援方法は、異常検出部３３により、撮像部２４によって被検体内を撮像して取得された内視鏡画像Ａから異常候補領域Ｌの検出を行って検出結果を出力し、画像生成部３４により、メイン領域Ｂ１と、メイン領域Ｂ１よりも小さなサブ領域Ｂ２とに分割され、内視鏡画像Ａ１がメイン領域Ｂ１に配置され、前記検出結果に応じ、異常候補領域Ｌを検出したことを示す異常検出画像がメイン領域Ｂ１の周縁部に配置された、表示画像Ｂを生成する。
これにより、内視鏡診断支援システム１では、メイン領域Ｂ１における異常候補領域Ｌの検出位置画像Ｄ１は、ユーザが指示入力をするまで非表示状態にされ、内視鏡画像Ａ１に対するユーザの注意を妨げない。
上述の第１の実施形態によれば、内視鏡診断支援システム１は、内視鏡画像Ａ１に対するユーザの注意を妨げないように、病変等の異常の候補である異常候補領域Ｌを示すことができ、内視鏡２１による診断を支援することができる。
（第１の実施形態の変形例１）
第１の実施形態では、検出マークＭａは、メイン領域Ｂ１の右下部に表示されたが、検出マークＭｂは、内視鏡画像Ａ１の四隅に表示されても構わない。
図６及び図７は、本発明の第１の実施形態の変形例１に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
図６に示すように、異常検出部３３から異常候補領域Ｌの検出位置及び大きさを示す検出結果が入力されると、画像生成部３４は、メイン領域Ｂ１の検出マークＭｂを表示状態にし、サブ領域Ｂ２の検出位置画像Ｄ２を表示状態にする。
図６の例では、検出マークＭｂは、メイン領域Ｂ１の周縁部、かつ内視鏡画像Ａ１の外方に、内視鏡画像Ａ１の四隅のテーパ部に沿うように配置される。検出マークＭｂは、所定の太さを有する帯状画像である。なお、図６の例では、検出マークＭｂは、内視鏡画像Ａ１の四隅の全てに配置されるが、四隅の全てではなく、四隅のうち少なくとも一部に配置されるように構成しても構わない。
図７に示すように、ユーザが、操作部Ｘによって表示状態を指示入力すると、メイン領域Ｂ１の検出位置画像Ｄ１は、表示状態にされる。
すなわち、画像生成部３４は、検出マークＭｂを内視鏡画像Ａ１の四隅に配置する。
これにより、内視鏡診断支援システム１は、ユーザがより気付きやすいように、検出マークＭｂを表示することができる。
（第１の実施形態の変形例２）
第１の実施形態の変形例１では、帯状画像の検出マークＭｂが表示されるが、三角形画像の検出マークＭｃが表示されても構わない。
図８は、本発明の第１の実施形態の変形例２に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
図８の例では、検出マークＭｃは、メイン領域Ｂ１の周縁部、かつ内視鏡画像Ａ１の外方に、内視鏡画像Ａ１の四隅のテーパ部に沿うように配置される。検出マークＭｃは、所定の色で塗り潰した三角形画像である。なお、図８の例では、検出マークＭｃは、内視鏡画像Ａ１の四隅の全てに配置されるが、四隅の全てではなく、四隅のうち少なくとも一部に配置されるように構成しても構わない。
これにより、内視鏡診断支援システム１は、ユーザがより気付きやすいように、検出マークＭｃを表示することができる。
（第１の実施形態の変形例３）
第１の実施形態と、第１の実施形態の変形例１と２では、内視鏡画像Ａ１、Ａ２は、全体が八角形であるが、八角形でなくても構わない。
図９は、本発明の第１の実施形態の変形例３に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
メイン領域Ｂ１には、全体が四角形である内視鏡画像Ａ１ｄが配置され、また、サブ領域Ｂ２には、内視鏡画像Ａ１ｄを縮小した内視鏡画像Ａ２ｄが配置される。
図９の例では、検出マークＭｄは、内視鏡画像Ａ１ｄの四隅に配置され、四隅に沿って屈曲したＬ字状画像である。なお、検出マークＭｄは、目立つように、点滅表示にしても構わない。
これにより、内視鏡診断支援システム１は、全体が四角形である内視鏡画像Ａ１ｄの四隅に、ユーザがより気付きやすいように、検出マークＭｄを表示することができる。
（第１の実施形態の変形例４）
第１の実施形態の変形例３では、内視鏡画像Ａ１ｄ、Ａ２ｄは、全体が四角形であるが、互いに対向する辺が湾曲状であっても構わない。
図１０は、本発明の第１の実施形態の変形例４に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。
メイン領域Ｂ１には、上下部が直線状、かつ左右両側部が湾曲状である内視鏡画像Ａ１ｅが配置され、また、サブ領域Ｂ２には、内視鏡画像Ａ１ｅを縮小した内視鏡画像Ａ２ｅが配置される。
図１０の例では、検出マークＭｅは、内視鏡画像Ａ１ｅの四隅に配置された、１辺を湾曲させた三角形画像である。
これにより、内視鏡診断支援システム１は、互いに対向する辺が湾曲状である内視鏡画像Ａ１ｅの四隅に、ユーザがより気付きやすいように、検出マークＭｅを表示することができる。
（第１の実施形態の変形例５）
第１の実施形態及び第１の実施形態の変形例１から４では、操作部Ｘの操作によって検出位置画像Ｄ１を表示状態にする指示入力が行われるが、ユーザの目の動きを検出して検出位置画像Ｄ１を表示状態にしても構わない。
図１１は、本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システム１の表示画像生成処理の一例を示すフローチャートである。図１２は、本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。
本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。
本変形例では、内視鏡診断支援システム１は、カメラＺを有する（図１の２点鎖線）。
カメラＺは、例えば、内視鏡画像Ａ１を観察するユーザの目の動きを検出できるように、表示部４１の縁等に取り付けられる。カメラＺは、画像生成部３４と接続される。カメラＺは、ユーザの目を撮像し、画像生成部３４にユーザの目の画像を出力する。
続いて、本変形例の動作について説明をする。
Ｓ２１、Ｓ２２は、Ｓ１１、Ｓ１２と同じであるため、説明を省略する。
ユーザの目が所定の動きをしているか否かを判定する（Ｓ２３）。ユーザの目が所定の動きをしていないと、画像生成部３４が判定するとき、処理は２１に戻る。一方、ユーザの目が所定の動きをしていると、画像生成部３４が判定するとき、処理はＳ２４に進む。
所定の動きは、例えば、ユーザが目視によって内視鏡画像Ａ内の異常を発見し、ユーザの視線が、異常候補領域Ｌの検出位置に、所定時間向けられた動きであっても構わない。また、所定の動きは、ユーザが検出マークＭａに気付き、ユーザの視線が、メイン領域Ｂ１から表示画像Ｂの全体に移った動きであっても構わない。また、所定の動きは、予め設定された表示画像Ｂ内の所定位置に、ユーザの視線が向けられた動きであっても構わない。
メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にする（Ｓ２４）。検出位置画像Ｄ１は、メイン領域Ｂ１内の異常候補領域Ｌの近傍に表示される矢印画像である。メイン領域Ｂ１に配置される検出位置画像Ｄ１は、矢印画像である。
画像生成部３４は、操作部Ｘによる指示入力、カメラＺによる目の所定の動きの検出、又は、異常候補領域Ｌの非検出により、検出位置画像Ｄ１を非表示状態にする。
画像生成部３４は、観察モードが通常観察モードから狭帯域光モードに切り替えられたとき、ユーザの内視鏡画像Ａ１に対する注意を妨げないように、メイン領域Ｂ１の検出位置画像Ｄ１を非表示にする。
異常検出部３３内に、内視鏡画像Ａから所定の処置具を検出する処置具検出部Ｔ１（図１の２点鎖線）を有し、内視鏡画像Ａから所定の処置具が検出されたとき、ユーザの注意を妨げないように、メイン領域Ｂ１の検出位置画像Ｄ１を非表示にする。
すなわち、画像生成部３４は、所定の表示切替条件を満たすと判定するとき、メイン領域Ｂ１の検出位置画像Ｄ１を表示状態又は非表示状態のいずれかに切り替える。所定の表示切替条件は、カメラＺから入力されたユーザの目の画像が所定の動きをしているか否かである。また、所定の表示切替条件は、観察モードが狭帯域光観察モードであるか否かである。また、所定の表示切替条件は、処置具検出部Ｔ１によって所定の処置具が検出されたか否かである。
Ｓ２１からＳ２４の処理が、第１の実施形態の変形例５に係わる、表示画像生成処理を構成する。
これにより、内視鏡診断支援システム１は、所定の表示切替条件によって検出位置画像Ｄ１を表示状態又は非表示状態のいずれかに切り替えることができ、ユーザに操作部Ｘを操作する手間をかけさせない。
（第２の実施形態）
第１の実施形態及び第１の実施形態の変形例１から５では、サブ領域Ｂ２は、異常候補領域Ｌの検出位置を表示するが、異常候補領域Ｌの拡大画像Ｅを表示しても構わない。
図１３は、本発明の第２の実施形態に係わる、内視鏡診断支援システム１の表示画像生成処理の一例を示すフローチャートである。図１４は、本発明の第２の実施形態に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。
第２の実施形態の内視鏡診断支援システム１の動作について、説明をする。
Ｓ３１からＳ３３は、Ｓ１１からＳ１３と同じであるため、説明を省略する。
メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にし、サブ領域Ｂ２に拡大画像Ｅを表示する（Ｓ３４）。図１４に示すように、画像生成部３４は、メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にする。また、画像生成部３４は、サブ領域Ｂ２に、所定の拡大率の拡大画像Ｅを表示する。
すなわち、画像生成部３４は、サブ領域Ｂ２に、異常候補領域Ｌを拡大した拡大画像Ｅを配置する。
Ｓ３１からＳ３４の処理が、第２の実施形態に係わる、表示画像生成処理を構成する。
これにより、内視鏡診断支援システム１では、ユーザの指示入力により、サブ領域Ｂ２に拡大画像Ｅを表示することができ、異常候補領域Ｌの視認性が向上する。
上述の第２の実施形態によれば、内視鏡診断支援システム１は、内視鏡画像Ａ１に対するユーザの注意を妨げないように、病変等の異常の候補である異常候補領域Ｌを示すことができ、内視鏡２１による診断を支援することができる。
なお、実施形態及び変形例では、検出マークＭａ、Ｍｂ、Ｍｃ、Ｍｄ、Ｍｅと検出位置画像Ｄ１、Ｄ２は、ユーザが見やすいように、互いに同じ色であっても構わない。
なお、実施形態及び変形例では、画像生成部３４は、内視鏡画像Ａ１、Ａ１ｄ、Ａ１ｅ、Ａ２、Ａ２ｄ、Ａ２ｅの外方に検出位置画像Ｄ１、Ｄ２が配置されないように、表示画像Ｂを生成しても構わない。
なお、実施形態及び変形例では、画像生成部３４は、メイン領域Ｂ１に検出位置画像Ｄ１を配置するとき、サブ領域Ｂ２にも検出位置画像Ｄ２を配置するが、メイン領域Ｂ１に検出位置画像Ｄ１を配置するとき、サブ領域Ｂ２に検出位置画像Ｄ２を配置しないように、表示画像Ｂを生成しても構わない。
なお、実施形態及び変形例では、操作部Ｘは、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの全てによって構成されるが、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの一部によって構成されても構わない。すなわち、操作部Ｘは、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの少なくともいずれか１つ以上を備える。
なお、第１の実施形態では、検出マークＭａは、メイン領域Ｂ１の右下部に表示されたが、メイン領域Ｂ１の右上部、左上部又は左下部のいずれに表示されても構わない。
なお、第１の実施形態の変形例５では、所定の表示切替条件は、ユーザの目の画像が所定の動きをしているか否かであるが、タイマＴ２を有し（図１の２点鎖線）、異常検出部３３は、異常候補領域Ｌにおける異常の種類を検出可能であり、タイマＴ２は、異常候補領域Ｌが検出された後、異常の種類に応じた所定時間を計測可能であり、所定の表示切替条件は、異常候補領域Ｌが検出された後、所定時間が経過したか否かであっても構わない。
なお、第２の実施形態における所定の拡大率は、予め設定されるが、異常候補領域Ｌの大きさに応じて変化するように構成しても構わない。
本明細書における各「部」は、実施形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウェア・ルーチンに１対１には対応しない。したがって、本明細書では、実施形態の各機能を有する仮想的回路ブロック（部）を想定して実施形態を説明した。また、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。
例えば、ビデオプロセッサ３１がＣＰＵ５１及びメモリ５２を有し、メモリ５２に記憶された内視鏡診断支援プログラム５３を実行することにより、異常検出部３３及び画像生成部３４の機能が実現されても構わない（図１の２点鎖線）。すなわち、内視鏡診断支援プログラム５３は、撮像部２４によって被検体内を撮像して取得された内視鏡画像Ａから異常候補領域Ｌの検出を行い、検出結果を出力するコードと、メイン領域Ｂ１と、メイン領域Ｂ１よりも小さなサブ領域Ｂ２とに分割され、内視鏡画像Ａ１がメイン領域Ｂ１に配置され、前記検出結果に応じ、異常候補領域Ｌを検出したことを示す異常検出画像がメイン領域Ｂ１の周縁部に配置された、表示画像Ｂを生成するコードと、をコンピュータに実行させる。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (20)

  1. 撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力する異常検出部と、
    メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する画像生成部と、
    を備えることを特徴とする内視鏡診断支援システム。
  2. 前記内視鏡画像は、動画像であり、
    前記画像生成部は、前記検出結果に応じ、前記サブ領域の前記異常候補領域の検出位置に対応する位置に、前記検出位置を示すための検出位置画像を配置する
    ことを特徴とする請求項１に記載の内視鏡診断支援システム。
  3. 前記画像生成部は、前記異常検出画像が前記メイン領域に配置された前記表示画像を生成した後、前記メイン領域の前記検出位置に対応する位置を示すように、前記検出位置画像を配置する
    ことを特徴とする請求項２に記載の内視鏡診断支援システム。
  4. 前記画像生成部は、前記サブ領域に、前記異常候補領域を拡大した拡大画像を配置する
    ことを特徴とする請求項１に記載の内視鏡診断支援システム。
  5. 前記異常検出画像と前記検出位置画像は、互いに同じ色である
    ことを特徴とする請求項２に記載の内視鏡診断支援システム。
  6. 前記異常検出画像は、検出マークである
    ことを特徴とする請求項１に記載の内視鏡診断支援システム。
  7. 前記画像生成部は、前記異常検出画像を前記内視鏡画像の四隅に配置する
    ことを特徴とする請求項１に記載の内視鏡診断支援システム。
  8. 前記画像生成部は、前記内視鏡画像の外方に前記検出位置画像が配置されないように、前記表示画像を生成する
    ことを特徴とする請求項３に記載の内視鏡診断支援システム。
  9. 前記メイン領域に配置される前記検出位置画像は、矩形枠画像である
    ことを特徴とする請求項３に記載の内視鏡診断支援システム。
  10. 前記メイン領域に配置される前記検出位置画像は、矢印画像である
    ことを特徴とする請求項３に記載の内視鏡診断支援システム。
  11. ユーザの操作に応じて指示信号を出力する操作部を有し、
    前記画像生成部は、前記指示信号に応じ、前記メイン領域の前記検出位置画像を表示状態又は非表示状態のいずれかに切り替える
    ことを特徴とする請求項３に記載の内視鏡診断支援システム。
  12. 前記操作部は、フットスイッチ、キーボード、タブレット、音声入力装置及びスコープスイッチの少なくともいずれか１つ以上を備える
    ことを特徴とする請求項１１に記載の内視鏡診断支援システム。
  13. 前記画像生成部は、所定の表示切替条件を満たすと判定するとき、前記メイン領域の前記検出位置画像を表示状態又は非表示状態のいずれかに切り替える
    ことを特徴とする請求項３に記載の内視鏡診断支援システム。
  14. カメラを有し、
    前記所定の表示切替条件は、前記カメラから入力されたユーザの目の画像が所定の動きをしているか否かである
    ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
  15. タイマを有し、
    前記異常検出部は、前記異常候補領域における異常の種類を検出可能であり、
    前記タイマは、前記異常候補領域が検出された後、前記異常の種類に応じた所定時間を計測可能であり、
    前記所定の表示切替条件は、前記異常候補領域が検出された後、前記所定時間が経過したか否かである
    ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
  16. 前記所定の表示切替条件は、観察モードが狭帯域光観察モードであるか否かである
    ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
  17. 処置具検出部を有し、
    前記処置具検出部は、前記内視鏡画像から所定の処置具の検出を行い、
    前記所定の表示切替条件は、前記処置具検出部によって前記所定の処置具が検出されたか否かである
    ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
  18. 前記画像生成部は、前記メイン領域に前記検出位置画像を配置するとき、前記サブ領域に前記検出位置画像を配置しないように、前記表示画像を生成する
    ことを特徴とする請求項３に記載の内視鏡診断支援システム。
  19. 撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力するコードと、
    メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成するコードと、
    をコンピュータに実行させるための内視鏡診断支援プログラム。
  20. 異常検出部が、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行って検出結果を出力し、
    画像生成部が、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割し、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成することを特徴とする内視鏡診断支援システムの作動方法。
JP2019515030A 2017-04-28 2017-04-28 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法 Active JP6751815B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/016961 WO2018198327A1 (ja) 2017-04-28 2017-04-28 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法

Publications (2)

Publication Number Publication Date
JPWO2018198327A1 JPWO2018198327A1 (ja) 2020-03-12
JP6751815B2 true JP6751815B2 (ja) 2020-09-09

Family

ID=63918852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515030A Active JP6751815B2 (ja) 2017-04-28 2017-04-28 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法

Country Status (4)

Country Link
US (1) US20200126223A1 (ja)
JP (1) JP6751815B2 (ja)
CN (1) CN110868907B (ja)
WO (1) WO2018198327A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110325098A (zh) 2016-11-28 2019-10-11 适内有限责任公司 具有可分离一次性轴的内窥镜
WO2020136858A1 (ja) * 2018-12-28 2020-07-02 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
WO2020170809A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置、内視鏡システム、及び医療画像処理方法
EP3932290B1 (en) 2019-02-26 2023-08-16 FUJIFILM Corporation Medical image processing device, processor device, endoscope system, medical image processing method, and program
JP7166430B2 (ja) * 2019-03-08 2022-11-07 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2021033303A1 (ja) * 2019-08-22 2021-02-25 Hoya株式会社 訓練データ生成方法、学習済みモデル及び情報処理装置
WO2021095446A1 (ja) * 2019-11-11 2021-05-20 富士フイルム株式会社 情報表示システムおよび情報表示方法
CN111064934A (zh) * 2019-12-30 2020-04-24 元力(天津)科技有限公司 一种医用影像处理系统及方法
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
JP7260060B2 (ja) * 2020-03-30 2023-04-18 日本電気株式会社 情報処理装置、表示方法、及びプログラム
JP7438038B2 (ja) 2020-06-25 2024-02-26 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
WO2024004524A1 (ja) * 2022-06-29 2024-01-04 富士フイルム株式会社 診断支援装置、超音波内視鏡、診断支援方法、及びプログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5482049A (en) * 1994-03-16 1996-01-09 Siemens Medical Systems, Inc. Programmable electronic blood pressure monitoring labels
US6371908B1 (en) * 1998-05-01 2002-04-16 Asahi Kogaku Kogyo Kabushiki Kaisha Video endoscopic apparatus for fluorescent diagnosis
WO2005009206A2 (en) * 2003-06-25 2005-02-03 Besson Guy M Dynamic multi-spectral imaging system
US8675059B2 (en) * 2010-07-29 2014-03-18 Careview Communications, Inc. System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients
JP4578817B2 (ja) * 2004-02-06 2010-11-10 オリンパス株式会社 外科手術用病変部同定システム
US7315304B2 (en) * 2004-04-15 2008-01-01 Edda Technology, Inc. Multiple volume exploration system and method
JP4477451B2 (ja) * 2004-08-23 2010-06-09 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
US8423123B2 (en) * 2005-09-30 2013-04-16 Given Imaging Ltd. System and method for in-vivo feature detection
JP5005981B2 (ja) * 2006-08-03 2012-08-22 オリンパスメディカルシステムズ株式会社 画像表示装置
KR100936456B1 (ko) * 2006-12-07 2010-01-13 주식회사 메디슨 초음파 시스템
EP2174578A4 (en) * 2007-07-12 2013-07-03 Olympus Medical Systems Corp IMAGE PROCESSING DEVICE, YOUR OPERATING PROCESS AND YOUR PROGRAM
US20100329520A2 (en) * 2007-11-08 2010-12-30 Olympus Medical Systems Corp. Method and System for Correlating Image and Tissue Characteristic Data
KR100868339B1 (ko) * 2007-11-15 2008-11-12 주식회사 인트로메딕 의료용 영상 데이터의 디스플레이 방법과 의료용 영상데이터를 이용한 캡쳐 영상 제공 시스템 및 그 방법
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
US8120301B2 (en) * 2009-03-09 2012-02-21 Intuitive Surgical Operations, Inc. Ergonomic surgeon control console in robotic surgical systems
EP2347791A4 (en) * 2009-08-19 2012-05-30 Olympus Medical Systems Corp MEDICAL SYSTEM AND MEDICAL TAX PROCEDURE
JP5220780B2 (ja) * 2010-02-05 2013-06-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
US9984474B2 (en) * 2011-03-04 2018-05-29 General Electric Company Method and device for measuring features on or near an object
JP5822554B2 (ja) * 2011-06-17 2015-11-24 キヤノン株式会社 画像処理装置、画像処理方法、撮影システム及びプログラム
US20130096457A1 (en) * 2011-10-18 2013-04-18 Qscope, LLC Oral scope system with image sensor and method for visual examination of oral cavity and upper airway
TWI548394B (zh) * 2012-09-24 2016-09-11 榮晶生物科技股份有限公司 影像偵測裝置及影像偵測方法
EP2910173A4 (en) * 2012-10-18 2016-06-01 Olympus Corp IMAGE PROCESSING DEVICE AND METHOD
KR102043133B1 (ko) * 2012-11-16 2019-11-12 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
US9378638B2 (en) * 2013-06-04 2016-06-28 American Megatrends, Inc. Emergency alert system using management controller in network
US9697541B1 (en) * 2013-09-12 2017-07-04 Isaac S. Daniel System and method of controlling multimedia display for a game of chance
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
JP5810248B2 (ja) * 2013-10-02 2015-11-11 オリンパス株式会社 内視鏡システム
CN103622662A (zh) * 2013-11-05 2014-03-12 乐陵市信诺医疗器械有限公司 高清晰结直肠镜检查系统
JP6344039B2 (ja) * 2014-04-28 2018-06-20 富士通株式会社 画像表示装置、画像表示方法及びプログラム
US10216762B2 (en) * 2014-06-04 2019-02-26 Panasonic Corporation Control method and non-transitory computer-readable recording medium for comparing medical images
KR101728045B1 (ko) * 2015-05-26 2017-04-18 삼성전자주식회사 의료 영상 디스플레이 장치 및 의료 영상 디스플레이 장치가 사용자 인터페이스를 제공하는 방법
CN107613839B (zh) * 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
CN108135457B (zh) * 2015-10-26 2020-02-21 奥林巴斯株式会社 内窥镜图像处理装置
JPWO2017073337A1 (ja) * 2015-10-27 2017-11-09 オリンパス株式会社 内視鏡装置及びビデオプロセッサ
EP3360461A4 (en) * 2015-11-10 2019-05-08 Olympus Corporation ENDOSCOPE DEVICE
WO2018230074A1 (ja) * 2017-06-14 2018-12-20 オリンパス株式会社 内視鏡画像観察支援システム
WO2019146066A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
US10810460B2 (en) * 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11455090B2 (en) * 2020-05-15 2022-09-27 Digits Financial, Inc. System and method for detecting and resizing a window for improved content delivery

Also Published As

Publication number Publication date
CN110868907B (zh) 2022-05-17
CN110868907A (zh) 2020-03-06
US20200126223A1 (en) 2020-04-23
WO2018198327A1 (ja) 2018-11-01
JPWO2018198327A1 (ja) 2020-03-12

Similar Documents

Publication Publication Date Title
JP6751815B2 (ja) 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援システムの作動方法
US11602263B2 (en) Insertion system, method and computer-readable storage medium for displaying attention state information over plurality of times
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
WO2020110214A1 (ja) 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
US20200305821A1 (en) Imaging support apparatus, method, and program
JP7363878B2 (ja) 放射線画像表示装置および画像表示方法
KR20110057978A (ko) 의사 손동작으로 제어되는 수술실용 환자정보 디스플레이 장치와 그 제어방법
JP6062112B2 (ja) 内視鏡システム
US10506997B2 (en) X-ray diagnostic apparatus
JP7017646B2 (ja) 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム
JP5553569B2 (ja) 画像表示装置及び画像表示方法
JP2012090785A (ja) 電子内視鏡装置
JP2004113592A (ja) 医用画像診断装置
JP3499946B2 (ja) 画像診断装置
JP4598178B2 (ja) 電子内視鏡用プロセッサ、及び電子内視鏡システム
JP7526639B2 (ja) 操作装置及びｘ線診断システム
JP2015188559A (ja) 医療用イメージング装置
WO2020121536A1 (ja) ユーザインタフェース装置、医療システム、操作制御方法、及び操作制御プログラム
JPWO2019225231A1 (ja) 手術用情報処理装置、情報処理方法及びプログラム
WO2021176665A1 (ja) 手術支援システム、手術支援方法、及び、プログラム
WO2023112499A1 (ja) 内視鏡画像観察支援装置及び内視鏡システム
JP5932188B1 (ja) 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム
JP2012000125A (ja) 放射線撮影装置
WO2024171356A1 (ja) 内視鏡用画像処理装置および内視鏡用画像処理装置の作動方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191018

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R151 Written notification of patent or utility model registration

Ref document number: 6751815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250