JP6956853B2 - 診断支援装置、診断支援プログラム、及び、診断支援方法 - Google Patents

診断支援装置、診断支援プログラム、及び、診断支援方法 Download PDF

Info

Publication number
JP6956853B2
JP6956853B2 JP2020508824A JP2020508824A JP6956853B2 JP 6956853 B2 JP6956853 B2 JP 6956853B2 JP 2020508824 A JP2020508824 A JP 2020508824A JP 2020508824 A JP2020508824 A JP 2020508824A JP 6956853 B2 JP6956853 B2 JP 6956853B2
Authority
JP
Japan
Prior art keywords
period
region
interest
setting unit
diagnostic support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020508824A
Other languages
English (en)
Other versions
JPWO2019187049A1 (ja
Inventor
隆志 河野
大和 神田
勝義 谷口
北村　誠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2019187049A1 publication Critical patent/JPWO2019187049A1/ja
Application granted granted Critical
Publication of JP6956853B2 publication Critical patent/JP6956853B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Robotics (AREA)
  • Geometry (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)

Description

本発明は、診断支援装置、診断支援プログラム、及び、診断支援方法に関する。
従来技術として、医用画像を解析し、解析結果の表示によって医師の診断を支援する診断支援装置がある。例えば、特開２００６−１１５９２１号公報には、読影に対する意欲を削ぐことなく異常部位を漏れなく発見できるように、医師の診断中に、診断用の医用画像を表示し、医師の診断終了後に、解析によって病変候補にマーカが付された医用画像と、医師によってアノテーションが記録された医用画像とを重ね合わせて表示する、診断支援装置が開示される。
しかし、先行特許文献の診断支援装置では、医師が診断中に解析の結果を見ることができない。また、診断支援装置では、診断終了後に表示される病変候補に付されたマーカが、病変候補及び病変候補の周囲の画像を見難くすることがあり、医師の医用画像の観察を阻害することがある。
そこで、本発明は、術者の診断中に画像の観察を阻害しないように、注目領域の位置情報と注目領域の重篤度を示す診断支援情報を出力して診断を支援する診断支援装置、診断支援プログラム、及び、診断支援方法を提供することを目的とする。
本発明の一態様の診断支援装置は、取得した画像から、少なくとも１つの注目領域を検出し、前記注目領域の位置情報を出力する検出部と、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力する分類部と、表示画像の第１領域において前記診断支援情報を表示するとともに、前記表示画像の前記第１領域とは異なる第２領域において前記画像に重畳して前記位置情報を表示するように、前記表示画像を制御する表示制御部と、を有し、前記表示制御部は、前記診断支援情報と前記位置情報とを前記表示画像に同時に表示した後、前記位置情報のみを非表示とする。
本発明の一態様の診断支援プログラムは、取得した画像から、少なくとも１つの注目領域を検出し、前記注目領域の位置情報を出力するコードと、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力するコードと、表示画像の第１領域において前記診断支援情報を表示するとともに、前記表示画像の前記第１領域とは異なる第２領域において前記画像に重畳して前記位置情報を表示するように、前記表示画像を制御するコードと、をコンピュータに実行させる。
本発明の一態様の診断支援方法は、検出部が、取得した画像から、少なくとも１つの注目領域を検出し、前記注目領域の位置情報を出力し、分類部が、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力し、表示制御部が、表示画像の第１領域において前記診断支援情報を表示するとともに、前記表示画像の前記第１領域とは異なる第２領域において前記画像に重畳して前記位置情報を表示するように、前記表示画像を制御し、前記診断支援情報と前記位置情報とを前記表示画像に同時に表示した後、前記位置情報のみを非表示とする。
本発明の第１実施形態に係わる、診断支援装置の構成の一例を示すブロック図である。 本発明の第１実施形態に係わる、診断支援装置の表示画像の一例を説明するための説明図である。 本発明の第１実施形態に係わる、診断支援装置の期間設定部の構成の一例を示すブロック図である。 本発明の第１実施形態に係わる、診断支援装置の診断支援処理の一例を示すフローチャートである。 本発明の第１実施形態に係わる、診断支援装置の表示画像の遷移の一例を説明するための説明図である。 本発明の第２実施形態に係わる、診断支援装置の表示画像の遷移の一例を説明するための説明図である。
以下、図面を参照しながら、本発明の実施形態を説明する。
（第１実施形態の構成）
図１は、本発明の第１実施形態に係わる、内視鏡システムＥｓの構成の一例を示すブロック図である。図２は、本発明の第１実施形態に係わる、診断支援装置４１の表示画像Ｙの一例を説明するための説明図である。
内視鏡システムＥｓは、光源装置１１、内視鏡装置２１、操作部３１、診断支援装置４１、及び、表示部５１を有する。光源装置１１は、内視鏡装置２１及び診断支援装置４１の各々と接続される。内視鏡装置２１は、診断支援装置４１と接続される。操作部３１は、診断支援装置４１と接続される。診断支援装置４１は、表示部５１と接続される。
光源装置１１は、診断支援装置４１の制御の下、内視鏡装置２１に、白色光、狭帯域光等の照明光を出力する。
内視鏡装置２１は、被検体内を撮像できるように構成される。内視鏡装置２１は、内視鏡スコープ２２と、照明部２３と、撮像部２４と、画像処理部２５とを有する。
内視鏡スコープ２２は、被検体内に挿入できるように、細長状に形成される。内視鏡スコープ２２は、内部に図示しない各種の管路及び信号線を有する。内視鏡スコープ２２は、図示しない湾曲機構を有し、術者の指示入力に応じて湾曲する。
内視鏡スコープ２２の基端部には、コントロールユニット２２ａが設けられる。コントロールユニット２２ａは、診断支援装置４１と接続される。
照明部２３は、内視鏡スコープ２２の先端部に設けられ、光源装置１１から入力された照明光を被検体に照射する。
撮像部２４は、内視鏡スコープ２２の先端部に設けられる。撮像部２４は、ＣＭＯＳセンサ、ＣＣＤ等の撮像素子によって構成される。撮像部２４は、照明部２３によって照明された被検体を撮像し、撮像信号を画像処理部２５に出力する。
画像処理部２５は、コントロールユニット２２ａに設けられる。画像処理部２５は、撮像部２４から入力された撮像信号に、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行って内視鏡画像Ｘを生成し、診断支援装置４１に出力する。なお、画像処理部２５によって行われる画像処理の全部又は一部は、診断支援装置４１内において行われるように構成してもよい。
操作部３１は、診断支援装置４１と接続され、内視鏡スコープ２２の湾曲、照明部２３から照射する照明光の切り替え、レリーズ操作、及び、フリーズ操作等の各種の指示入力が可能である。また、操作部３１は、診断支援処理の開始及び終了、診断支援情報Ｃ及びマーカＭの情報表示の開始及び終了等、各種の指示入力も可能である（図２）。操作部３１は、診断支援装置４１の表示制御部４３と接続され、指示入力に応じた指示信号を表示制御部４３に出力する。なお、操作部３１は、内視鏡装置２１、診断支援装置４１、表示部５１等に設けられてもよい。
診断支援装置４１は、内視鏡画像Ｘに基づいて、表示画像Ｙを生成して出力する装置である。診断支援装置４１は、入力部４２、表示制御部４３、記憶部４４、出力部４５を有する。
入力部４２は、内視鏡装置２１を接続する回路である。入力部４２は、内視鏡装置２１と表示制御部４３に接続され、内視鏡装置２１の画像処理部２５から内視鏡画像Ｘを順次入力し、表示制御部４３に内視鏡画像Ｘを出力する。
表示制御部４３は、内視鏡システムＥｓ内の各部を制御する回路である。表示制御部４３は、プロセッサ４３ａを有する。表示制御部４３の機能は、プロセッサ４３ａが記憶部４４に記憶されたプログラム及び各種情報を読み込み、実行することによって実現する。
また、表示制御部４３は、ゲイン調整の量、又は、内視鏡画像Ｘの明るさを検出し、制御信号を出力し、光源装置１１の発光量を制御する。
また、表示制御部４３は、内視鏡画像Ｘに基づいて、表示画像Ｙを生成し、出力部４５に出力する。図２に示すように、表示画像Ｙには、診断支援情報Ｃを表示する第１領域Ａ１と、第１領域Ａ１とは異なる領域であって内視鏡画像Ｘと注目領域Ｌの位置情報を表示する第２領域Ａ２とが設けられる。
位置情報は、例えば、内視鏡画像Ｘ上の注目領域Ｌを囲むマーカＭによって表示される。なお、位置情報は、マーカＭに限定されず、矢印画像、又は、アイコン等の他の画像によって表示されてもよい。
また、表示制御部４３は、第１領域Ａ１において診断支援情報Ｃを表示する第１期間と、第２領域Ａ２において内視鏡画像Ｘに重畳して位置情報を表示する第２期間とが互いに異なるように、表示画像Ｙを制御する。
記憶部４４は、ＲＡＭ、ＲＯＭ、フラッシュＲＯＭ、ＨＤＤ、又は、ＳＳＤ等の読み書き可能な記憶素子を有する。
記憶部４４には、内視鏡システムＥｓを制御するための各種データ又は各種プログラムの他、検出部Ｐ１、分類部Ｐ２、及び、期間設定部Ｐ３のプログラムも記憶される。
また、記憶部４４には、検出部Ｐ１におけるマッチングに用いられるモデル情報、及び、分類部Ｐ２において用いられる所定分類条件も記憶される。所定分類条件は、例えば、腫瘍の重篤度を分類するＮＩＣＥ分類に基づいて、注目領域Ｌを分類できるように予め定められる。記憶部４４は、内視鏡画像Ｘ等の情報を一時保存するワーキングメモリとしても使用される。
出力部４５は、表示部５１を接続する回路である。出力部４５は、表示制御部４３によって生成された表示画像Ｙを表示部５１に出力する。
表示部５１は、ＬＣＤ、ＯＬＥＤ等の表示パネルを有する。表示部５１は、出力部４５と接続され、出力部４５から入力した表示画像Ｙを表示する。なお、表示部５１は、無線通信によって診断支援装置４１と接続されてもよい。
（診断支援処理に用いられるプログラムの構成）
続いて、検出部Ｐ１、分類部Ｐ２、及び、期間設定部Ｐ３について説明をする。検出部Ｐ１、分類部Ｐ２、及び、期間設定部Ｐ３は、診断支援装置４１の診断支援処理に用いられるプログラムである。
検出部Ｐ１は、内視鏡２１によって取得した内視鏡画像Ｘから、所定検出処理によって注目領域Ｌを検出し、注目領域Ｌの位置情報を出力する。所定検出処理は、例えば、所定輪郭抽出処理によって互いに隣り合う画素における画素値の変化量から輪郭を抽出し、記憶部４４から読み込まれたモデル情報とのマッチングによって注目領域Ｌを検出する。位置情報は、例えば、注目領域Ｌの中心の座標である。検出部Ｐ１は、内視鏡画像Ｘから複数の注目領域Ｌを検出することも可能である。
また、検出部Ｐ１は、所定検出処理によって注目領域Ｌのサイズも検出する。注目領域Ｌのサイズは、例えば、注目領域Ｌの中心と外縁の間の距離情報である。
また、検出部Ｐ１は、所定検出処理によって内視鏡画像Ｘから処置具Ｔも検出し、処置具Ｔの位置情報も出力する（図２）。
なお、検出部Ｐ１の処理は、これに限定されず、例えば、内視鏡画像Ｘの色、空間周波数の算出によって行われてもよいし、又は、機械学習等の人工知能技術を用いた演算装置によって注目領域Ｌを検出する処理であってもよい。
分類部Ｐ２は、診断指標に対応した所定分類条件に基づいて、注目領域Ｌを分類し、注目領域Ｌの重篤度を示す診断支援情報Ｃを出力する。所定分類条件には、例えば、ＮＩＣＥ分類に基づいた分類条件及び基準画像が含まれる。診断支援情報Ｃには、腺腫性病変と非腺腫性病変の各々の確度が含まれてもよい。
分類部Ｐ２は、検出部Ｐ１から注目領域Ｌが入力されると、注目領域Ｌの画像を抽出する。分類部Ｐ２は、抽出された画像の輝度値によって色調を検出する。分類部Ｐ２は、抽出された画像に基づいて、所定輪郭抽出処理によって血管模様及び表面模様を検出する。分類部Ｐ２は、検出結果と所定分類条件を比較し、所定演算によってＴｙｐｅ１からＴｙｐｅ３の各々の適合率を算出し、診断支援情報Ｃを生成する。表示制御部４３は、第１期間中、表示画像Ｙの第１領域Ａ１に診断支援情報Ｃを表示する。
なお、分類部Ｐ２の処理は、これに限定されず、人口知能技術を用いた演算装置によって行われてもよい。
図３は、本発明の第１実施形態に係わる、診断支援装置４１の期間設定部Ｐ３の構成の一例を示すブロック図である。
期間設定部Ｐ３は、第１期間と第２期間が互いに異なるように、第１期間と第２期間の各々を設定する。より具体的には、期間設定部Ｐ３は、第１期間に、第２期間と重ならない期間が生じるように、第１期間と第２期間の各々を設定する。期間設定部Ｐ３は、第１設定部Ｑ１と第２設定部Ｑ２を有する。
第１設定部Ｑ１は、第１期間を設定する。より具体的には、第１設定部Ｑ１は、第１期間が開始する第１開始時刻Ｃｓと、第１期間が終了する第１終了時刻Ｃｅとを設定する。図３に示すように、第１設定部Ｑ１は、継続判定部Ｑ１ａ、処置具判定部Ｑ１ｂ、指示入力判定部Ｑ１ｃ、及び、延長判定部Ｑ１ｄを有する。
継続判定部Ｑ１ａは、検出部Ｐ１の検出結果に基づいて、注目領域Ｌが継続して検出されているか否かを判定する。例えば、継続判定部Ｑ１ａは、順次取得した内視鏡画像Ｘのフレームの各々を比較し、フレーム上に注目領域Ｌが継続して表れているか否かを判定する。継続判定部Ｑ１ａによって注目領域Ｌが継続して検出されていると判定されると、第１設定部Ｑ１は、第１開始時刻Ｃｓに現在時刻等の所定制御情報をセットし、第１期間を開始させる。第１期間が開始すると、表示制御部４３は、表示画像Ｙに診断支援情報Ｃを表示する。一方、継続判定部Ｑ１ａによって注目領域Ｌが継続して検出されなくなると、第１設定部Ｑ１は、第１終了時刻Ｃｅに所定制御情報をセットし、第１期間を終了させる。第１期間が終了すると、表示制御部４３は、表示画像Ｙの診断支援情報Ｃを非表示にする。すなわち、第１設定部Ｑ１は、注目領域Ｌが継続して検出されている期間を第１期間に設定する。
処置具判定部Ｑ１ｂは、検出部Ｐ１の検出結果に基づいて、処置具Ｔが検出されているか否かを判定する。処置具判定部Ｑ１ｂの処理は、第１期間内に行われる。処置具判定部Ｑ１ｂによって処置具Ｔが検出されると、第１設定部Ｑ１は、第１終了時刻Ｃｅに所定制御情報をセットし、第１期間を終了させる。すなわち、第１設定部Ｑ１は、内視鏡画像Ｘ内に処置具Ｔが検出されると、第１期間の終了の設定を行う。
指示入力判定部Ｑ１ｃは、操作部３１から入力された指示信号に基づいて、診断支援情報Ｃ及びマーカＭによる情報表示の開始又は終了のいずれかの指示があるか否かを判定する。指示入力判定部Ｑ１ｃによって情報表示の開始の指示信号があると判定されると、第１設定部Ｑ１は、第１開始時刻Ｃｓに所定制御情報をセットし、第１期間を開始させる。一方、指示入力判定部Ｑ１ｃによって情報表示の終了の指示信号があると判定されると、第１設定部Ｑ１は、第１終了時刻Ｃｅに所定制御情報をセットし、第１期間を終了させる。すなわち、第１設定部Ｑ１は、術者の指示入力に応じ、第１期間の開始及び終了の少なくともいずれか一方の設定を行う。
延長判定部Ｑ１ｄは、第１終了時刻Ｃｅと第２終了時刻Ｍｅの差を判定する。より具体的には、延長判定部Ｑ１ｄは、第１期間と第２期間の各々の終了時刻の差が所定差よりも小さいか否かを判定する。第１設定部Ｑ１は、差が所定差よりも小さいと判定されたとき、診断支援情報Ｃが見やすくなるように、第１期間を所定延長時間だけ延長する。所定延長時間は、経験的又は実験的に予め定められる。
第２設定部Ｑ２は、第１期間の設定に応じて第２期間を設定する。より具体的には、第２設定部Ｑ２は、第１期間の設定と診断支援情報Ｃに応じ、第２期間が開始する第２開始時刻Ｍｓと、第２期間が終了する第２終了時刻Ｍｅとを設定する。第２設定部Ｑ２は、重篤度判定部Ｑ２ａ、サイズ判定部Ｑ２ｂ、個数判定部Ｑ２ｃ、動き判定部Ｑ２ｄ、及び、処置動作判定部Ｑ２ｅを有する。
重篤度判定部Ｑ２ａは、分類部Ｐ２から出力された診断支援情報Ｃに基づいて、重篤度を判定する。分類部Ｐ２が、腺腫性病変と非腺腫性病変の各々の確度を有する診断支援情報Ｃを出力すると、重篤度判定部Ｑ２ａは、確度に基づいて、注目領域Ｌが腺腫性病変又は非腺腫性病変のいずれであるかを判定する。例えば、腺腫性病変の確度が所定度合い以上であるとき、重篤度判定部Ｑ２ａは、注目領域Ｌが腺腫性病変であると判定する。また、非腺腫性病変の確度が所定度合い以上であるとき、重篤度判定部Ｑ２ａは、注目領域Ｌが非腺腫性病変であると判定する。第２設定部Ｑ２は、注目領域Ｌが非腺腫性病変と判定されたとき、より重篤度の高い注目領域Ｌを長く観察できるように、注目領域Ｌが腺腫性病変であると判定されたときよりも第２期間を長く設定する。非腺腫性病変及び腺腫性病変の各々の第２期間の長さは、経験的又は実験的に、予め定められる。以下のサイズ判定部Ｑ２ｂ、個数判定部Ｑ２ｃ、動き判定部Ｑ２ｄにおいても同様に、判定結果の各々に応じた第２期間の長さが、経験的又は実験的に、予め定められる。
例えば、腺腫性病変であると判定されたときにおける第２期間が１秒に予め定められ、非腺腫性病変であると判定されたときにおける第２期間が２秒に予め定められているとき、重篤度判定部Ｑ２ａによって注目領域Ｌが非腺腫性病変であると判定されると、第２設定部Ｑ２は、第２期間の長さが２秒になるように、第２開始時刻Ｍｓ及び第２終了時刻Ｍｅを決定し、第２期間を設定する。より具体的には、非腺腫性病変であると判定されたとき、第２設定部Ｑ２は、第２開始時刻Ｍｓを第１開始時刻Ｃｓと同じ時刻に設定し、第２開始時刻Ｍｓに２秒加算した時刻を第２終了時刻Ｍｅに設定する。
サイズ判定部Ｑ２ｂは、検出部Ｐ１によって検出された注目領域Ｌのサイズを判定する。検出部Ｐ１が所定検出処理によって注目領域Ｌのサイズを検出すると、サイズ判定部Ｑ２ｂは、サイズが所定サイズよりも小さいか否かを判定する。第２設定部Ｑ２は、サイズが所定サイズよりも小さいと判定されたとき、サイズが所定サイズよりも大きいと判定されたときよりも第２期間を長く設定する。
また、サイズ判定部Ｑ２ｂは、小さい注目領域Ｌを無視することができるように、サイズが５ｍｍ以下であるか否かを判定する。第２設定部Ｑ２は、サイズが５ｍｍ以下であると判定されたとき、第２期間の設定の処理を行う。
なお、第２設定部Ｑ２は、重篤度判定部Ｑ２ａとサイズ判定部Ｑ２ｂの判定結果の両方に基づいて、第２期間を設定してもよい。例えば、第２設定部Ｑ２は、注目領域Ｌが腺腫性病変であってサイズが所定サイズよりも小さいと判定されたとき、所定サイズよりも大きいと判定されたときよりも第２期間を長く設定してもよい。すなわち、サイズ判定部Ｑ２ｂは、サイズを判定し、第２設定部Ｑ２は、サイズ判定部Ｑ２ｂの判定の結果に応じ、第２期間を設定する。
個数判定部Ｑ２ｃは、検出部Ｐ１から入力される注目領域Ｌの個数が所定個数よりも多いか否かを判定する。第２設定部Ｑ２は、個数が所定個数よりも多いと判定されたとき、個数が所定個数よりも少ないと判定されたときよりも第２期間を長く設定する。すなわち、第２設定部Ｑ２は、注目領域Ｌの個数に応じ、第２期間を設定する。
また、第２設定部Ｑ２は、注目領域Ｌの個数が複数であるとき、注目領域Ｌの各々に互いに異なる第２期間を設定する。検出部Ｐ１によって注目領域Ｌが同時に複数検出されているとき、第２設定部Ｑ２は、第２期間の開始を互いに所定時間だけずらすことによって注目領域Ｌの各々の第２期間を設定してもよい。例えば、注目領域Ｌが３個検出され、所定時間が０．５秒であるとき、第２設定部Ｑ２は、１個目の注目領域Ｌの第２期間を開始させた後、０．５秒経過後に２個目の注目領域Ｌの第２期間を開始させ、さらに０．５秒経過後に３個目の注目領域Ｌの第２期間を開始させるように設定してもよい。
動き判定部Ｑ２ｄは、検出部Ｐ１によって検出された注目領域Ｌの動きの判定を行う。より具体的には、動き判定部Ｑ２ｄは、内視鏡画像Ｘ内の注目領域Ｌの動き方向及び動き量の判定を行う。第２設定部Ｑ２は、動き方向及び動き量に応じ、第２期間を設定する。
例えば、動き判定部Ｑ２ｄは、動き量が所定量よりも大きいか否かを判定する。第２設定部Ｑ２は、動き量が所定量よりも大きいと判定されたとき、動き量が所定量よりも小さいと判定されたときよりも第２期間を長く設定する。
また、第２設定部Ｑ２は、動き方向が内視鏡画像Ｘの中心へ向かう方向であると判定されとき、動き方向が内視鏡画像Ｘの外方へ向かう方向であると判定されたときよりも、第２期間を長く設定する。
処置動作判定部Ｑ２ｅは、検出部Ｐ１によって検出された処置具Ｔが所定処置動作をしたか否かの判定を行う。第２設定部Ｑ２は、所定処置動作をしたと判定されたとき、第２期間の終了の設定を行う。所定処置動作は、例えば、処置具Ｔの先端部から図示しないスネアを突出させる動作である。所定処置動作は、これに限定されず、例えば、処置具Ｔを注目領域Ｌに近付ける動作であってもよいし、注目領域Ｌに処置具Ｔから流体を噴き付ける動作であってもよいし、注目領域Ｌのマーキングを行う動作であってもよいし、又は、注目領域Ｌの腫瘍の切除の動作であってもよい。
第１設定部及び第２設定部における判定条件は、工場出荷時又は術者の指示入力によって予め定めることができるように構成してもよい。この場合においても、第１期間と第２期間が同じになると、第１設定部Ｑ１は、第１期間に第２期間と重ならない期間が生じるように、第１終了時刻Ｃｅをさらに遅らせる。
例えば、第１設定部Ｑ１は、検出部Ｐ１における注目領域Ｌの検出によって第１期間を開始するように予め定めてもよいし、レリーズ操作、フリーズ操作、又は、情報表示の開始等、術者の指示入力によって第１期間を開始するように予め定めてもよい。
また、第１設定部Ｑ１は、注目領域Ｌの非検出によって第１期間を終了するように予め定めてもよいし、レリーズ解除、フリーズ解除、又は、情報表示の終了等、術者の指示入力によって第１期間を終了するように予め定めてもよいし、第１開始時刻Ｃｓから所定第１時間の経過によって第１期間を終了するように予め定めてもよい。
また、第２設定部Ｑ２は、第１期間の開始に応じて第２期間を開始するように予め定めてもよいし、術者の指示入力によって第２期間を開始するように予め定めてもよい。
また、第２設定部Ｑ２は、注目領域Ｌの非検出によって第２期間を終了するように予め定めてもよいし、術者の指示入力によって第２期間を終了するように予め定めてもよいし、第２開始時刻Ｍｓから所定第２時間の経過によって第２期間を終了するように予め定めてもよい。
（動作）
続いて、診断支援装置４１の動作を説明する。
図４は、本発明の第１実施形態に係わる、診断支援装置４１の診断支援処理の一例を示すフローチャートである。
操作部３１から診断支援処理の開始の指示入力があると、表示制御部４３は、記憶部４４からプログラムを読み込み、診断支援処理を開始する。
内視鏡画像Ｘを取得する（Ｓ１）。表示制御部４３は、入力部４２を介して内視鏡２１によって取得した内視鏡画像Ｘを取得する。
注目領域Ｌの位置情報を検出する（Ｓ２）。検出部Ｐ１における所定検出処理によって注目領域Ｌが検出され、注目領域Ｌの位置情報が出力される。
診断支援情報Ｃを生成する（Ｓ３）。分類部Ｐ２の処理により、所定分類条件に基づいて注目領域Ｌが分類され、注目領域Ｌの重篤度を示す診断支援情報Ｃが出力される。
第１期間と第２期間を設定する（Ｓ４）。期間設定部Ｐ３の処理により、互いに異なるように、第１期間と第２期間が設定される。
表示画像Ｙの生成を行う（Ｓ５）。表示制御部４３は、第２領域Ａ２に内視鏡画像Ｘを表示する。表示制御部４３は、第１期間中に第１領域Ａ１に診断支援情報Ｃを表示する。表示制御部４３は、第２期間中に第２領域Ａ２の注目領域Ｌを囲むようにマーカＭを表示する。
すなわち、診断支援プログラムは、取得した画像Ｘから、所定検出処理によって注目領域Ｌを検出し、注目領域Ｌの位置情報を出力するコードと、所定分類条件に基づいて、注目領域Ｌを分類し、注目領域Ｌの重篤度を示す診断支援情報Ｃを出力するコードと、第１領域Ａ１において診断支援情報Ｃを表示する第１期間と、第２領域Ａ２において画像Ｘに重畳して位置情報を表示する第２期間とが互いに異なるように、表示画像Ｙを制御するコードと、をコンピュータに実行させる。
また、診断支援方法は、検出部Ｐ１により、取得した画像Ｘから、所定検出処理によって注目領域Ｌを検出し、注目領域Ｌの位置情報を出力し、分類部Ｐ２により、所定分類条件に基づいて、注目領域Ｌを分類し、注目領域Ｌの重篤度を示す診断支援情報Ｃを出力し、表示制御部４３により、第１領域Ａ１において診断支援情報Ｃを表示する第１期間と、第２領域Ａ２において画像Ｘに重畳して位置情報を表示する第２期間とが互いに異なるように、表示画像Ｙを制御する。
図５は、本発明の第１実施形態に係わる、診断支援装置の表示画像Ｙの遷移の一例を説明するための説明図である。
図５の表示画像Ｙ１には、注目領域Ｌを有する内視鏡画像Ｘが表示されている。診断支援装置４１では、注目領域Ｌが検出されるものの、術者が目視によって注目領域Ｌの診断を行うことができるように、表示画像Ｙ１上の診断支援情報ＣとマーカＭは、非表示にされる。
術者が操作部３１を介して情報表示の開始の指示入力を行うと、指示入力判定部Ｑ１ｃが情報表示の開始の指示入力があったと判定する。第１設定部Ｑ１は、第１期間の開始の設定を行う。表示制御部４３は、第１開始時刻Ｃｓから表示画像Ｙ２に診断支援情報Ｃを表示する。第２設定部Ｑ２は、第１期間の開始に応じ、第２期間の開始の設定を行う。表示制御部４３は、第２開始時刻Ｍｓから表示画像Ｙ２にマークＭを表示する。第２設定部Ｑ２は、重篤度判定部Ｑ２ａ、サイズ判定部Ｑ２ｂ、個数判定部Ｑ２ｃ、及び、動き判定部Ｑ２ｄの判定結果に基づいて第２終了時刻Ｍｅを設定する。
第２終了時刻Ｍｅになると、術者が診断支援情報Ｃと内視鏡画像Ｘを目視して診断をすることができるように、表示制御部４３は、診断支援情報Ｃを表示させた状態でマークＭを非表示にする。表示画像Ｙ３は、診断支援情報Ｃが表示され、かつマークＭが非表示された例を示す。
術者は、目視による診断が終了した後、診断支援情報Ｃ及びマークＭを非表示にすることができる。術者が操作部３１を介して情報表示の終了の指示入力を行うと、指示入力判定部Ｑ１ｃが情報表示の終了の指示入力があったと判定し、第１設定部Ｑ１は、第１期間の終了の設定を行う。表示画像Ｙ４に示すように、表示制御部４３は、第１終了時刻Ｃｅにおいて、診断支援情報Ｃ及びマークＭの両方を非表示にする。なお、第１設定部Ｑ１は、延長判定部Ｑ１ｄによって第１終了時刻Ｃｅと第２終了時刻Ｍｅの差が所定差よりも小さいと判定されたとき、第１期間に、第２期間と重ならない期間が生じるように、第１期間を所定延長時間だけ延長する。
内視鏡システムＥｓでは、注目領域Ｌを検出すると、内視鏡画像Ｘ上にマーカＭが表示され、内視鏡画像Ｘとは異なる領域に診断支援情報Ｃが表示される。続いて、内視鏡システムＥｓでは、診断支援情報Ｃが表示された状態でマーカＭが非表示にされる。これにより、術者は、内視鏡画像上のマーカＭによって注目領域Ｌの位置を把握し、診断支援情報Ｃから注目領域Ｌの重篤度を把握し、診断を進めることができる。続いて、術者は、マーカＭが非表示にされた注目領域Ｌを目視し、診断支援情報Ｃから注目領域Ｌの重篤度を把握し、診断を進めることができる。
第１実施形態によれば、診断支援装置４１は、術者の診断中に内視鏡画像Ｘの観察を阻害しないように、注目領域Ｌの位置情報と注目領域Ｌの重篤度を示す診断支援情報Ｃを出力して診断を支援することができる。
（第２実施形態）
第１実施形態では、第１期間と第２期間が同時に開始するが、第２期間の終了に応じて第１期間が開始してもよい。
図６は、本発明の第２実施形態に係わる、診断支援装置の表示画像Ｙの遷移の一例を説明するための説明図である。本実施形態では、他の実施形態と同じ構成については、説明を省略する。
第２期間終了判定部Ｑ１ｅ（図３の２点鎖線）は、第２期間が終了したか否かを判定する。第２期間終了判定部Ｑ１ｅによって第２期間が終了したと判定されると、第１設定部Ｑ１は、第１期間を開始させる。
指示入力判定部Ｑ１ｃは、操作部３１から入力された指示信号に基づいて、情報表示の開始又は終了のいずれかの指示があるか否かを判定する。指示入力判定部Ｑ１ｃによって情報表示の開始の指示信号があると判定されると、第２設定部Ｑ２は、第２開始時刻Ｍｓに所定制御情報をセットし、第２期間を開始させる。一方、指示入力判定部Ｑ１ｃによって第２期間の終了の指示信号があると判定されると、第２設定部Ｑ２は、第２終了時刻Ｍｅに所定制御情報をセットし、第２期間を終了させる。
図６の表示画像Ｚ１、Ｚ４は、表示画像Ｙ１と同じであるため、説明を省略する。
術者が操作部３１を介して情報表示の開始の指示入力を行うと、指示入力判定部Ｑ１ｃが情報表示の開始の指示入力があったと判定し、第２設定部Ｑ２は、第２期間の開始の設定を行う。表示制御部４３は、第２開始時刻Ｍｓから表示画像Ｚ２にマークＭを表示する。
第２終了時刻Ｍｅになって第２期間が終了すると、第２期間終了判定部Ｑ１ｅは、第２期間が終了したと判定する。第２期間が終了したと判定されると、第１設定部Ｑ１は、第１期間の開始を設定する。表示制御部４３は、第１期間の開始によって診断支援情報Ｃを表示し、第２期間の終了によってマークＭを非表示にする。表示画像Ｚ３は、診断支援情報Ｃが表示にされ、かつマークＭが非表示にされた例を示す。
内視鏡システムＥｓでは、注目領域Ｌを検出すると、内視鏡画像Ｘ上にマーカＭが表示される。続いて、内視鏡システムＥｓでは、マーカＭが非表示にされ、診断支援情報Ｃが表示される。これにより、術者は、内視鏡画像上のマーカＭによって注目領域Ｌの位置を把握し、診断を進めることができる。続いて、術者は、マーカＭが非表示にされた注目領域Ｌを目視し、診断支援情報Ｃから注目領域Ｌの重篤度を把握し、診断を進めることができる。
第２実施形態によれば、診断支援装置４１は、術者の診断中に内視鏡画像Ｘの観察を阻害しないように、注目領域Ｌの位置情報と注目領域Ｌの重篤度を示す診断支援情報Ｃを出力して診断を支援することができる。
なお、実施形態では、期間設定部Ｐ３は、継続判定部Ｑ１ａ、処置具判定部Ｑ１ｂ、指示入力判定部Ｑ１ｃ、延長判定部Ｑ１ｄ、第２期間終了判定部Ｑ１ｅ、重篤度判定部Ｑ２ａ、サイズ判定部Ｑ２ｂ、個数判定部Ｑ２ｃ、動き判定部Ｑ２ｄ、及び、処置動作判定部Ｑ２ｅを有するが、これらの一部を有するように構成してもよい。
なお、実施形態では、表示部５１は１つであるが、複数設けられてもよい。例えば、表示部５１が２つ設けられているとき、一方を第１領域Ａ１とし、他方を第２領域Ａ２としてもよい。
なお、実施形態の動作の説明では、情報表示の開始及び終了が、術者の指示入力に応じて行われるが、検出部Ｐ１による注目領域Ｌの検出に応じて行われてもよい。例えば、第１実施形態では、検出部Ｐ１による注目領域Ｌの検出の開始から終了までの期間を第１期間に設定してもよい。例えば、第２実施形態では、検出部Ｐ１による注目領域Ｌの検出の開始に応じて第２期間が開始し、注目領域Ｌの非検出に応じて第１期間が終了してもよい。
なお、第１実施形態では、第１期間と第２期間が同時に開始するが、同時でなくてもよい。例えば、第１期間が第２期間よりも先に開始してもよいし、第２期間が第１期間よりも先に開始してもよい。
なお、第２実施形態では、第２期間の終了に応じて第１期間が開始し、第１期間と第２期間が互いに重なる期間はない。第２期間と重ならない期間が第１期間に設けられれば、第１期間と第２期間が互いに重なる期間があってもよい。
なお、実施形態では、第１期間が第２期間よりも後に終了するが、第２期間と重ならない期間が第１期間に設けられれば、第２期間が第１期間よりも後に終了してもよい。例えば、第１期間が第２期間よりも先に開始されれば、第２期間が第１期間よりも後に終了してもよい。
本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。例えば、検出部Ｐ１、分類部Ｐ２、期間設定部Ｐ３の全て又は一部が回路によって構成されてもよい。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims (22)

  1. 取得した画像から少なくとも１つの注目領域を検出し、前記注目領域の位置情報を出力する検出部と、
    診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力する分類部と、
    表示画像の第１領域において前記診断支援情報を表示するとともに、前記表示画像の前記第１領域とは異なる第２領域において前記画像に重畳して前記位置情報を表示するように、前記表示画像を制御する表示制御部と、を有し、
    前記表示制御部は、前記診断支援情報と前記位置情報とを前記表示画像に同時に表示した後、前記位置情報のみを非表示とすることを特徴とする診断支援装置。
  2. 前記表示制御部は、期間設定部を有し、前記期間設定部は、
    前記第１領域において前記診断支援情報を表示する第１期間を設定する第１設定部と、前記第２領域において前記位置情報を表示する第２期間を設定する第２設定部を有し、
    前記第２設定部は、前記第１設定部が設定した前記第１期間に応じて前記第２期間を設定することを特徴とする請求項１に記載の診断支援装置。
  3. 前記第１設定部は、前記注目領域が継続して検出されている期間を前記第１期間に設定することを特徴とする請求項２に記載の診断支援装置。
  4. 前記第１設定部は、前記画像内に処置具が検出されると、前記第１期間の終了の設定を行うことを特徴とする請求項２に記載の診断支援装置。
  5. 前記第１設定部は、術者の指示入力に応じ、前記第１期間の開始及び終了の少なくともいずれか一方の設定を行うことを特徴とする請求項２に記載の診断支援装置。
  6. 前記第２設定部は、前記第１設定部が設定した前記第１期間と前記診断支援情報に応じて、前記第２期間を設定することを特徴とする請求項２に記載の診断支援装置。
  7. 前記第２設定部は、前記重篤度に応じ、前記第２期間を設定することを特徴とする請求項６に記載の診断支援装置。
  8. 前記分類部は、腺腫性病変と非腺腫性病変の各々の確度を有する前記診断支援情報を出力し、
    前記期間設定部は、重篤度判定部を有し、
    前記重篤度判定部は、前記確度に基づいて、前記注目領域が前記腺腫性病変又は前記非腺腫性病変のいずれであるかを判定し、
    前記第２設定部は、前記注目領域が前記非腺腫性病変と判定されたとき、前記注目領域が前記腺腫性病変であると判定されたときよりも第２期間を長く設定することを特徴とする請求項７に記載の診断支援装置。
  9. 前記検出部は、前記注目領域のサイズを検出し、
    前記期間設定部は、サイズ判定部を有し、
    前記サイズ判定部は、前記注目領域の前記サイズを判定し、
    前記第２設定部は、前記サイズ判定部の判定の結果に応じ、前記第２期間を設定することを特徴とする請求項２に記載の診断支援装置。
  10. 前記サイズ判定部は、前記注目領域の前記サイズが所定サイズよりも小さいか否かを判定し、
    前記第２設定部は、前記注目領域の前記サイズが前記所定サイズよりも小さいと判定されたとき、前記注目領域の前記サイズが前記所定サイズよりも大きいと判定されたときよりも第２期間を長く設定することを特徴とする請求項９に記載の診断支援装置。
  11. 前記サイズ判定部は、前記注目領域の前記サイズが５ｍｍ以下であるか否かを判定し、
    前記第２設定部は、前記注目領域の前記サイズが５ｍｍ以下であると判定されたとき、前記第２期間の設定の処理を行うことを特徴とする請求項９に記載の診断支援装置。
  12. 前記分類部は、腺腫性病変と非腺腫性病変の各々の確度を有する前記診断支援情報を出力し、
    前記期間設定部は、重篤度判定部を有し、
    前記重篤度判定部は、前記確度に基づいて、前記注目領域が前記腺腫性病変又は前記非腺腫性病変のいずれであるかを判定し、
    前記第２設定部は、前記注目領域が前記腺腫性病変であって前記注目領域の前記サイズが前記所定サイズよりも小さいと判定されたとき、前記所定サイズよりも大きいと判定されたときよりも前記第２期間を長く設定することを特徴とする請求項１０に記載の診断支援装置。
  13. 前記第２設定部は、前記注目領域の個数に応じ、前記第２期間を設定することを特徴とする請求項２に記載の診断支援装置。
  14. 前記期間設定部は、個数判定部を有し、
    前記個数判定部は、前記注目領域の前記個数が所定個数よりも多いか否かを判定し、
    前記第２設定部は、前記注目領域の前記個数が前記所定個数よりも多いと判定されたとき、前記注目領域の前記個数が前記所定個数よりも少ないと判定されたときよりも前記第２期間を長く設定することを特徴とする請求項１３に記載の診断支援装置。
  15. 前記第２設定部は、前記注目領域の前記個数が複数であるとき、前記注目領域の各々に互いに異なる前記第２期間を設定することを特徴とする請求項１３に記載の診断支援装置。
  16. 前記期間設定部は、動き判定部を有し、
    前記動き判定部は、前記画像内の前記注目領域の動き方向及び動き量の判定を行い、
    前記第２設定部は、前記動き方向及び前記動き量に応じ、前記第２期間を設定することを特徴とする請求項２に記載の診断支援装置。
  17. 前記動き判定部は、前記動き量が所定量よりも大きいか否かを判定し、
    前記第２設定部は、前記動き量が前記所定量よりも大きいと判定されたとき、前記動き量が前記所定量よりも小さいと判定されたときよりも前記第２期間を長く設定することを特徴とする請求項１６に記載の診断支援装置。
  18. 前記第２設定部は、前記動き方向が画像の中心へ向かう方向であると判定されとき、前記動き方向が画像の外方へ向かう方向であると判定されたときよりも、前記第２期間を長く設定することを特徴とする請求項１６に記載の診断支援装置。
  19. 前記期間設定部は、処置動作判定部を有し、
    前記処置動作判定部は、前記検出部によって検出された処置具が所定処置動作をしたか否かの判定を行い、
    前記第２設定部は、前記所定処置動作をしたと判定されたとき、前記第２期間の終了の設定を行うことを特徴とする請求項２に記載の診断支援装置。
  20. 前記第１設定部は、延長判定部を有し、
    前記延長判定部は、前記第１期間と前記第２期間の各々の終了時刻の差が所定差よりも小さいか否かを判定し、
    前記第１設定部は、前記差が前記所定差よりも小さいと判定されたとき、前記第１期間を所定延長時間だけ延長することを特徴とする請求項２に記載の診断支援装置。
  21. 取得した画像から、少なくとも１つの注目領域を検出し、前記注目領域の位置情報を出力するコードと、
    診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力するコードと、
    表示画像の第１領域において前記診断支援情報を表示するとともに、前記表示画像の前記第１領域とは異なる第２領域において前記画像に重畳して前記位置情報を表示するように、前記表示画像を制御するコードと、をコンピュータに実行させることを特徴とする診断支援プログラム。
  22. 検出部が、取得した画像から、少なくとも１つの注目領域を検出し、前記注目領域の位置情報を出力し、
    分類部が、診断指標に対応した所定分類条件に基づいて、前記注目領域を分類し、前記注目領域の重篤度を示す診断支援情報を出力し、
    表示制御部が、表示画像の第１領域において前記診断支援情報を表示するとともに、前記表示画像の前記第１領域とは異なる第２領域において前記画像に重畳して前記位置情報を表示するように、前記表示画像を制御し、前記診断支援情報と前記位置情報とを前記表示画像に同時に表示した後、前記位置情報のみを非表示とすることを特徴とする診断支援方法。
JP2020508824A 2018-03-30 2018-03-30 診断支援装置、診断支援プログラム、及び、診断支援方法 Active JP6956853B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013767 WO2019187049A1 (ja) 2018-03-30 2018-03-30 診断支援装置、診断支援方法及び診断支援プログラム

Publications (2)

Publication Number Publication Date
JPWO2019187049A1 JPWO2019187049A1 (ja) 2021-03-18
JP6956853B2 true JP6956853B2 (ja) 2021-11-02

Family

ID=68061104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020508824A Active JP6956853B2 (ja) 2018-03-30 2018-03-30 診断支援装置、診断支援プログラム、及び、診断支援方法

Country Status (4)

Country Link
US (1) US11457876B2 (ja)
JP (1) JP6956853B2 (ja)
CN (1) CN111989025B (ja)
WO (1) WO2019187049A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112739250B (zh) * 2018-09-18 2024-10-15 富士胶片株式会社 医用图像处理装置、处理器装置及医用图像处理方法
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法
JP7488789B2 (ja) * 2021-05-12 2024-05-22 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法
CN113487609B (zh) * 2021-09-06 2021-12-07 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3758893B2 (ja) * 1999-04-03 2006-03-22 コニカミノルタホールディングス株式会社 画像診断支援装置
JP4651353B2 (ja) 2004-10-19 2011-03-16 株式会社日立メディコ 診断支援システム
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
JP5455550B2 (ja) * 2009-10-23 2014-03-26 Ｈｏｙａ株式会社 電子内視鏡用プロセッサ
JP2011255006A (ja) * 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP6104543B2 (ja) * 2011-09-16 2017-03-29 東芝メディカルシステムズ株式会社 超音波診断装置、超音波画像表示装置、及び超音波画像表示方法
JP5690788B2 (ja) * 2012-09-07 2015-03-25 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及びカプセル内視鏡システム
JP6259747B2 (ja) * 2014-09-30 2018-01-10 富士フイルム株式会社 プロセッサ装置、内視鏡システム、プロセッサ装置の作動方法、及びプログラム
EP3248528A4 (en) * 2015-01-21 2018-09-12 HOYA Corporation Endoscope system
CN107613839B (zh) * 2015-06-11 2019-10-01 奥林巴斯株式会社 内窥镜装置和内窥镜装置的工作方法
EP3357402B1 (en) * 2015-09-28 2020-06-17 FUJIFILM Corporation Endoscope system and operation method for endoscope system
JP6633641B2 (ja) * 2015-09-29 2020-01-22 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
CN106557536B (zh) * 2015-09-30 2021-12-21 松下知识产权经营株式会社 控制方法
EP3360461A4 (en) * 2015-11-10 2019-05-08 Olympus Corporation ENDOSCOPE DEVICE
US10339650B2 (en) * 2016-01-07 2019-07-02 Koios Medical, Inc. Method and means of CAD system personalization to reduce intraoperator and interoperator variation
JP6602969B2 (ja) * 2016-05-23 2019-11-06 オリンパス株式会社 内視鏡画像処理装置
JP2017213097A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
WO2018078724A1 (ja) * 2016-10-25 2018-05-03 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
CN107220975B (zh) * 2017-07-31 2018-03-09 合肥工业大学 宫颈图像智能辅助判断系统及其处理方法

Also Published As

Publication number Publication date
JPWO2019187049A1 (ja) 2021-03-18
WO2019187049A1 (ja) 2019-10-03
US11457876B2 (en) 2022-10-04
CN111989025B (zh) 2024-10-18
CN111989025A (zh) 2020-11-24
US20210113159A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
JP5080944B2 (ja) パノラマ眼底画像合成装置及び方法
CN108348145A (zh) 内窥镜装置
JP7045453B2 (ja) 内視鏡画像処理装置、内視鏡画像処理装置の作動方法およびプログラム
US20170112356A1 (en) Image processing apparatus, image processing method, computer-readable recording medium, and endoscope system
JP4832927B2 (ja) 医療用画像処理装置及び医療用画像処理方法
JPWO2018008593A1 (ja) 画像診断学習装置、画像診断装置、方法およびプログラム
WO2018198327A1 (ja) 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法
CN113164023B (zh) 内窥镜系统和内窥镜用图像处理方法、以及计算机可读存储介质
CN113168699B (zh) 计算机程序、信息处理方法以及内窥镜用处理器
JP5326064B2 (ja) 画像処理装置
JP2011158549A (ja) 内視鏡装置およびプログラム
WO2021171465A1 (ja) 内視鏡システム及び内視鏡システムによる管腔走査方法
US20240087113A1 (en) Recording Medium, Learning Model Generation Method, and Support Apparatus
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
WO2024024022A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
US20220346632A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium storing computer program
WO2022064998A1 (ja) 検査支援装置、検査支援方法および検査支援プログラム
JP7391113B2 (ja) 学習用医療画像データ作成装置、学習用医療画像データ作成方法及びプログラム
US20240135642A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
WO2024121886A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
WO2021176665A1 (ja) 手術支援システム、手術支援方法、及び、プログラム
WO2022191128A1 (ja) 内視鏡システム及びその作動方法
JPWO2016056408A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20120107780A1 (en) Inspection apparatus and inspection method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200929

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211005

R151 Written notification of patent or utility model registration

Ref document number: 6956853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151