JPWO2019138773A1 - 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム - Google Patents

医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム Download PDF

Info

Publication number
JPWO2019138773A1
JPWO2019138773A1 JP2019564351A JP2019564351A JPWO2019138773A1 JP WO2019138773 A1 JPWO2019138773 A1 JP WO2019138773A1 JP 2019564351 A JP2019564351 A JP 2019564351A JP 2019564351 A JP2019564351 A JP 2019564351A JP WO2019138773 A1 JPWO2019138773 A1 JP WO2019138773A1
Authority
JP
Japan
Prior art keywords
image
unit
position information
region
living body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019564351A
Other languages
English (en)
Inventor
駿平 加門
駿平 加門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019138773A1 publication Critical patent/JPWO2019138773A1/ja
Priority to JP2022182517A priority Critical patent/JP2023010809A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

取得した画像の生体内の位置に応じた最適な病変領域の検出を行う医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラムを提供する。被験者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から画像を取得し、取得した画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択し、選択した注目領域検出部によって取得した画像から注目領域を検出させる。

Description

本発明は医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラムに係り、特に医療画像から病変領域を自動検出する技術に関する。
内視鏡システムによって内視鏡画像を撮影する場合、内視鏡の生体内の挿入深さによって撮影する管腔内の位置（部位）が順次変化する。このため、内視鏡システムは撮影開始から終了まで、時系列的に管腔内の複数の位置を撮影することになる。
特許文献１には、内視鏡画像が撮像された際の体内位置特定情報を取得し、被検体内の部位のモデルである部位モデル上において、体内位置特定情報に対応したモデル上位置を特定して表示する技術が開示されている。
この技術によれば、内視鏡の体内における位置と、ガイド画像上での位置とを高精度で一致させることができる。
特開２０１１−２０６２５１号公報
医療画像から病変領域を自動検出する画像診断技術が知られている。自動検出の方法としては、医療画像と過去の医療画像との差分、又は医療画像と標準画像との差分により検出する方法、パターンマッチングを用いて病変パターンとの一致を検出することで病変領域を検出する方法、過去に蓄積された病変領域の特徴を学習した学習済みモデルの検出器を用いる方法等が知られている。
内視鏡システムによって撮影される管腔内は、その位置によって粘膜の構造、及び病変の特性が異なる。このため、内視鏡画像から病変領域を自動検出するシステムでは、内視鏡画像の撮影位置によっては最適な病変領域の検出を行うことが難しいという問題点があった。内視鏡画像だけでなく、超音波診断装置等の被験者の生体内の複数の位置の画像を順次撮影する医療機器によって撮影された画像から病変領域を自動検出する場合には、同様の問題点がある。
本発明はこのような事情に鑑みてなされたもので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行う医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラムを提供することを目的とする。
上記目的を達成するために医療画像処理装置の一の態様は、被験者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から画像を取得する画像取得部と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得部と、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部と、複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択する選択部と、選択した注目領域検出部によって取得した画像から注目領域を検出させる制御部と、を備えた医療画像処理装置である。
本態様によれば、被験者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から取得した画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択し、選択した注目領域検出部によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
画像取得部は、生体内を時系列的に撮影した複数の画像を順次取得することが好ましい。これにより、生体内を時系列的に撮影した複数の画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
また、画像取得部は、一定のフレームレートで撮影した複数の画像を順次取得することが好ましい。これにより、一定のフレームレートで撮影した複数の画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
複数の注目領域検出部は、複数の学習済みモデルであることが好ましい。これにより、病変領域の検出を適切に行うことができる。
また、複数の学習済みモデルは、それぞれ異なるデータセットを用いて学習したモデルであることが好ましい。これにより、それぞれ異なる検出を行うことができる。
さらに、複数の学習済みモデルは、それぞれ生体内の異なる位置を撮影した画像からなるデータセットを用いて学習したモデルであることが好ましい。これにより、画像の生体内の位置に応じた病変領域の検出を行うことができる。
位置情報取得部は、取得した画像から生体内の位置を認識する位置認識部を備えることが好ましい。これにより、画像の生体内の位置を適切に認識することができる。
また、位置情報取得部は、生体内の位置情報をユーザからの入力によって受け付ける入力部を備えてもよい。これにより、画像の生体内の位置を適切に認識することができる。
取得した位置情報が示す位置を医療機器に表示させる表示制御部を備えることが好ましい。これにより、医師は位置が適切に認識されていることを知ることができる。
医療機器は、被験者の体外から体内に向けて超音波を送信し、被験者の体内において反射された超音波を受信する超音波プローブと、超音波プローブによって受信された超音波を用いて超音波画像を生成する超音波画像生成部と、超音波画像を表示する表示部と、を備えることが好ましい。これにより、超音波診断装置が生成した超音波画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
医療機器は、被験者の体腔内に挿入される内視鏡と、体腔内を撮影するカメラと、撮影した画像を表示する表示部と、を備えることが好ましい。これにより、内視鏡システムが生成した内視鏡画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
上記目的を達成するために内視鏡システムの一の態様は、被験者の体腔内に挿入される内視鏡と、体腔内を撮影するカメラと、撮影した画像を表示する表示部と、を有する医療機器と、被験者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から画像を取得する画像取得部と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得部と、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部と、複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択する選択部と、選択した注目領域検出部によって取得した画像から注目領域を検出させる制御部と、を有する医療画像処理装置と、を備えた内視鏡システムである。
本態様によれば、被験者の体腔内に挿入される内視鏡と、体腔内を撮影するカメラと、撮影した画像を表示する表示部と、を有する医療機器から、被験者の生体内の複数の位置の画像を順次撮影した画像を取得し、画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択し、選択した注目領域検出部によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
上記目的を達成するために医療画像処理方法の一の態様は、被験者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から画像を取得する画像取得工程と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得工程と、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程と、複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択する選択工程と、選択した注目領域検出工程によって取得した画像から注目領域を検出させる制御工程と、を備えた医療画像処理方法である。
本態様によれば、被験者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から取得した画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択し、選択した注目領域検出工程によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
上記目的を達成するためにコンピュータに実行させるプログラムの一の態様は、被験者の生体内の複数の位置の画像を順次撮影する医療機器から画像を取得する画像取得工程と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得工程と、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程と、複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択する選択工程と、選択した注目領域検出工程によって取得した画像から注目領域を検出させる制御工程と、をコンピュータに実行させるプログラムである。
本態様によれば、被験者の生体内の複数の位置の画像を順次撮影する医療機器から取得した画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択し、選択した注目領域検出工程によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
本発明によれば、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
内視鏡システムを示す外観図 内視鏡システムの機能を示すブロック図 光の強度分布を示すグラフ 内視鏡システム１０による画像診断方法の処理を示すフローチャート 撮影した画像と取得した位置情報とを表示した表示部の一例を示す図 撮影した画像と取得した位置情報とを表示した表示部の一例を示す図 内視鏡システムの機能を示すブロック図 超音波診断装置の機能を示すブロック図
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
＜第１の実施形態＞
〔内視鏡システムの構成〕
図１は、第１の実施形態に係る内視鏡システム１０（医療機器の一例）を示す外観図である。図１に示すように、内視鏡システム１０は、内視鏡１２、光源装置１４、プロセッサ装置１６、表示部１８、及び入力部２０を備えている。
本実施形態では、内視鏡１２は、被験者の肛門から挿入され、直腸及び大腸等を観察するために用いられる下部内視鏡である。内視鏡１２は、光源装置１４と光学的に接続される。また、内視鏡１２は、プロセッサ装置１６と電気的に接続される。
内視鏡１２は、被験者の体腔内に挿入される挿入部１２Ａ、挿入部１２Ａの基端部分に設けられた操作部１２Ｂ、挿入部１２Ａの先端側に設けられた湾曲部１２Ｃ及び先端部１２Ｄを有している。
操作部１２Ｂには、アングルノブ１２Ｅ及びモード切替スイッチ１３が設けられている。
アングルノブ１２Ｅを操作することにより、湾曲部１２Ｃが湾曲動作する。この湾曲動作によって先端部１２Ｄが所望の方向に向けられる。
モード切替スイッチ１３は、観察モードの切り替え操作に用いられる。内視鏡システム１０は、照射光の波長パターンがそれぞれ異なる複数の観察モードを有している。医師は、モード切替スイッチ１３を操作することにより、所望の観察モードに設定することができる。内視鏡システム１０は、波長パターンと画像処理との組み合わせによって、設定された観察モードに応じた画像を生成して表示部１８に表示する。
また、操作部１２Ｂには、不図示の取得指示入力部が設けられている。取得指示入力部は、医師が静止画の取得指示を入力するためのインターフェースである。取得指示入力部は、静止画の取得指示を受け付ける。取得指示入力部において受け付けた静止画の取得指示は、プロセッサ装置１６に入力される。
プロセッサ装置１６は、表示部１８及び入力部２０と電気的に接続される。表示部１８は、観察対象の画像及び観察対象の画像に関連する情報等を出力表示する表示デバイスである。入力部２０は、内視鏡システム１０の機能設定及び各種指示等の入力操作を受け付けるユーザインターフェースとして機能する。
図２は、内視鏡システム１０の機能を示すブロック図である。図２に示すように、光源装置１４は、第１レーザ光源２２Ａ、第２レーザ光源２２Ｂ、及び光源制御部２４を備えている。
第１レーザ光源２２Ａは、中心波長４４５ｎｍの青色レーザ光源である。第２レーザ光源２２Ｂは、中心波長４０５ｎｍの紫色レーザ光源である。第１レーザ光源２２Ａ及び第２レーザ光源２２Ｂとして、レーザダイオードを用いることができる。第１レーザ光源２２Ａ及び第２レーザ光源２２Ｂの発光は、光源制御部２４により個別に制御される。第１レーザ光源２２Ａと第２レーザ光源２２Ｂとの発光強度比は変更自在になっている。
また、図２に示すように、内視鏡１２は、光ファイバ２８Ａ、光ファイバ２８Ｂ、蛍光体３０、拡散部材３２、撮像レンズ３４、撮像素子３６、及びアナログデジタル変換部３８を備えている。
第１レーザ光源２２Ａ、第２レーザ光源２２Ｂ、光ファイバ２８Ａ、光ファイバ２８Ｂ、蛍光体３０、及び拡散部材３２によって、照射部が構成される。
第１レーザ光源２２Ａから出射されるレーザ光は、光ファイバ２８Ａによって、内視鏡１２の先端部１２Ｄに配置された蛍光体３０に照射される。蛍光体３０は、第１レーザ光源２２Ａからの青色レーザ光の一部を吸収して緑色〜黄色に励起発光する複数種の蛍光体を含んで構成される。これにより、蛍光体３０から出射する光は、第１レーザ光源２２Ａからの青色レーザ光を励起光とする緑色〜黄色の励起光Ｌ１１と、蛍光体３０に吸収されずに透過した青色のレーザ光Ｌ１２とが合わされて、白色（疑似白色）の光Ｌ１となる。
なお、ここで言う白色光とは、厳密に可視光の全ての波長成分を含むものに限らない。例えば、Ｒ、Ｇ、Ｂ等、特定の波長帯域の光を含むものであればよく、緑色から赤色にかけての波長成分を含む光、又は青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
一方、第２レーザ光源２２Ｂから出射されるレーザ光は、光ファイバ２８Ｂによって、内視鏡１２の先端部１２Ｄに配置された拡散部材３２に照射される。拡散部材３２は、透光性を有する樹脂材料等を用いることができる。拡散部材３２から出射する光は、照射領域内において光量が均一化された狭帯域波長の光Ｌ２となる。
図３は、光Ｌ１及び光Ｌ２の強度分布を示すグラフである。光源制御部２４（波長パターン変更部の一例）は、第１レーザ光源２２Ａと第２レーザ光源２２Ｂとの光量比を変更する。これにより、光Ｌ１と光Ｌ２との光量比が変更され、光Ｌ１と光Ｌ２との合成光である照射光Ｌ０の波長パターンが変更される。したがって、観察モードに応じて異なる波長パターンの照射光Ｌ０を照射することができる。
図２の説明に戻り、撮像レンズ３４、撮像素子３６、及びアナログデジタル変換部３８によって、撮影部（カメラ）が構成される。撮影部は、内視鏡１２の先端部１２Ｄに配置される。
撮像レンズ３４は、入射した光を撮像素子３６に結像させる。撮像素子３６は、受光した光に応じたアナログ信号を生成する。撮像素子３６としては、ＣＣＤ（Charge Coupled Device）型イメージセンサ、又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサが用いられる。撮像素子３６から出力されるアナログ信号は、アナログデジタル変換部３８によりデジタル信号に変換され、プロセッサ装置１６に入力される。
また、図２に示すように、プロセッサ装置１６は、撮影制御部４０、画像処理部４２、画像取得部４４、病変領域検出部４６、位置情報取得部４８、選択部５２、病変領域検出制御部５４、表示制御部５８、記憶制御部６０、及び記憶部６２を備えている。
撮影制御部４０は、光源装置１４の光源制御部２４、内視鏡１２の撮像素子３６及びアナログデジタル変換部３８、プロセッサ装置１６の画像処理部４２を制御することで、内視鏡システム１０による動画及び静止画の撮影を統括制御する。
画像処理部４２は、内視鏡１２のアナログデジタル変換部３８から入力されたデジタル信号に画像処理を施し、画像を示す画像データ（以下、画像と表記する）を生成する。画像処理部４２は、撮影時の照射光の波長パターンに応じた画像処理を施す。
画像取得部４４は、画像処理部４２が生成した画像を取得する。即ち、画像取得部４４は、被験者の体腔内（生体内の一例）を一定のフレームレートで時系列的に撮影した複数の画像を順次取得する。なお、画像取得部４４は、入力部２０から入力された画像、又は記憶部６２に記憶された画像を取得してもよい。また、不図示のネットワークに接続されたサーバ等の外部装置から画像を取得してもよい。これらの場合の画像も、時系列的に撮影した複数の画像であることが好ましい。
病変領域検出部４６は、入力された画像（入力画像）から病変領域を検出する。病変領域検出部４６は、体腔内の複数の位置にそれぞれ対応した第１検出部４６Ａ、第２検出部４６Ｂ、第３検出部４６Ｃ、第４検出部４６Ｄ、第５検出部４６Ｅ、第６検出部４６Ｆ、第７検出部４６Ｇ、及び第８検出部４６Ｈ（複数の注目領域検出部の一例）を備えている。ここでは、一例として、第１検出部４６Ａは直腸に、第２検出部４６ＢはＳ状結腸に、第３検出部４６Ｃは下行結腸に、第４検出部４６Ｄは横行結腸に、第５検出部４６Ｅは上行結腸に、第６検出部４６Ｆは盲腸に、第７検出部４６Ｇは回腸に、第８検出部４６Ｈは空腸に、それぞれ対応している（複数の注目領域検出工程の一例）。
第１検出部４６Ａ、第２検出部４６Ｂ、第３検出部４６Ｃ、第４検出部４６Ｄ、第５検出部４６Ｅ、第６検出部４６Ｆ、第７検出部４６Ｇ、及び第８検出部４６Ｈは、それぞれ学習済みモデルである。この複数の学習済みモデルは、それぞれ異なるデータセットを用いて学習したモデルである。詳しくは、複数の学習済みモデルは、それぞれ体腔内の異なる位置を撮影した画像からなるデータセットを用いて学習したモデルである。
即ち、第１検出部４６Ａは直腸の画像からなるデータセット、第２検出部４６ＢはＳ状結腸の画像からなるデータセット、第３検出部４６Ｃは下行結腸の画像からなるデータセット、第４検出部４６Ｄは横行結腸の画像からなるデータセット、第５検出部４６Ｅは上行結腸の画像からなるデータセット、第６検出部４６Ｆは盲腸の画像からなるデータセット、第７検出部４６Ｇは回腸の画像からなるデータセット、第８検出部４６Ｈは空腸の画像からなるデータセットを用いて学習したモデルである。
これらの学習済みモデルは、サポートベクタマシン、又は畳み込みニューラルネットワーク等を用いることが好ましい。
位置情報取得部４８は、画像取得部４４が取得した画像の体腔内の位置を示す位置情報Ｉを取得する。ここでは、医師が入力部２０を用いて位置情報Ｉを入力する。位置情報取得部４８は、入力部２０から入力された位置情報Ｉを取得する。
画像の体腔内の位置を示す位置情報Ｉとして、直腸、Ｓ状結腸、下行結腸、横行結腸、上行結腸、盲腸、回腸、及び空腸等が入力される。これらの位置候補を選択可能に表示部１８に表示し、医師が入力部２０を用いて選択するように構成してもよい。
選択部５２は、病変領域検出部４６から位置情報取得部４８が取得した位置情報Ｉが示す位置に対応した検出部を選択する。即ち、選択部５２は、位置情報Ｉの示す位置が直腸の場合は第１検出部４６Ａを、Ｓ状結腸の場合は第２検出部４６Ｂを、下行結腸の場合は第３検出部４６Ｃを、横行結腸の場合は第４検出部４６Ｄを、上行結腸の場合は第５検出部４６Ｅを、盲腸の場合は第６検出部４６Ｆを、回腸の場合は第７検出部４６Ｇを、空腸の場合は第８検出部４６Ｈを選択する。
病変領域検出制御部５４（制御部の一例）は、選択部５２が選択した検出部によって、画像取得部４４が取得した画像から病変領域（注目領域の一例）を検出させる。ここでの病変領域とは、病気が原因のものに限定されず、外観上正常な状態とは異なる状態の領域を含んでいる。病変領域としては、例えば、ポリープ、癌、大腸憩室、炎症、ＥＭＲ（Endoscopic Mucosal Resection）瘢痕又はＥＳＤ（Endoscopic Submucosal Dissection）瘢痕等の治療痕、クリップ箇所、出血点、穿孔、及び血管異型性等が挙げられる。
なお、画像取得部４４、病変領域検出部４６、位置情報取得部４８、選択部５２、及び病変領域検出制御部５４によって、医療画像処理装置５６が構成される。
表示制御部５８は、画像処理部４２によって生成された画像を表示部１８に表示させる。また、位置情報取得部４８が取得した位置情報Ｉ（が示す位置）を表示する。さらに、病変領域検出部４６によって検出された病変領域を認識可能に画像に重畳表示してもよい。
記憶制御部６０は、画像処理部４２によって生成された画像を記憶部６２に記憶させる。例えば、静止画の取得指示に従って撮影された画像及び画像を撮影した際の照射光Ｌ０の波長パターンの情報等を記憶部６２に記憶させる。
記憶部６２は、例えばハードディスク等のストレージ装置である。なお、記憶部６２は、プロセッサ装置１６に内蔵されたものに限定されない。例えば、プロセッサ装置１６に接続される不図示の外部記憶装置であってもよい。外部記憶装置は、不図示のネットワークを介して接続されていてもよい。
このように構成された内視鏡システム１０は、通常は一定のフレームレートで動画撮影を行い、撮影した画像及びその画像の位置情報Ｉを表示部１８に表示する。また、撮影された動画から、病変領域を検出し、検出した病変領域を認識可能に動画に重畳して表示部１８に表示する。
〔内視鏡システムの動作方法〕
図４は、内視鏡システム１０による画像診断方法（内視鏡システムの作動方法、医療画像処理方法の一例）の処理を示すフローチャートである。
内視鏡システム１０による画像診断を開始するには、ステップＳ１（画像取得工程の一例）において、撮影制御部４０の制御により動画の撮影及び表示を行う。即ち、光源制御部２４は、第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光とを、所望の観察モードに対応する光量比に設定する。これにより、被験者の体腔内の被観察領域に所望の波長パターンの照射光Ｌ０を照射する。
また、撮影制御部４０は、撮像素子３６、アナログデジタル変換部３８、及び画像処理部４２を制御し、被観察領域からの反射光を受光した被観察領域の画像を撮影する。画像取得部４４は、撮影した画像を取得する。
このように、内視鏡システム１０は、一定のフレームレートで画像（動画）を撮影する。
次に、ステップＳ２（位置情報取得工程の一例）では、位置情報取得部４８において位置情報Ｉを取得する。ここでは、医師が入力部２０を用いてステップＳ１で撮影した画像の管腔内の位置を示す位置情報Ｉを入力する。位置情報取得部４８は、入力部２０から入力された位置情報Ｉを取得する。医師は、画像の撮影前に位置情報Ｉを入力してもよい。
なお、位置情報Ｉが入力部２０から新たに入力されない場合は、最後に入力された位置情報Ｉを現在の位置情報Ｉとして取得する。医師は、内視鏡１２の撮影位置（部位）が変化した場合のみ入力部２０から位置情報Ｉを入力すればよい。
続いて、ステップＳ３（選択工程の一例）では、選択部５２は、ステップＳ２で取得した位置情報Ｉに基づいて、第１検出部４６Ａ〜第８検出部４６Ｈのうちのいずれかの検出部を選択する。即ち、位置情報Ｉの示す管腔内の位置が直腸であれば第１検出部４６Ａを、Ｓ状結腸であれば第２検出部４６Ｂを、下行結腸であれば第３検出部４６Ｃを、横行結腸であれば第４検出部４６Ｄを、上行結腸であれば第５検出部４６Ｅを、盲腸であれば第６検出部４６Ｆを、回腸であれば第７検出部４６Ｇを、空腸であれば第８検出部４６Ｈを選択する。
次に、ステップＳ４（制御工程の一例）では、病変領域検出制御部５４は、画像取得部４４が取得した画像について、選択した検出部（選択した注目領域検出工程の一例）において病変領域を検出させる。例えば、第１検出部４６Ａが選択された場合は、第１検出部４６Ａが画像から病変領域を検出する。また、第２検出部４６Ｂが選択された場合は、第２検出部４６Ｂが画像から病変領域を検出する。
第１検出部４６Ａ〜第８検出部４６Ｈは、それぞれ管腔内の位置（部位）に応じて学習されている。このため、取得した位置情報Ｉに応じた検出部によって病変領域を検出することで、適切な検出が可能となる。
ステップＳ５では、表示制御部５８において、ステップＳ１で撮影された画像を表示部１８にリアルタイム表示させる。なお、リアルタイム表示とは、順次撮影された画像を随時更新して表示する処理であり、画像処理に必要な時間及び表示部１８への通信に必要な時間等のタイムラグを含んで表示することも含む。
また、表示制御部５８は、ステップＳ３で取得した位置情報Ｉを表示部１８に表示させる。
さらに、ステップＳ４において病変領域が検出された場合は、表示制御部５８は、表示部１８に表示された画像に、検出した病変領域を認識可能に重畳表示する。
図５及び図６は、撮影した画像ＧＥと取得した位置情報Ｉとを表示した表示部１８の一例を示す図である。図５に示す例では、位置情報Ｉとして、位置情報Ｉの示す位置に相当する文字「Rectum」を画像ＧＥと共に表示している。ここでは、位置情報Ｉを画像の右上に英語で表示しているが、表示の位置及び言語についてはこの例に限定されない。
また、図６に示す場合では、位置情報Ｉとして、画像ＧＥと共に管腔のシェーマ図ＧＳを表示部１８に示し、シェーマ図ＧＳ上の位置情報Ｉが示す位置に丸印を表示している。ここでは、図形として丸印を用いているが、形状及び色等はこれに限定されず、医師が位置を認識可能に表示できればよい。
このように位置情報Ｉを表示することで、医師は位置情報Ｉが正しく設定されていることを確認することができる。
なお、記憶制御部６０は、画像ＧＥを記憶部６２に記憶してもよい。また、画像ＧＥと画像ＧＥの位置情報Ｉとを関連付けて記憶部６２に記憶してもよい。
最後に、ステップＳ６では、内視鏡システム１０による画像診断を終了するか否かを判定する。医師は、入力部２０によって、内視鏡システム１０の撮影動作の終了指示を入力することができる。
終了指示が入力された場合は、本フローチャートの処理を終了する。終了指示が入力されない場合は、ステップＳ１に戻り、撮影を継続する。
このように、位置情報Ｉを取得し、位置情報Ｉに応じた検出部によって病変領域を検出することで、病変領域を検出する精度を向上させることができる。
ここでは、内視鏡システム１０は、医師が入力部２０から入力することで位置情報Ｉを取得したが、磁気コイル等を用いた不図示の内視鏡挿入形状観測装置によって内視鏡１２の湾曲部１２Ｃの形状情報を取得し、この形状情報から先端部１２Ｄの位置情報Ｉを推定してもよい。また、被検者の体外からＸ線を照射して内視鏡１２の湾曲部１２Ｃの形状情報を取得し、この形状情報から先端部１２Ｄの位置情報Ｉを推定してもよい。
また、ここでは下部内視鏡に適用した例について説明したが、被験者の口又は鼻から挿入され、食道及び胃等を観察するために用いられる上部内視鏡に適用することも可能である。この場合、画像の体腔内の位置を示す位置情報Ｉとして、入力部２０から咽頭、食道、胃、及び十二指腸等が入力される。また、病変領域検出部４６は、それぞれ咽頭、食道、胃、及び十二指腸等の病変領域を検出する検出部を備えればよい。
ここでは、病変領域検出部４６が複数の検出部を備えているが、検出器を１つのみ備え、使用するデータ又はパラメータを位置毎に切り替えてもよい。例えば、病変領域検出部４６が第１検出部４６Ａのみを備え、取得した位置情報Ｉに応じたパラメータを第１検出部４６Ａに設定する。第１検出部４６Ａは、設定されたパラメータを使用して病変領域を検出する。
このように構成しても、位置情報Ｉに応じた検出部によって病変領域を検出することで、病変領域を検出する精度を向上させることができる。
＜第２の実施形態＞
位置情報Ｉは、内視鏡システム１０の外部から入力される態様に限定されない。例えば、撮影した画像から推定することも可能である。
図７は、内視鏡システム７０の機能を示すブロック図である。なお、図２に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
内視鏡システム７０は、位置情報取得部４８に位置認識部５０を備えている。本実施形態では、画像取得部４４が取得した画像が位置情報取得部４８に入力される。位置認識部５０は、入力された画像の画像特徴量から、撮影された管腔内の位置（部位）を認識（推定）する。
位置認識部５０は、例えば、深層学習等の機械学習アルゴリズムにより各位置の粘膜の画像を学習した学習済みモデルである。
このように、内視鏡システム７０によれば、位置認識部５０において画像を解析することで、位置情報Ｉを取得することができる。
選択部５２は、取得した位置情報Ｉに基づいて、第１検出部４６Ａ、第２検出部４６Ｂ、第３検出部４６Ｃ、第４検出部４６Ｄ、第５検出部４６Ｅ、第６検出部４６Ｆ、第７検出部４６Ｇ、及び第８検出部４６Ｈのうちのいずれかの検出部を選択する。
病変領域検出制御部５４は、画像取得部４４が取得した画像について、選択した検出部において病変領域を検出させる。
このように構成することで、内視鏡１２の先端部１２Ｄの位置が変化した際に位置情報Ｉを直ちに取得することができる。これにより、病変領域を検出する精度を向上させることができる。
また、第１の実施形態と同様に、表示制御部５８は、表示部１８に位置情報Ｉを表示する。このように位置情報Ｉを表示することで、医師は位置情報Ｉが正しく認識されていることを確認することができる。表示された位置情報Ｉが正しくない場合は、入力部２０を用いて修正可能に構成してもよい。
なお、位置認識部５０は、各位置の特徴的なランドマークを検出し、検出したランドマーク情報から位置を推定してもよい。例えば、ランドマークとして胆汁を検出した場合は位置を十二指腸と推定し、柔毛を検出した場合は位置を回腸又は空腸と推定し、回盲弁を検出した場合は位置を盲腸又は上行結腸と推定する。
上部内視鏡の場合であれば、ランドマークとして声帯又は咽頭蓋を検出した場合は位置を咽頭と推定し、扁平上皮を検出した場合は位置を食道と推定することができる。
＜第３の実施形態＞
被験者の生体内の複数の位置の画像を順次撮影する医療機器として、超音波画像を生成する超音波診断装置がある。ここでは、超音波診断装置に適用した例について説明する。
図８は、超音波診断装置１００の機能を示すブロック図である。図８に示すように、超音波診断装置１００は、表示部１８、入力部２０、医療画像処理装置５６、表示制御部５８、記憶制御部６０、記憶部６２、超音波プローブ１０２、送受信制御部１０４、送信部１０６、受信部１０８、及び画像処理部１１０を備えている。
なお、超音波プローブ１０２を含まずに超音波診断装置と呼ばれる場合もある。この場合、超音波診断装置は超音波プローブと接続される。
超音波プローブ１０２は、被検者の体外から生体内に向けて超音波を送信し、被検者の生体内において反射された超音波を受信する。
超音波プローブ１０２は、送信部１０６及び受信部１０８に接続されている。送信部１０６及び受信部１０８は、送受信制御部１０４による制御に従って、超音波プローブ１０２を用いた超音波の送受信を行う。
送信部１０６は、超音波プローブ１０２が備える不図示の超音波振動子に送信信号を出力する。超音波プローブ１０２の超音波振動子は、送信信号に応じた超音波を被検者に送信する。
また、被検者の生体内で反射した超音波は、超音波を送信した超音波振動子によって受信される。超音波振動子は、受信部１０８に反射波信号を出力する。受信部１０８は、この反射波信号を受信する。さらに、受信部１０８は、反射波信号に増幅処理、アナログデジタル変換処理等を行い、デジタル信号を画像処理部１１０に出力する。
画像処理部１１０（超音波画像生成部の一例）は、受信部１０８から入力されたデジタル信号に画像処理を施し、超音波画像信号を生成する。
表示部１８、入力部２０、医療画像処理装置５６、表示制御部５８、記憶制御部６０、及び記憶部６２の構成は、第１の実施形態に係る内視鏡システム１０と同様である。
なお、医療画像処理装置５６が備える位置情報取得部４８は、位置情報Ｉとして、肝臓、胆嚢、膵臓、脾臓、腎臓、子宮、卵巣、及び前立腺等を取得する。
また、医療画像処理装置５６が備える病変領域検出部４６は、第１検出部４６Ａは肝臓の病変領域を、第２検出部４６Ｂは胆嚢の病変領域を、第３検出部４６Ｃは膵臓の病変領域を、第４検出部４６Ｄは脾臓の病変領域を、第５検出部４６Ｅは腎臓の病変領域を、第６検出部４６Ｆは子宮の病変領域を、第７検出部４６Ｇは卵巣の病変領域を、第８検出部４６Ｈは前立腺の病変領域を、それぞれ検出する。
即ち、ここでは、第１検出部４６Ａは肝臓の画像からなるデータセット、第２検出部４６Ｂは胆嚢の画像からなるデータセット、第３検出部４６Ｃは膵臓の画像からなるデータセット、第４検出部４６Ｄは脾臓の画像からなるデータセット、第５検出部４６Ｅは腎臓の画像からなるデータセット、第６検出部４６Ｆは子宮の画像からなるデータセット、第７検出部４６Ｇは卵巣の画像からなるデータセット、第８検出部４６Ｈは前立腺の画像からなるデータセットを用いて学習した学習済みモデルである。
超音波診断装置１００による画像診断方法の処理は、図４に示すフローチャートと同様である。
即ち、超音波プローブを用いて被検者に超音波の送受信を行い、画像処理部１１０により超音波画像信号を生成する（ステップＳ１）。この動作を一定のフレームレートで行う。また、医師が入力部２０から入力する等により、超音波画像を撮影している位置情報Ｉを取得する（ステップＳ２）。
選択部５２は、位置情報Ｉに基づいて、第１検出部４６Ａ、第２検出部４６Ｂ、第３検出部４６Ｃ、第４検出部４６Ｄ、第５検出部４６Ｅ、第６検出部４６Ｆ、第７検出部４６Ｇ、及び第８検出部４６Ｈのうちのいずれかの検出部を選択する（ステップＳ３）。即ち、位置情報Ｉの示す被検者の生体内の位置が肝臓であれば第１検出部４６Ａを、胆嚢であれば第２検出部４６Ｂを、膵臓であれば第３検出部４６Ｃを、脾臓であれば第４検出部４６Ｄを、腎臓であれば第５検出部４６Ｅを、子宮であれば第６検出部４６Ｆを、卵巣であれば第７検出部４６Ｇを、前立腺であれば第８検出部４６Ｈを選択する。
病変領域検出制御部５４は、画像取得部４４が取得した画像について、選択した検出部において病変領域を検出させる（ステップＳ４）。
表示制御部５８は、表示部１８にステップＳ１で撮影された画像をリアルタイム表示させる。また、表示部１８に位置情報Ｉを表示させる（ステップＳ５）。ステップＳ４において病変領域が検出された場合は、表示部１８に表示された画像に、検出した病変領域を認識可能に重畳表示する。
ステップＳ６において、超音波診断装置１００による画像診断を終了すると判断されるまで、以上の動作を繰り返す。
以上のように、超音波診断装置においても、位置情報Ｉを取得し、位置情報Ｉに応じた検出部によって病変領域を検出することで、病変領域を検出する精度を向上させることができる。
＜付記＞
上述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。
（付記１）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
（付記３）
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
（付記４）
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。
（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
（付記１２）
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
（付記１３）
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。
（付記１４）
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。
（付記１６）
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Red Green Blue）あるいはＣＭＹ（Cyan, Magenta, Yellow）の色情報に基づく演算により得る医療画像処理装置。
（付記１８）
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
（付記１９）
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
（付記２０）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。
（付記２１）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。
＜その他＞
上記の画像処理方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。
ここまで説明した実施形態において、例えば、プロセッサ装置１６の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
１０ 内視鏡システム
１２ 内視鏡
１２Ａ 挿入部
１２Ｂ 操作部
１２Ｃ 湾曲部
１２Ｄ 先端部
１２Ｅ アングルノブ
１３ モード切替スイッチ
１４ 光源装置
１６ プロセッサ装置
１８ 表示部
２０ 入力部
２２Ａ 第１レーザ光源
２２Ｂ 第２レーザ光源
２４ 光源制御部
２８Ａ 光ファイバ
２８Ｂ 光ファイバ
３０ 蛍光体
３２ 拡散部材
３４ 撮像レンズ
３６ 撮像素子
３８ アナログデジタル変換部
４０ 撮影制御部
４２ 画像処理部
４４ 画像取得部
４６ 病変領域検出部
４６Ａ 第１検出部
４６Ｂ 第２検出部
４６Ｃ 第３検出部
４６Ｄ 第４検出部
４６Ｅ 第５検出部
４６Ｆ 第６検出部
４６Ｇ 第７検出部
４６Ｈ 第８検出部
４８ 位置情報取得部
５０ 位置認識部
５２ 選択部
５４ 病変領域検出制御部
５６ 医療画像処理装置
５８ 表示制御部
６０ 記憶制御部
６２ 記憶部
７０ 内視鏡システム
１００ 超音波診断装置
１０２ 超音波プローブ
１０４ 送受信制御部
１０６ 送信部
１０８ 受信部
１１０ 画像処理部
ＧＥ 画像
ＧＳ シェーマ図
Ｌ０ 照射光
Ｌ１ 光
Ｌ１１ 励起光
Ｌ１２ レーザ光
Ｌ２ 光
Ｓ１〜Ｓ６ 画像診断方法の処理
内視鏡システムによって撮影される管腔内は、その位置によって粘膜の構造、病変の特性が異なる。このため、内視鏡画像から病変領域を自動検出するシステムでは、内視鏡画像の撮影位置によっては最適な病変領域の検出を行うことが難しいという問題点があった。内視鏡画像だけでなく、超音波診断装置等の被検者の生体内の複数の位置の画像を順次撮影する医療機器によって撮影された画像から病変領域を自動検出する場合には、同様の問題点がある。
上記目的を達成するために医療画像処理装置の一の態様は、被検者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から画像を取得する画像取得部と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得部と、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部と、複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択する選択部と、選択した注目領域検出部によって取得した画像から注目領域を検出させる制御部と、を備えた医療画像処理装置である。
本態様によれば、被検者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から取得した画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択し、選択した注目領域検出部によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
医療機器は、被検者の体外から体内に向けて超音波を送信し、被検者の体内において反射された超音波を受信する超音波プローブと、超音波プローブによって受信された超音波を用いて超音波画像を生成する超音波画像生成部と、超音波画像を表示する表示部と、を備えることが好ましい。これにより、超音波診断装置が生成した超音波画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
医療機器は、被検者の体腔内に挿入される内視鏡と、体腔内を撮影するカメラと、撮影した画像を表示する表示部と、を備えることが好ましい。これにより、内視鏡システムが生成した内視鏡画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
上記目的を達成するために内視鏡システムの一の態様は、被検者の体腔内に挿入される内視鏡と、体腔内を撮影するカメラと、撮影した画像を表示する表示部と、を有する医療機器と、被検者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から画像を取得する画像取得部と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得部と、入力画像から注目領域を検出する注目領域検出部であって、生体内
の複数の位置にそれぞれ対応した複数の注目領域検出部と、複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択する選択部と、選択した注目領域検出部によって取得した画像から注目領域を検出させる制御部と、を有する医療画像処理装置と、を備えた内視鏡システムである。
本態様によれば、被検者の体腔内に挿入される内視鏡と、体腔内を撮影するカメラと、撮影した画像を表示する表示部と、を有する医療機器から、被検者の生体内の複数の位置の画像を順次撮影した画像を取得し、画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択し、選択した注目領域検出部によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
上記目的を達成するために医療画像処理方法の一の態様は、被検者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から画像を取得する画像取得工程と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得工程と、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程と、複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択する選択工程と、選択した注目領域検出工程によって取得した画像から注目領域を検出させる制御工程と、を備えた医療画像処理方法である。
本態様によれば、被検者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から取得した画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択し、選択した注目領域検出工程によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
上記目的を達成するためにコンピュータに実行させるプログラムの一の態様は、被検者の生体内の複数の位置の画像を順次撮影する医療機器から画像を取得する画像取得工程と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得工程と、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程と、複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択する選択工程と、選択した注目領域検出工程によって取得した画像から注目領域を検出させる制御工程と、をコンピュータに実行させるプログラムである。
本態様によれば、被検者の生体内の複数の位置の画像を順次撮影する医療機器から取得した画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択し、選択した注目領域検出工程によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
本実施形態では、内視鏡１２は、被検者の肛門から挿入され、直腸及び大腸等を観察するために用いられる下部内視鏡である。内視鏡１２は、光源装置１４と光学的に接続される。また、内視鏡１２は、プロセッサ装置１６と電気的に接続される。
内視鏡１２は、被検者の体腔内に挿入される挿入部１２Ａ、挿入部１２Ａの基端部分に設けられた操作部１２Ｂ、挿入部１２Ａの先端側に設けられた湾曲部１２Ｃ及び先端部１２Ｄを有している。
画像取得部４４は、画像処理部４２が生成した画像を取得する。即ち、画像取得部４４は、被検者の体腔内（生体内の一例）を一定のフレームレートで時系列的に撮影した複数の画像を順次取得する。なお、画像取得部４４は、入力部２０から入力された画像、又は記憶部６２に記憶された画像を取得してもよい。また、不図示のネットワークに接続されたサーバ等の外部装置から画像を取得してもよい。これらの場合の画像も、時系列的に撮影した複数の画像であることが好ましい。
内視鏡システム１０による画像診断を開始するには、ステップＳ１（画像取得工程の一例）において、撮影制御部４０の制御により動画の撮影及び表示を行う。即ち、光源制御部２４は、第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光とを、所望の観察モードに対応する光量比に設定する。これにより、被検者の体腔内の被観察領域に所望の波長パターンの照射光Ｌ０を照射する。
また、ここでは下部内視鏡に適用した例について説明したが、被検者の口又は鼻から挿入され、食道及び胃等を観察するために用いられる上部内視鏡に適用することも可能である。この場合、画像の体腔内の位置を示す位置情報Ｉとして、入力部２０から咽頭、食道、胃、及び十二指腸等が入力される。また、病変領域検出部４６は、それぞれ咽頭、食道、胃、及び十二指腸等の病変領域を検出する検出部を備えればよい。
＜第３の実施形態＞
被検者の生体内の複数の位置の画像を順次撮影する医療機器として、超音波画像を生成する超音波診断装置がある。ここでは、超音波診断装置に適用した例について説明する。
内視鏡システムによって撮影される管腔内は、その位置によって粘膜の構造、及び病変の特性が異なる。このため、内視鏡画像から病変領域を自動検出するシステムでは、内視鏡画像の撮影位置によっては最適な病変領域の検出を行うことが難しいという問題点があった。内視鏡画像だけでなく、超音波診断装置等の被検者の生体内の複数の位置の画像を順次撮影する医療機器によって撮影された画像から病変領域を自動検出する場合には、同様の問題点がある。
上記目的を達成するために医療画像処理装置の一の態様は、被検者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から画像を取得する画像取得部と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得部と、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部と、複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択する選択部と、選択した注目領域検出部によって取得した画像から注目領域を検出させる制御部と、を備えた医療画像処理装置である。
本態様によれば、被検者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から取得した画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択し、選択した注目領域検出部によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
医療機器は、被検者の体外から体内に向けて超音波を送信し、被検者の体内において反射された超音波を受信する超音波プローブと、超音波プローブによって受信された超音波を用いて超音波画像を生成する超音波画像生成部と、超音波画像を表示する表示部と、を備えることが好ましい。これにより、超音波診断装置が生成した超音波画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
医療機器は、被検者の体腔内に挿入される内視鏡と、体腔内を撮影するカメラと、撮影した画像を表示する表示部と、を備えることが好ましい。これにより、内視鏡システムが生成した内視鏡画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
上記目的を達成するために内視鏡システムの一の態様は、被検者の体腔内に挿入される内視鏡と、体腔内を撮影するカメラと、撮影した画像を表示する表示部と、を有する医療機器と、被検者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から画像を取得する画像取得部と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得部と、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部と、複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択する選択部と、選択した注目領域検出部によって取得した画像から注目領域を検出させる制御部と、を有する医療画像処理装置と、を備えた内視鏡システムである。
本態様によれば、被検者の体腔内に挿入される内視鏡と、体腔内を撮影するカメラと、撮影した画像を表示する表示部と、を有する医療機器から、被検者の生体内の複数の位置の画像を順次撮影した画像を取得し、画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部から位置情報が示す位置に対応した注目領域検出部を選択し、選択した注目領域検出部によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
上記目的を達成するために医療画像処理方法の一の態様は、被検の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から画像を取得する画像取得工程と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得工程と、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程と、複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択する選択工程と、選択した注目領域検出工程によって取得した画像から注目領域を検出させる制御工程と、を備えた医療画像処理方法である。
本態様によれば、被検者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から取得した画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択し、選択した注目領域検出工程によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
上記目的を達成するためにコンピュータに実行させるプログラムの一の態様は、被検者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から画像を取得する画像取得工程と、取得した画像の生体内の位置を示す位置情報を取得する位置情報取得工程と、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程と、複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択する選択工程と、選択した注目領域検出工程によって取得した画像から注目領域を検出させる制御工程と、をコンピュータに実行させるプログラムである。
本態様によれば、被検者の生体内の複数の位置の画像を順次撮影する医療機器から取得した画像の生体内の位置を示す位置情報を取得し、入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程から位置情報が示す位置に対応した注目領域検出工程を選択し、選択した注目領域検出工程によって取得した画像から注目領域を検出させるようにしたので、取得した画像の生体内の位置に応じた最適な病変領域の検出を行うことができる。
本実施形態では、内視鏡１２は、被検の肛門から挿入され、直腸及び大腸等を観察するために用いられる下部内視鏡である。内視鏡１２は、光源装置１４と光学的に接続される。また、内視鏡１２は、プロセッサ装置１６と電気的に接続される。
内視鏡１２は、被検の体腔内に挿入される挿入部１２Ａ、挿入部１２Ａの基端部分に設けられた操作部１２Ｂ、挿入部１２Ａの先端側に設けられた湾曲部１２Ｃ及び先端部１２Ｄを有している。
画像取得部４４は、画像処理部４２が生成した画像を取得する。即ち、画像取得部４４は、被検者の体腔内（生体内の一例）を一定のフレームレートで時系列的に撮影した複数の画像を順次取得する。なお、画像取得部４４は、入力部２０から入力された画像、又は記憶部６２に記憶された画像を取得してもよい。また、不図示のネットワークに接続されたサーバ等の外部装置から画像を取得してもよい。これらの場合の画像も、時系列的に撮影した複数の画像であることが好ましい。
内視鏡システム１０による画像診断を開始するには、ステップＳ１（画像取得工程の一例）において、撮影制御部４０の制御により動画の撮影及び表示を行う。即ち、光源制御部２４は、第１レーザ光源２２Ａの出射光と第２レーザ光源２２Ｂの出射光とを、所望の観察モードに対応する光量比に設定する。これにより、被検者の体腔内の被観察領域に所望の波長パターンの照射光Ｌ０を照射する。
また、ここでは下部内視鏡に適用した例について説明したが、被検者の口又は鼻から挿入され、食道及び胃等を観察するために用いられる上部内視鏡に適用することも可能である。この場合、画像の体腔内の位置を示す位置情報Ｉとして、入力部２０から咽頭、食道、胃、及び十二指腸等が入力される。また、病変領域検出部４６は、それぞれ咽頭、食道、胃、及び十二指腸等の病変領域を検出する検出部を備えればよい。
＜第３の実施形態＞
被検者の生体内の複数の位置の画像を順次撮影する医療機器として、超音波画像を生成する超音波診断装置がある。ここでは、超音波診断装置に適用した例について説明する。
（付記１３）
蛍光は、ピーク波長が３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。

Claims (15)

  1. 被験者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から前記画像を取得する画像取得部と、
    前記取得した画像の前記生体内の位置を示す位置情報を取得する位置情報取得部と、
    入力画像から注目領域を検出する注目領域検出部であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出部と、
    前記複数の注目領域検出部から前記位置情報が示す位置に対応した注目領域検出部を選択する選択部と、
    前記選択した注目領域検出部によって前記取得した画像から注目領域を検出させる制御部と、
    を備えた医療画像処理装置。
  2. 前記画像取得部は、前記生体内を時系列的に撮影した複数の画像を順次取得する請求項１に記載の医療画像処理装置。
  3. 前記画像取得部は、一定のフレームレートで撮影した複数の画像を順次取得する請求項２に記載の医療画像処理装置。
  4. 前記複数の注目領域検出部は、複数の学習済みモデルである請求項１から３のいずれか１項に記載の医療画像処理装置。
  5. 前記複数の学習済みモデルは、それぞれ異なるデータセットを用いて学習したモデルである請求項４に記載の医療画像処理装置。
  6. 前記複数の学習済みモデルは、それぞれ生体内の異なる位置を撮影した画像からなるデータセットを用いて学習したモデルである請求項５に記載の医療画像処理装置。
  7. 前記位置情報取得部は、前記取得した画像から前記生体内の位置を認識する位置認識部を備えた請求項１から６のいずれか１項に記載の医療画像処理装置。
  8. 前記位置情報取得部は、前記生体内の位置情報をユーザからの入力によって受け付ける入力部を備えた請求項１から７のいずれか１項に記載の医療画像処理装置。
  9. 前記取得した位置情報が示す位置を前記医療機器に表示させる表示制御部を備えた請求項１から８のいずれか１項に記載の医療画像処理装置。
  10. 前記医療機器は、
    前記被験者の体外から体内に向けて超音波を送信し、前記被験者の体内において反射された前記超音波を受信する超音波プローブと、
    前記超音波プローブによって受信された超音波を用いて超音波画像を生成する超音波画像生成部と、
    前記超音波画像を表示する表示部と、
    を備えた請求項１から９のいずれか１項に記載の医療画像処理装置。
  11. 前記医療機器は、
    前記被験者の体腔内に挿入される内視鏡と、
    前記体腔内を撮影するカメラと、
    前記撮影した画像を表示する表示部と、
    を備えた請求項１から９のいずれか１項に記載の医療画像処理装置。
  12. 被験者の体腔内に挿入される内視鏡と、前記体腔内を撮影するカメラと、前記撮影した画像を表示する表示部と、を有する医療機器と、
    請求項１１に記載の医療画像処理装置と、
    を備えた内視鏡システム。
  13. 被験者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から前記画像を取得する画像取得工程と、
    前記取得した画像の前記生体内の位置を示す位置情報を取得する位置情報取得工程と、
    入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程と、
    前記複数の注目領域検出工程から前記位置情報が示す位置に対応した注目領域検出工程を選択する選択工程と、
    前記選択した注目領域検出工程によって前記取得した画像から注目領域を検出させる制御工程と、
    を備えた医療画像処理方法。
  14. 被験者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から前記画像を取得する画像取得工程と、
    前記取得した画像の前記生体内の位置を示す位置情報を取得する位置情報取得工程と、
    入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程と、
    前記複数の注目領域検出工程から前記位置情報が示す位置に対応した注目領域検出工程を選択する選択工程と、
    前記選択した注目領域検出工程によって前記取得した画像から注目領域を検出させる制御工程と、
    をコンピュータに実行させるプログラム。
  15. 非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    被験者の生体内の複数の位置の画像を順次撮影しリアルタイム表示する医療機器から前記画像を取得する画像取得工程と、
    前記取得した画像の前記生体内の位置を示す位置情報を取得する位置情報取得工程と、
    入力画像から注目領域を検出する注目領域検出工程であって、生体内の複数の位置にそれぞれ対応した複数の注目領域検出工程と、
    前記複数の注目領域検出工程から前記位置情報が示す位置に対応した注目領域検出工程を選択する選択工程と、
    前記選択した注目領域検出工程によって前記取得した画像から注目領域を検出させる制御工程と、
    をコンピュータに実現させる記録媒体。
JP2019564351A 2018-01-10 2018-12-13 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム Pending JPWO2019138773A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022182517A JP2023010809A (ja) 2018-01-10 2022-11-15 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム、記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018002005 2018-01-10
JP2018002005 2018-01-10
PCT/JP2018/045953 WO2019138773A1 (ja) 2018-01-10 2018-12-13 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022182517A Division JP2023010809A (ja) 2018-01-10 2022-11-15 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム、記録媒体

Publications (1)

Publication Number Publication Date
JPWO2019138773A1 true JPWO2019138773A1 (ja) 2020-12-10

Family

ID=67218946

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019564351A Pending JPWO2019138773A1 (ja) 2018-01-10 2018-12-13 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
JP2022182517A Pending JP2023010809A (ja) 2018-01-10 2022-11-15 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム、記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022182517A Pending JP2023010809A (ja) 2018-01-10 2022-11-15 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム、記録媒体

Country Status (3)

Country Link
US (2) US11526986B2 (ja)
JP (2) JPWO2019138773A1 (ja)
WO (1) WO2019138773A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11291358B2 (en) * 2019-06-20 2022-04-05 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
JP6632020B1 (ja) * 2019-09-20 2020-01-15 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム
JP7335157B2 (ja) * 2019-12-25 2023-08-29 富士フイルム株式会社 学習データ作成装置、学習データ作成装置の作動方法及び学習データ作成プログラム並びに医療画像認識装置
JP7429715B2 (ja) * 2020-01-09 2024-02-08 オリンパス株式会社 画像処理システム、内視鏡システム、画像処理システムの作動方法及びプログラム
JP7289373B2 (ja) * 2020-01-17 2023-06-09 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2022181748A1 (ja) * 2021-02-26 2022-09-01 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
JPWO2022202401A1 (ja) * 2021-03-22 2022-09-29
WO2023089718A1 (ja) * 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
WO2023181353A1 (ja) * 2022-03-25 2023-09-28 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
WO2024004524A1 (ja) * 2022-06-29 2024-01-04 富士フイルム株式会社 診断支援装置、超音波内視鏡、診断支援方法、及びプログラム

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0512352A (ja) * 1990-11-22 1993-01-22 Toshiba Corp 医用診断支援システム
JP2003271924A (ja) * 2002-03-13 2003-09-26 Hitachi Ltd 画像処理システムおよび医療画像処理システム
JP2004113629A (ja) * 2002-09-27 2004-04-15 Olympus Corp 超音波診断装置
JP2007151809A (ja) * 2005-12-05 2007-06-21 Olympus Medical Systems Corp 受信装置
WO2010113479A1 (ja) * 2009-03-31 2010-10-07 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2011212094A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 診断支援システム、診断支援装置、診断支援方法および診断支援プログラム
JP2012249956A (ja) * 2011-06-06 2012-12-20 Toshiba Corp カプセル内視鏡画像処理装置及びカプセル内視鏡システム
JP2014133133A (ja) * 2013-01-10 2014-07-24 Samsung Electronics Co Ltd 病変診断装置及び方法
JP2014151208A (ja) * 2013-02-08 2014-08-25 Samsung Electronics Co Ltd 効率的な診断情報の提供を通じる診断支援装置及び方法と診断システム
JP2015154918A (ja) * 2014-02-19 2015-08-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 病変検出装置及び方法
JP2016189812A (ja) * 2015-03-30 2016-11-10 富士フイルム株式会社 内視鏡撮影部位特定装置、方法、プログラム
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置
JP2017213097A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5580637B2 (ja) * 2010-03-30 2014-08-27 オリンパス株式会社 画像処理装置、内視鏡装置の作動方法及びプログラム
US20120101372A1 (en) * 2010-10-25 2012-04-26 Fujifilm Corporation Diagnosis support apparatus, diagnosis support method, lesioned part detection apparatus, and lesioned part detection method
JP6027803B2 (ja) 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
JP6140056B2 (ja) 2013-09-26 2017-05-31 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
EP3289982A4 (en) * 2015-04-30 2019-01-30 Olympus Corporation MEDICAL DIAGNOSIS DEVICE, ULTRASONIC OBSERVATION SYSTEM, METHOD FOR OPERATING A MEDICAL DIAGNOSIS DEVICE AND A PROGRAM FOR OPERATING A MEDICAL DIAGNOSTIC DEVICE
EP3405908B1 (en) * 2015-09-10 2021-12-15 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2018211674A1 (ja) * 2017-05-18 2018-11-22 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0512352A (ja) * 1990-11-22 1993-01-22 Toshiba Corp 医用診断支援システム
JP2003271924A (ja) * 2002-03-13 2003-09-26 Hitachi Ltd 画像処理システムおよび医療画像処理システム
JP2004113629A (ja) * 2002-09-27 2004-04-15 Olympus Corp 超音波診断装置
JP2007151809A (ja) * 2005-12-05 2007-06-21 Olympus Medical Systems Corp 受信装置
WO2010113479A1 (ja) * 2009-03-31 2010-10-07 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP2011212094A (ja) * 2010-03-31 2011-10-27 Fujifilm Corp 診断支援システム、診断支援装置、診断支援方法および診断支援プログラム
JP2012249956A (ja) * 2011-06-06 2012-12-20 Toshiba Corp カプセル内視鏡画像処理装置及びカプセル内視鏡システム
JP2014133133A (ja) * 2013-01-10 2014-07-24 Samsung Electronics Co Ltd 病変診断装置及び方法
JP2014151208A (ja) * 2013-02-08 2014-08-25 Samsung Electronics Co Ltd 効率的な診断情報の提供を通じる診断支援装置及び方法と診断システム
JP2015154918A (ja) * 2014-02-19 2015-08-27 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 病変検出装置及び方法
JP2016189812A (ja) * 2015-03-30 2016-11-10 富士フイルム株式会社 内視鏡撮影部位特定装置、方法、プログラム
WO2017175282A1 (ja) * 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
WO2017203560A1 (ja) * 2016-05-23 2017-11-30 オリンパス株式会社 内視鏡画像処理装置
JP2017213097A (ja) * 2016-05-30 2017-12-07 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US20200320702A1 (en) 2020-10-08
US20230086972A1 (en) 2023-03-23
US11526986B2 (en) 2022-12-13
WO2019138773A1 (ja) 2019-07-18
JP2023010809A (ja) 2023-01-20

Similar Documents

Publication Publication Date Title
JPWO2019138773A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
US11033175B2 (en) Endoscope system and operation method therefor
JP7125484B2 (ja) 内視鏡システム
JP7176041B2 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN112105284B (zh) 图像处理装置、内窥镜系统及图像处理方法
CN111526773B (zh) 内窥镜图像获取系统及方法
JP7333805B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JP7289373B2 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP7326308B2 (ja) 医療画像処理装置及び医療画像処理装置の作動方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
CN113395929A (zh) 医疗图像处理装置、内窥镜系统、以及医疗图像处理方法
US20210145248A1 (en) Endoscope apparatus, operating method of endoscope apparatus, and information storage medium
JP7289241B2 (ja) ファイリング装置、ファイリング方法及びプログラム
WO2019167623A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP2013048646A (ja) 診断システム
US20220414885A1 (en) Endoscope system, medical image processing device, and operation method therefor
EP4356814A1 (en) Medical image processing device, medical image processing method, and program
US20230206445A1 (en) Learning apparatus, learning method, program, trained model, and endoscope system
US20230410304A1 (en) Medical image processing apparatus, medical image processing method, and program
JP2021065293A (ja) 画像処理方法、画像処理装置、画像処理プログラム、教師データ生成方法、教師データ生成装置、教師データ生成プログラム、学習済みモデル生成方法、学習済みモデル生成装置、診断支援方法、診断支援装置、診断支援プログラム、およびそれらのプログラムを記録した記録媒体
CN111989026A (zh) 内窥镜装置、内窥镜操作方法及程序

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221115

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221115

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221129

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221130

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230113

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230117

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230417