JP7190597B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP7190597B2
JP7190597B2 JP2022003044A JP2022003044A JP7190597B2 JP 7190597 B2 JP7190597 B2 JP 7190597B2 JP 2022003044 A JP2022003044 A JP 2022003044A JP 2022003044 A JP2022003044 A JP 2022003044A JP 7190597 B2 JP7190597 B2 JP 7190597B2
Authority
JP
Japan
Prior art keywords
unit
recognition
image
subject
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022003044A
Other languages
English (en)
Other versions
JP2022044652A (ja
Inventor
稔宏 臼田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JP2022044652A publication Critical patent/JP2022044652A/ja
Priority to JP2022194135A priority Critical patent/JP7411772B2/ja
Application granted granted Critical
Publication of JP7190597B2 publication Critical patent/JP7190597B2/ja
Priority to JP2023217600A priority patent/JP2024023832A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/034Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、内視鏡を用いて撮影した画像を用いて被写体の認識処理を行う内視鏡システムに関する。
医療分野においては、光源装置、内視鏡、及び、プロセッサ装置を備える内視鏡システムが普及している。光源装置は、照明光を発生する。内視鏡は、イメージセンサを用いて被写体を撮影する。プロセッサ装置は、画像の生成及びその他の画像処理等を行う。
内視鏡システムは、観察のために被写体を撮影するだけでなく、付加的機能を有する場合がある。例えば、処置具の位置及び向きをタッチパネルで操作する「入力モード」を有する内視鏡システムが知られている(特許文献1)。この特許文献1の内視鏡システムにおいては、上記入力モードの状態を画面に表示する。また、内視鏡先端部の湾曲の状態を示す画像、及び、キャリブレーションが終了した旨等を告知する文字列を画面に表示して、システムの異常等を知らせる機能を有する内視鏡システムが知られている(特許文献2)。この他、フットスイッチのオンまたはオフの状態を画面に表示する内視鏡システム(特許文献3)、送気中を示すマークを画面に表示する内視鏡システム(特許文献4)、及び、録画のオンまたはオフの状態を画面に表示する内視鏡システム(特許文献5)が知られている。
また、処置具を検出し、その結果を利用する内視鏡システムが知られている。例えば、処置具の検出結果を用いて画像の補正強度を決定する内視鏡システムが知られている(特許文献6)。処置具を検出した場合に、オートフォーカス機能を停止する内視鏡システムが知られている(特許文献7)。
この他、近年においては、被写体を撮影した画像を用いて生体機能情報を算出等することにより、診断を支援する内視鏡システムも知られている(特許文献8)。
特開2008-245840号公報 特開2007-330405号公報 特開2005-305574号公報 特開平11-10313号公報 特開昭63-259614号公報 特開2015-96237号公報 特開2013-150658号公報 特開2018-51364号公報
内視鏡を用いて撮影した画像(以下、内視鏡画像という)等の医療画像を用いて、特定の特徴を有する被写体または被写体の一部を認識することにより、診断を支援する情報(以下、診断支援情報という)を得る場合、特定の条件で撮影することにより、認識処理が機能し得る医療画像を使用する必要がある。認識処理が機能し得ない医療画像を使用すると、認識処理の結果が得られたとしても、認識処理の結果が不正確である場合があるからである。
しかし、通常は、認識処理が機能し得る医療画像を常に取得できるとは限らない。このため、不正確な認識処理の結果、または、不正確な認識処理の結果を用いて算出等した診断支援情報が、かえって被写体の観察または診断の妨げとなってしまう場合がある。例えば、内視鏡システムにおいては、内視鏡画像に処置具が写り込んでいる場合に、認識処理の精度が低下する場合がある。
上記のように不正確な認識処理の結果等を提供しないようにするためには、認識処理が機能し得る医療画像が取得できない場合に認識処理を行わないようにすることが考えられる。しかし、単に認識処理を行わないようにすると、ユーザである医師等は、認識処理の結果、または、認識処理を行わなかった結果を誤って認識してしまう場合がある。例えば、病変の候補を検出する認識処理を行う装置等を使用している場合、単に認識処理を行わないようにすると、これを使用する医師等は、認識処理を行った結果、病変の候補が検出されなかったと誤認してしまう場合がある。すなわち、医師等は、認識処理が行われなかったために認識処理の結果が表示されていないのか、認識処理を行った結果、認識する対象がなかったために認識処理の結果が表示されていないかを判別できない場合がある。
また、被写体に対する手術等を開始した場合、または、色素剤を散布して仔細な観察を開始した場合等においては、術者の操作の妨げにならないようにするために、自動的に認識処理または認識処理の結果の表示を無効とする場合がある。しかし、この場合も上記と同様に、医師等は、認識処理を行った結果または認識処理を行わなかった結果を誤認してしまう場合がある。この他、医師等が明示的に認識機能を無効にしていないにもかかわらず、自動的に認識機能が無効になった場合、医師等の集中力が低下する場合があるという問題もある。
本発明は、少なくとも、認識処理を行った結果及び認識処理を行わなかった結果の誤認を防止する内視鏡システムを提供することを目的とする。
本発明の内視鏡システムは、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作として、処置具の使用を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、を備える。
判別部は、処置具の使用の有無を判別することが好ましい。判別部は、画像を用いた処置具の有無又は処置具の種類の検出に基づいて処置具の使用を判別することが好ましい。設定部は、処置具が使用されている場合に認識部を無効に設定し、かつ、処置具が使用されていない場合に認識部を有効に設定することが好ましい。
認識部は、病変の検出部と病変の鑑別部を備え、設定部は、検出部と鑑別部と有効または無効に設定することが好ましい。設定部は、検出部及び鑑別部の両方を有効とすること、検出部及び鑑別部の両方を無効にすることのうちいずれかに設定することが好ましい。設定部は、検出部と鑑別部とをそれぞれ有効または無効に設定することが好ましい。
設定部は、認識部が行う認識処理を有効または無効に設定することが好ましい。設定部は、認識処理の結果の報知を有効または無効に設定することが好ましい。認識部が複数種類の認識処理を行う場合、設定部は認識処理ごとに有効または無効を設定することが好ましい。
認識部の有効または無効の状態を報知する報知部を備えることが好ましい。認識部は、病変の検出部と病変の鑑別部を備え、報知部は、検出部及び鑑別部の有効または無効の状態を報知することが好ましい。報知部は、認識部の有効または無効の状態に加えて、判別部の判別結果を報知することが好ましい。
本発明によれば、認識処理を行った結果及び認識処理を行わなかった結果の誤認を防止する内視鏡システムを提供できる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 画像処理部のブロック図である。 内視鏡システムの動作態様を示すフローチャートである。 認識部が有効である場合の表示例である。 認識部が無効である場合の表示例である。 第2実施形態の表示例である。 検出と鑑別の動作状態の一覧表である。 変形例の表示例である。 操作内容の表示例である。 操作内容の表示例である。 操作内容の表示例である。 モニタへの表示以外の方法で認識部の有効または向こうを報知する場合のプロセッサ装置のブロック図である。 医療画像処理装置を示す説明図である。 診断支援装置を示す説明図である。 医療業務支援装置を示す説明図である。
[第1実施形態]
図1に示すように、内視鏡システム10(内視鏡装置)は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19と、を備える。内視鏡12は、被写体を撮影する。光源装置14は、照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18は、内視鏡12で画像等を表示する表示部である。コンソール19は、プロセッサ装置16等への設定入力等を行う入力デバイスである。
内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dと、を有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。その結果、先端部12dが所望の方向に向く。また、操作部12bには、アングルノブ12eの他、処置具挿入口12f、ズーム操作部13a、及び、送水ボタン13bが設けられている。処置具挿入口12fは、生検鉗子、スネア、または、電気メス等の処置具を挿入する入り口である。処置具挿入口12fに挿入した処置具は、先端部12dから突出する。ズーム操作部13aを操作することによって、被写体を拡大または縮小して撮影できる。また、送水ボタン13bを操作することによって、送水タンク17に貯留した水等の液体が先端部12dから噴出する。
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の動作を制御する光源制御部22と、を備える。
光源部20は、被写体を照明する照明光を発光する。照明光の発光には、照明光を発光するために使用する励起光等の発光を含む。光源部20は、例えば、レーザーダイオード(以下、LDという)、LED(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発光するために使用する励起光を発光する。白色には、内視鏡12を用いた被写体の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。光源部20は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、分光スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部20は、被写体が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域を有する光を発光できる。
本実施形態においては、光源部20は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dの4色のLEDを有する。V-LED20aは、中心波長405nm、波長帯域380~420nmの紫色光VLを発光する。B-LED20bは、中心波長460nm、波長帯域420~500nmの青色光BLを発光する。G-LED20cは、波長帯域が480~600nmに及ぶ緑色光GLを発光する。R-LED20dは、中心波長620~630nmで、波長帯域が600~650nmに及ぶ赤色光RLを発光する。なお、V-LED20aとB-LED20bの中心波長は約±20nm、好ましくは約±5nmから約±10nm程度の幅を有する。
光源制御部22は、光源部20を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部20は、分光スペクトルが異なる複数種類の照明光を発光できる。本実施形態においては、光源制御部22は、各LED20a~20dの点灯や消灯、点灯時の発光量、光学フィルタの挿抜等を、各々に独立した制御信号を入力することにより、照明光の分光スペクトルを調節する。これにより、光源部20は白色光を発光する。また、光源部20は、少なくとも狭帯域の紫色光からなる照明光を発光できる。「狭帯域」とは、被写体の特性及び/またはイメージセンサ48が有するカラーフィルタの分光特性との関係において、実質的にほぼ単一の波長帯域であることをいう。例えば、中心波長を基準に、波長帯域が例えば約±20nm以下(好ましくは約±10nm以下)である場合、この光は狭帯域である。
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が被写体に向けて出射する。
撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有する。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、被写体から戻る照明光の反射光等(反射光の他、散乱光、被写体が発光する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む)を用いて被写体を撮影する。ズームレンズ47は、ズーム操作部13aの操作をすることで移動し、被写体像を拡大または縮小する。
イメージセンサ48は、画素ごとに、複数色のカラーフィルタのうち1色のカラーフィルタを有する。本実施形態においては、イメージセンサ48は原色系のカラーフィルタを有するカラーセンサである。具体的には、イメージセンサ48は、赤色カラーフィルタ(Rフィルタ)を有するR画素と、緑色カラーフィルタ(Gフィルタ)を有するG画素と、青色カラーフィルタ(Bフィルタ)を有するB画素と、を有する。
なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、原色系のカラーセンサで得る画像と同様の画像に変換できる。原色系または補色系のセンサにおいて、W画素(ほぼ全波長帯域の光を受光するホワイト画素)等、上記以外の特性を有する画素を1または複数種類有する場合も同様である。また、本実施形態のイメージセンサ48はカラーセンサであるが、カラーフィルタを有しないモノクロのセンサを使用してもよい。
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、報知部65と、表示制御部66と、を有する(図2参照)。
制御部52は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。コンソール19等を用いて、各種設定の入力等をした場合には、制御部52は、その設定を、光源制御部22、イメージセンサ48、または画像処理部61等の内視鏡システム10の各部に入力する。
画像取得部54は、被写体を撮影した画像を取得する。より具体的には、画像取得部54は、イメージセンサ48から、各色の画素を用いて被写体を撮影した画像、すなわちRAW画像を取得する。また、RAW画像は、デモザイク処理を実施する前の画像である。デモザイク処理を実施する前の画像であれば、イメージセンサ48から取得した画像に対してノイズ低減処理等の任意の処理を実施した画像もRAW画像に含む。
画像取得部54は、取得したRAW画像に必要に応じて各種処理を施して内視鏡画像を生成するために、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を備える。
DSP56は、例えば、オフセット処理部、欠陥補正処理部、デモザイク処理部、補完処理部、リニアマトリクス処理部、及び、YC変換処理部、等(いずれも図示しない)を備える。DSP56は、これらを用いてRAW画像またはRAW画像を用いて生成した画像に対して各種処理を施す。
オフセット処理部は、RAW画像に対してオフセット処理を施す。オフセット処理は、RAW画像から暗電流成分を低減し、正確な零レベルを設定する処理である。オフセット処理は、クランプ処理と称する場合がある。欠陥補正処理部は、RAW画像に対して欠陥補正処理を施す。欠陥補正処理は、イメージセンサ48が製造工程または経時変化に起因する欠陥を有する画素(欠陥画素)を含む場合に、イメージセンサ48の欠陥画素に対応するRAW画素の画素値を補正または生成する処理である。デモザイク処理部は、各色のカラーフィルタに対応する各色のRAW画像に対してデモザイク処理を施す。デモザイク処理は、RAW画像においてカラーフィルタの配列に起因して欠落する画素値を補間によって生成する処理である。リニアマトリクス処理部は、1または複数のRAW画像をRGB各色のチャンネルに割り当てることにより生成する内視鏡画像に対してリニアマトリクス処理を行う。リニアマトリクス処理は、内視鏡画像の色再現性を高める処理である。YC変換処理部は、1または複数のRAW画像をRGB各色のチャンネルに割り当てることにより生成する内視鏡画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrを有する内視鏡画像に変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを有する内視鏡画像に対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色のチャンネルを有する内視鏡画像に再変換する。
画像処理部61は、画像取得部54が出力する内視鏡画像に、必要な画像処理を施す。また、画像処理部61は、内視鏡画像を用いて、特定の特徴を有する被写体または被写体の一部を認識する認識処理を行う。具体的には、図3に示すように、画像処理部61は、画像生成部71、認識部72、判別部73、及び、設定部74等を備える。
画像生成部71は、画像取得部54から内視鏡画像を取得して、モニタ18への表示等に使用する内視鏡画像を生成する。例えば、画像生成部71は、画像取得部54から、B画素を用いて被写体を撮影したB画像と、G画素を用いて被写体を撮影したG画像と、R画素を用いて被写体を撮影したR画像と、を取得し、これらの全部または一部を用いて表示用の内視鏡画像を生成する。
また、画像生成部71は、表示用の内視鏡画像を生成する際に、画像取得部54から取得する内視鏡画像、または、画像取得部54から取得する内視鏡画像を用いて生成する画像に対して必要な画像処理を施す。画像生成部71が行う画像処理は、例えば、被写体または被写体の一部を強調する強調処理である。強調とは、他の組織または構造等と区別して、特定の部分の情報を得られるようにすることをいう。例えば、特定の特徴を有する部分を枠で囲み、輪郭を示し、または、他の部分(例えば正常な粘膜等)に対して相対的に色彩もしくは明るさを変更する等の処理は強調処理である。「情報を得られるようにすること」には、特定の部分の位置、形状、色彩もしくは明るさ、及び/または、大きさ(範囲)等を認識し得るようにすることの他、特定の部分について生体機能情報(例えば酸素飽和度または血管の密度等)を知得し得るようにすることを含む。
認識部72は、被写体を撮影した画像を用いて被写体を認識する認識処理を行う。「被写体を認識する」とは、特定の特徴を有する被写体の部分の有無を検出すること(被写体の全部を検出する場合を含む)、特定の特徴を有する被写体の部分の種類もしくは進行度を鑑別すること(被写体の全体について鑑別することを含む)、及び/または、被写体の一部もしくは全部についての生体機能情報を得る(算出等する)ことをいう。特定の特徴を有する被写体の部分とは、例えば、病変、病変の候補、または、処置の痕跡である処置痕等(以下、病変等という)である。すなわち、認識部72は、認識処理によって、病変等の有無を認識できる。また、認識部72は、認識処理によって、病変等の種類または進行度を認識できる。病変等の種類の認識とは、例えばその病変等がポリープである場合には、腺腫、過形成ポリープ、または、癌等の種別を鑑別することをいう。病変等の進行度の認識とは、例えばその病変等が癌であれば癌のステージ、その他、NICE(NBI(Narrow Band Imaging) International Colorectal Endoscopic Classification)分類もしくはJNET(The Japan NBI Expert Team)分類等を鑑別することをいう。本実施形態においては、被写体を撮影した画像は、画像取得部54から取得する内視鏡画像、または、画像生成部71が生成する内視鏡画像である。また、本実施形態においては、認識部72は認識処理によって病変等を検出する。
認識部72は、例えば、学習機能を有する人工知能(AI(Artificial Intelligence))である。具体的には、認識部72は、ニューラルネットワーク(NN(Neural Network))、畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))、アダブースト(adaboost)、ランダムフォレスト(Random Forest)等の機械学習アルゴリズムを用いて学習したAIである。また、認識部72は、特定の画像を用いて認識処理をするための学習をしているので、他の画像を用いた認識処理を行えるとしても、認識処理の結果の精度が低い場合がある。本実施形態においては、認識部72は、内視鏡画像を用いて病変等を検出する学習をしたAIである。「学習機能を有する」とは、学習できることをいい、学習済みであることを含む。なお、認識部72は、AIで構成する代わりに、画像から特徴量を算出し、算出した特徴量を用いて検出等を行う構成とすることができる。
本実施形態においては、認識部72は、検出部76と、鑑別部77と、を備える。検出部76は、内視鏡画像を用いて、病変等を検出する学習をしたAIである。鑑別部77は、内視鏡画像を用いて、病変等の進行度を鑑別する学習をしたAIである。
認識部72は、認識処理の結果を、認識処理の内容にしたがって画像生成部71または表示制御部66に入力する。認識部72が認識処理の結果を画像生成部71に入力する場合、画像生成部71は認識処理の結果を反映した表示用の内視鏡画像生成する。認識部72が認識処理の結果を表示制御部66に入力する場合、表示制御部66は画像生成部71から取得する内視鏡画像とともに、認識処理の結果をモニタ18の画面に表示する。認識部72が認識処理の結果を画像生成部71に入力するのは、例えば、認識処理の結果である生体機能情報の値を用いて表示用の内視鏡画像の色彩等を変更する場合である。認識部72が認識処理の結果を表示制御部66に入力するのは、例えば、認識処理の結果である病変等の位置等を、内視鏡画像に重畳した枠の表示等で示す場合である。本実施形態においては、認識部72は、認識処理の結果である検出した病変等の位置等の情報を画像生成部71に入力する。そして、画像生成部71は、病変等がある部分について強調処理をした表示用の内視鏡画像を生成する。
判別部73は、被写体に対する操作を判別する。被写体に対する操作とは、被写体に対して何らかの(任意の)作用を与える行為をいう。例えば、生体組織検査(生検)に用いる生体組織の採取もしくは内視鏡的切除術(EMR:Endoscopic mucosal resection)等の手術もしくは治療に係る処置、被写体に対する液体の散布等または、被写体の洗浄等は、被写体に対する操作である。被写体に対する液体の散布とは、被写体に液体状の薬剤を投与し、または、水を散布することをいう。水の散布とは、被写体の一部または全部に対して、水をかけることをいう。また、薬剤の投与とは、被写体にインジゴカルミン等の色素剤等を散布することの他、被写体にインドシアニングリーン(ICG)等の蛍光薬剤を静脈注射することを含む。被写体の洗浄とは、被写体に付着した残渣、残液、または、血液等の観察の妨げになる物質等を、水もしくは空気等によって洗い流し、観察すべき被写体を内視鏡12に露呈することをいう。なお、結果として被写体に作用が及ばなかったとしても、被写体に対して作用を及ぼし得る行為は「被写体に対する操作」に含む。例えば、被写体を洗浄するためにエア(空気)を噴出する行為は、結果として被写体が清浄にならなかった場合でも、被写体に対する操作に該当する。また、「被写体に対する操作」は、被写体に対して作用を及ぼす前後の関連する一連の行為を含む。例えば、生検をする場合に鉗子を内視鏡12から突出する行為は、組織の採取前であっても、生検に関連する一連の行為であり、被写体に対する操作に含む。
被写体に対する操作の判別とは、被写体に対して操作をすることを検出すること、または、被写体に対して操作がされたことを検出することをいう。操作の判別は、例えば、処置具の使用の検出、処置痕の検出(手術痕の検出の他、処置によって生じた出血の検出、色素剤の散布等によって色彩等が変化した組織もしくは構造の検出等を含む)、または、送水ボタン13b等の操作の検出等によって行う。判別部73は、処置具の使用は、内視鏡画像または設定情報等を用いて、処置具の有無、または、処置具の種類(形状等)を検出することができる。判別部73は、上記処置具等(水の散布を含む)の検出を内視鏡画像の解析によって行うことできる。また、判別部73は、制御部52から信号または設定情報を取得することにより、送水ボタン13b等の操作の検出できる。
被写体に対する操作の判別には、被写体に対する操作の有無を判別すること、及び、被写体に対する操作の種類を判別すること、を含む。操作の有無の判別には、操作の種類を問わず、検出対象の「被写体に対する操作」を検出することを含む。また、被写体に対する操作の種類の判別とは、操作の内容(例えば、生検であるのか、薬剤の投与であるのか等)を区別して被写体に対する操作を判別することをいう。本実施形態においては、判別部73は、被写体に対する操作の有無を判別する。
設定部74は、判別部73の判別結果を用いて、認識部72を有効または無効に設定する。判別部73の判別結果とは、被写体に対する操作の有無、及び/または、被写体に対する操作の種類である。「認識部72を有効に設定する」とは、認識部72が行う認識処理を有効とし、認識部72が認識処理を実行する設定をすること、認識処理の結果の報知をする設定をすること、または、認識部72が認識処理の結果の出力をする設定をすることをいう。「認識部72を無効に設定する」とは、認識部72が行う認識処理を無効とし、認識部72が認識処理を実行しない設定をすること、または、認識処理の結果の報知しない設定をすること、または、認識処理の結果を出力しない設定をすることをいう。すなわち、「認識部72を有効または無効に設定する」とは、認識部72が行う認識処理を有効もしくは無効にすること、または、認識処理の結果の報知(もしくは認識処理結果の出力)を有効もしくは無効にすること、をいう。「認識処理の結果の報知」とは、認識処理の結果を、医師等が認識し得る状態にするこという。「認識処理の結果の出力」とは、認識部72が、認識処理の結果を、画像生成部71等の他の処理部等に引き渡すことをいう。本実施形態においては、設定部74は、認識部72が行う認識処理自体を有効または無効に設定する。
判別部73が被写体に対する操作の有無を判別する場合、設定部74は、被写体に対して操作がある場合に認識部72を無効に設定し、かつ、被写体に対して操作がない場合に認識部72を有効に設定する。被写体への操作がある場合には、認識処理の精度が低下する可能性があるか、または、医師等が操作に集中する必要がある状況だからである。
判別部73が被写体に対する操作の種類を判別する場合、設定部74は、被写体に対して特定の操作がある場合に、認識部72を無効にする。特定の操作とは、認識部72が行う認識処理の精度が低下する操作、または、医師等が操作に集中する必要がある操作である。したがって、判別部73が被写体に対する操作の種類を判別する場合、操作の種類によっては、設定部74は、認識部72を有効に設定することができる。このため、状況に応じて適切な診断支援を継続することができる。
また、認識部72が複数種類の認識処理をする場合、設定部74は、認識処理ごとに有効または無効と設定できる。例えば、設定部74は、認識部72を有効または無効に設定する場合に、検出部76を有効または無効に設定し、かつ、検出部76の有効または無効の設定に依存せずに鑑別部77を有効または無効に設定できる。もちろん、設定部74は、検出部76と鑑別部77の両方をまとめて、認識部72の全体を有効または無効に設定できる。本実施形態においては、設定部74は、認識部72の全体、すなわち、検出部76及び鑑別部77をまとめて有効または無効に設定する。
報知部65は、例えば判別部73から判別結果を得て(または設定部74から認識部72の設定に係る情報を得て)、認識部72の有効または無効の状態を報知する。認識部72の有効または無効の状態について「報知する」とは、ユーザである医師等が、認識部72の有効または無効の状態を知得し得る状態にすることをいう。例えば、報知部65は、モニタ18の画面にメッセージ(文字列)、文字、図形、及び/または、記号等(マーク、アイコン、もしくはインジケータ等の表示を含む)を表示すること、これらを表示しないこと、もしくは、これらの表示を変更することにより、認識部72の有効または無効の状態を報知できる。この他、報知部65は、ランプの点灯、消灯もしくは点滅等、音(音声を含む)、振動機能を有する部材の振動、または、これらの変更等によって、認識部72の有効または無効の状態を報知できる。もちろん、報知部65は、文字列等と、ランプの点灯等と、を組み合わせて、認識部72の有効または無効の状態を報知できる。本実施形態においては、報知部65は、モニタ18の画面に、認識部72の有効または無効の状態を示す表示をする。
表示制御部66は、画像処理部61が出力する内視鏡画像を表示に適した形式に変換してモニタ18に出力する。これにより、モニタ18は内視鏡画像を表示する。また、本実施形態においては、報知部65が、認識部72の有効または無効の状態を示す情報を入力する。このため、表示制御部66は、モニタ18の画面にその情報を表示する。
上記のように構成する内視鏡システム10は、認識部72の有効または無効の状態の報知について以下のように動作する。図4に示すように、内視鏡12を用いて被写体を撮影すると(ステップS111)、画像取得部54が内視鏡画像を取得する。そして、画像生成部71が必要な画像処理を施して表示用の内視鏡画像を生成する(ステップS112)。
その後、または、表示用の内視鏡画像と並行して、判別部73は、例えば表示用の内視鏡画像を用いて、被写体に対する操作を判別する(ステップS113)。被写体に対する操作がない場合(ステップS113:YES)、設定部74は認識部72を有効に設定する(ステップS114)。このため、認識部72は、例えば表示用の内視鏡画像に対して認識処理を実行する(ステップS115)。本実施形態においては、認識部72は検出部76と鑑別部77があり、設定部74はこれらをまとめて有効または無効に設定するので、被写体に対する操作がない場合、認識部72は病変等の検出と鑑別の両方の認識処理を実行する。その後、認識部72は、認識結果を画像生成部71に出力するので、画像生成部71は認識結果を用いて、例えば病変等を強調等した表示用の内視鏡画像を生成し、表示制御部66に出力する。これにより、モニタ18は、画面に内視鏡画像を表示する。また、報知部65は、認識部72の有効の状態を報知する(ステップS116)。ここでは設定部74が認識部72を有効に設定するので、報知部65は、認識部72が有効である状態を示す文字列等をモニタ18の画面に表示する。例えば、図5に示すように、報知部65は、内視鏡画像121を表示するモニタ18の画面に、「AI: ON」の表示122をする。これにより、認識部72が有効である状態を報知する。なお、内視鏡画像121は、被写体に対する操作がなく、かつ、病変等もない画像である。
一方、判別部73が被写体への操作を検出した場合(ステップS113:NO)、設定部74は、認識部72を無効に設定する(ステップS117)。このため、認識部72は検出及び鑑別のいずれをも実行せず、画像生成部71は、生成した表示用の内視鏡画像を表示制御部66に出力する。これにより、モニタ18は、画面に内視鏡画像を表示する。また、報知部65は、認識部72の無効の状態を報知する(ステップS118)。例えば、図6に示すように、報知部65は、内視鏡画像126を表示するモニタ18の画面に、「AI: OFF」の表示127を表示する。これにより、認識部72が無効である状態を報知する。なお、内視鏡画像126は、生検用の鉗子128がある。このため、認識部72は無効となっている。
上記のように、内視鏡システム10は、判別部73が被写体に対する操作を判別し、設定部74が判別部73の判別結果を用いて認識部72を有効または無効に設定する。このため、内視鏡システム10が、観察の状況に応じて認識部72を有効または無効するため、ユーザである医師等は、観察の途中において、自ら手動で認識部72を有効または無効に設定しなくてもよいという利便性がある。しかし、認識部72の有効または無効を自動的に設定するだけでは、医師等は認識処理の結果または認識処理を行わなかった結果を誤認する場合がある。例えば、認識部72が有効であるという先入観がある場合、自動的に認識部72が無効となって認識処理の結果が表示されなくなると、病変等があったとしても、医師等は、認識部72が認識処理を行った結果、病変等がないと示していると誤認してしまう場合がある。そこで、内視鏡システム10においては、報知部65が、認識部72の有効または無効の状態を報知する。このため、「AI: ON」の表示122、または、「AI: OFF」の表示127を見れば認識部72が認識処理を行っているか否かが明瞭であるから、上記のような誤認を防止できる。その結果、誤診を防止できる。
[第2実施形態]
設定部74が、認識処理ごとに有効または無効の設定をする場合、報知部65は、認識処理ごとに有効または無効の状態を報知できる。例えば、認識部72が検出部76と鑑別部77を有し、かつ、設定部74が検出部76と鑑別部77をそれぞれに有効または無効に設定する場合、図7に示すように、報知部65は、認識部72の有効または無効の状態を示す表示欄222に、検出部76の有効または無効の状態を示す表示223と、鑑別部77の有効または無効の状態を示す表示224と、をそれぞれ表示し、これらの状態を報知できる。例えば、「検出: ON」の表示223は、検出部76が有効の状態を示す表示であり、かつ、「検出: OFF」(図示しない)の表示は、検出部76が無効の状態を示す表示である。同様に、「鑑別: ON」の表示224は、鑑別部77が有効の状態を示す表示であり、かつ、「鑑別: OFF」(図示しない)の表示は、鑑別部77が無効の状態を示す表示である。
上記のように、設定部74が認識処理ごとに有効または無効の設定をする場合、観察の状況に適切な認識処理を有効とし、それ以外の認識処理を無効とすることができる。このため、内視鏡システム10は最適な診断支援をすることができる。その上で、報知部65が認識処理ごとに有効または無効の状態を報知するので、医師等は、各認識処理の有効または無効を正確に把握できる。このため、認識処理の結果または認識処理を行わなかった結果の誤認を防止でき、その結果、誤診を防止できる。
上記第2実施形態においては、検出部76及び鑑別部77の両方が有効である例を示しているが、図8に示すように、判別部73の判別状況によっては、検出部76のみが有効とすることが適切である場合、鑑別部77のみが有効とすることが適切な場合、または、検出部76及び鑑別部77の両方を無効とすることが適切である場合がある。
「判別状況1」は、検出部76及び鑑別部77の両方を有効とすることが適切な状況であり、例えば、被写体に対する操作がない場合、または、水等を用いて被写体を洗浄した場合等である。これらは病変等を検出及び鑑別することが求められている可能性が高い状況である。
「判別状況2」は、検出部76を有効とし、かつ、鑑別部77を無効とすることが適切な状況である。例えば、生検または手術等をする際に、被写体からの出血を判別部73の判別対象(検出対象)とする場合等、すなわち、止血の確認等のために出血の検出は必要であるが、既に手術等に及んでいるため、鑑別は不要という状況等である。判別部73は、例えば、被写体に対する操作の種類により、上記状況を判別できる。
「判別状況3」は、検出部76を無効とし、かつ、鑑別部77を有効とすることが適切な状況である。例えば、既に病変等を発見しているため、改めて病変等の検出することを要せず、かつ、発見した病変等についての診断において、内視鏡システム10から、より詳細な診断支援を受けたい場合等である。具体的には、被写体に色素剤を散布し、病変等の進行度を鑑別したい場合である。判別部73は、例えば、被写体に対する操作の種類により、上記状況を判別できる。
「判別状況4」は、検出部76及び鑑別部77の両方を無効とすることが適切な状況である。例えば、病変等の検出及び鑑別が済んでおり、操作に集中する必要がある生検または手術等をする場合等である。判別部73は、操作の種類により、上記状況を判別できる。判別部73が被写体からの出血を検出した場合には、例えば、判別状況3となる。
なお、上記第2実施形態においては、検出部76及び鑑別部77の有効または無効を「ON」または「OFF」で表しているが、検出部76及び鑑別部77の有効または無効は、他の表示で表すことができる。例えば、「OFF」の表示の代わりに「非対応」等の表示を用いてもよい。また、検出部76または鑑別部77が有効の状態であっても、認識処理の精度(確度もしくは信頼度)が低い場合には、「ON」の表示の代わりに、「Unsupported」(非対応)等の表示をすることができる。例えば、判別状況3において、鑑別部77が色素剤を散布した被写体の鑑別に対応していない場合、鑑別の精度が低下するので、「検出: OFF」かつ「鑑別: Unsupported」の表示をすることができる。これらの表示態様の変更等は、第1実施形態についても同様に行うことができる。
[第3実施形態]
上記第1実施形態及び第2実施形態においては、報知部65は、認識部72の有効または無効の状態を報知しているが、報知部65は、さらに、判別部73が判別した操作の有無、または、操作の種類を報知できる。すなわち、報知部65は、認識部72の有効または無効の状態に加えて、判別部73の判別結果を報知することができる。
例えば、判別部73が被写体への操作を検出した場合、図9に示すように、報知部65は、「AI: OFF」の表示127等の認識部72の有効または無効の報知に加えて、「Actions」(「操作」)の表示301等により、被写体への操作を検出した旨を報知できる。なお、内視鏡画像310は、被写体に色素剤311を散布した内視鏡画像である。
上記のように、報知部65が被写体に対する操作の有無を報知する場合、医師等は、認識部72の有効または無効の原因を認識できる。その結果、より確実に、認識処理の結果または認識処理を行わなかった結果の誤認を防止でき、かつ、誤診を防止できる。
また、報知部65は、判別部73が判別した操作の種類を報知できる。例えば、図10に示すように、報知部65は、操作の種類表示欄313に、生検を表す「Biopsy」、色素剤の散布を表す「Chromo」、及び、内視鏡的切除術を表す「Resection」を一覧表示し、かつ、判別部73が判別した操作の種類(図10においては「Chromo」)にチェックマーク(「レ」)を付す等して、判別部73が判別した操作の種類を報知できる。
上記のように、判別部73が操作の種類を判別する場合に、報知部65が、判別部73が判別した操作の種類を報知すると、医師等は、認識部72の有効または無効の原因を詳細に認識できる。その結果、より確実に、認識処理の結果または認識処理を行わなかった結果の誤認を防止でき、かつ、誤診を防止できる。
なお、上記第3実施形態の被写体に対する操作の有無または操作の種類の報知は、第2実施形態のように、認識処理ごとに有効または無効の設定及び報知をする場合にも適用できる。この場合、認識部72の有効または無効の状態を示す表示欄222(図7参照)と、「Actions」の表示301または操作の種類表示欄313と、をモニタ18に表示すればよい。
また、上記第3実施形態においては、被写体に対する操作の有無または操作の種類は、文字または文字列以外の表示により報知できる。例えば、図11に示すように、操作の種類表示欄313に、生検を示すアイコン331と、色素剤の散布を表すアイコン332と、内視鏡的切除術を表すアイコン333と、を一覧表示し、判別部73が判別した操作の種類に該当するアイコンに色を付す等して、判別部73が判別した操作の種類を報知できる。なお、図11においては、内視鏡画像321に生検用の鉗子128があるため、生検を示すアイコン331に色が付されている。
上記のように、操作の種類をアイコンで示す場合、図12に示すように、操作の種類表示欄313には、判別部73が判別した操作の種類に該当するアイコンのみを表示することができる。被写体に対する操作の種類を、操作の種類表示欄313に文字列で表示する場合(図10参照)についても同様であり、操作の種類表示欄313には、判別部73が判別した操作の種類を示す文字列等のみを表示できる。
第1実施形態、第2実施形態、及び、第3実施形態においては、設定部74は、認識部72が行う認識処理を有効または無効に設定するが、代わりに、設定部74は、認識処理の結果の報知を有効または無効に設定することによって、認識部72の有効または無効を設定できる。この場合において、認識処理の結果の報知を無効に設定する際には、設定部74は、検出部76及び鑑別部77を有効に設定したまま、例えば画像生成部71等への認識結果の出力を停止し、医師等が認識結果を知り得ない状態に留める。その結果、認識処理自体の有効または無効を設定する場合よりも、簡便かつ迅速に、認識部72の有効または無効を設定できる。
第1実施形態、第2実施形態、及び、第3実施形態においては、報知部65は、モニタ18の画面における表示によって、認識部72の有効または無効の状態を報知するが、モニタ18の画面における表示以外の態様で認識部72の有効または無効の状態を報知する場合、図13に示すように、プロセッサ装置16は、報知デバイス171を備えることができる。報知デバイス171は、音もしくは音声を発するスピーカー、LED等の発光素子で構成するインジケータ、または、モータもしくは圧電素子等の振動素子等である。この他、報知部65は、内視鏡システム10が備える素子等を、報知デバイス171として使用できる。また、プロセッサ装置16以外、すなわち、内視鏡12または光源装置14に報知デバイス171を設けてもよい。
なお、図14に示すように、認識部72、判別部73、設定部74、及び/または、報知部65は、例えばプロセッサ装置16と通信して内視鏡システム10と連携する医療画像処理装置901に設けることができる。また、図15に示すように、認識部72、判別部73、設定部74、及び/または、報知部65は、例えば内視鏡システム10(報知部65等を有しないものを含む)から直接的に、または、PACS(Picture Archiving and Communication Systems)910から間接的に、内視鏡12で撮影したRAW画像を取得する診断支援装置911に設けることができる。また、図16に示すように、内視鏡システム10を含む、第1検査装置921、第2検査装置922、…、第K検査装置923等の各種検査装置と、ネットワーク926を介して接続する医療業務支援装置930に、認識部72、判別部73、設定部74、及び/または、報知部65を設けることができる。
すなわち、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える医療画像処理装置及びその作動方法を含む。また、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える診断支援装置及びその作動方法を含む。同様に、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える医療業務支援装置及びその作動方法を含む。
また、本発明は、画像取得部が被写体を撮影した画像を取得するステップと、認識部が画像を用いて被写体を認識する認識処理を行うステップと、設定部が、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定するステップと、報知部が、認識部の有効または無効の状態を報知するステップと、を備える内視鏡システムの作動方法を含む。また、本発明は、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備えるプロセッサ装置及びその作動方法を含む。
なお、内視鏡12としてカプセル内視鏡を使用できる。この場合、光源装置14と、プロセッサ装置16の一部と、はカプセル内視鏡に搭載できる。
上記実施形態において、認識部72、判別部73、設定部74、または報知部65等の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ等)で構成してもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
なお、本発明は、内視鏡画像を取得等する内視鏡システム、プロセッサ装置、その他関連する装置等の他に、内視鏡画像以外の医療画像(動画を含む)を取得するシステムまたは装置等においても利用できる。例えば、本発明は、超音波検査装置、X線画像撮影装置(CT(Computed Tomography)検査装置及びマンモグラフィ装置等を含む)、MRI(magnetic resonance imaging)装置、等に適用できる。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f 処置具挿入口
13a ズーム操作部
13b 送水ボタン
14 光源装置
16 プロセッサ装置
17 送水タンク
18 モニタ
19 コンソール
20 光源部
22 光源制御部
30a 照明光学系
30b 撮影光学系
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 制御部
54 画像取得部
56 DSP
58 ノイズ低減部
59 変換部
61 画像処理部
65 報知部
66 表示制御部
71 画像生成部
72 認識部
73 判別部
74 設定部
76 検出部
77 鑑別部
121、126、310、321 内視鏡画像
122、127、223、224、301 表示
128 鉗子
171 報知デバイス
222 表示欄
311 色素剤
313 種類表示欄
331、332、333 アイコン
901 医療画像処理装置
910 PACS
911 診断支援装置
921 第1検査装置
922 第2検査装置
923 第K検査装置
926 ネットワーク
930 医療業務支援装置
S111~S118 動作のステップ

Claims (13)

  1. 被写体を撮影した画像を取得する画像取得部と、
    前記画像を用いて前記被写体を認識する認識処理を行う認識部と、
    前記被写体に対する操作として、処置具の使用を判別する判別部と、
    前記判別部の判別結果を用いて、前記認識部を有効または無効に設定する設定部と、
    を備える内視鏡システム。
  2. 前記判別部は、前記処置具の使用の有無を判別する請求項1に記載の内視鏡システム。
  3. 前記判別部は、前記画像を用いた処置具の有無又は処置具の種類の検出に基づいて処置具の使用を判別する請求項1または2に記載の内視鏡システム。
  4. 前記設定部は、前記処置具が使用されている場合に前記認識部を無効に設定し、かつ、前記処置具が使用されていない場合に前記認識部を有効に設定する請求項2に記載の内視鏡システム。
  5. 前記認識部は、病変の検出部と病変の鑑別部を備え、
    前記設定部は、前記検出部と前記鑑別部とを有効または無効に設定する請求項1~4いずれか1項に記載の内視鏡システム。
  6. 前記設定部は、前記検出部及び前記鑑別部の両方を有効とすること、前記検出部及び前記鑑別部の両方を無効にすることのうちいずれかに設定する請求項5に記載の内視鏡システム。
  7. 前記設定部は、前記検出部と前記鑑別部とをそれぞれ有効または無効に設定する請求項5に記載の内視鏡システム。
  8. 前記設定部は、前記認識部が行う前記認識処理を有効または無効に設定する請求項1~7のいずれか1項に記載の内視鏡システム。
  9. 前記設定部は、前記認識処理の結果の報知を有効または無効に設定する請求項1~7のいずれか1項に記載の内視鏡システム。
  10. 前記認識部が複数種類の認識処理を行う場合、前記設定部は前記認識処理ごとに有効または無効を設定する請求項1~9のいずれか1項に記載の内視鏡システム。
  11. 前記認識部の有効または無効の状態を報知する報知部を備える請求項1~10いずれか1項に記載の内視鏡システム。
  12. 前記認識部は、病変の検出部と病変の鑑別部を備え、
    前記報知部は、前記検出部及び前記鑑別部の有効または無効の状態を報知する請求項11記載の内視鏡システム。
  13. 前記報知部は、前記認識部の有効または無効の状態に加えて、前記判別部の判別結果を報知する請求項11または12記載の内視鏡システム。



JP2022003044A 2018-08-17 2022-01-12 内視鏡システム Active JP7190597B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022194135A JP7411772B2 (ja) 2018-08-17 2022-12-05 内視鏡システム
JP2023217600A JP2024023832A (ja) 2018-08-17 2023-12-25 画像処理装置及び内視鏡システム並びに画像処理プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018153733 2018-08-17
JP2018153733 2018-08-17
PCT/JP2019/032166 WO2020036224A1 (ja) 2018-08-17 2019-08-16 内視鏡システム
JP2020537111A JP7009636B2 (ja) 2018-08-17 2019-08-16 内視鏡システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020537111A Division JP7009636B2 (ja) 2018-08-17 2019-08-16 内視鏡システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022194135A Division JP7411772B2 (ja) 2018-08-17 2022-12-05 内視鏡システム

Publications (2)

Publication Number Publication Date
JP2022044652A JP2022044652A (ja) 2022-03-17
JP7190597B2 true JP7190597B2 (ja) 2022-12-15

Family

ID=69525443

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2020537111A Active JP7009636B2 (ja) 2018-08-17 2019-08-16 内視鏡システム
JP2022003044A Active JP7190597B2 (ja) 2018-08-17 2022-01-12 内視鏡システム
JP2022194135A Active JP7411772B2 (ja) 2018-08-17 2022-12-05 内視鏡システム
JP2023217600A Pending JP2024023832A (ja) 2018-08-17 2023-12-25 画像処理装置及び内視鏡システム並びに画像処理プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020537111A Active JP7009636B2 (ja) 2018-08-17 2019-08-16 内視鏡システム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022194135A Active JP7411772B2 (ja) 2018-08-17 2022-12-05 内視鏡システム
JP2023217600A Pending JP2024023832A (ja) 2018-08-17 2023-12-25 画像処理装置及び内視鏡システム並びに画像処理プログラム

Country Status (5)

Country Link
US (1) US20210177248A1 (ja)
EP (1) EP3838109A4 (ja)
JP (4) JP7009636B2 (ja)
CN (1) CN112566538A (ja)
WO (1) WO2020036224A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11944262B2 (en) * 2019-03-27 2024-04-02 Hoya Corporation Endoscope processor, information processing device, and endoscope system
WO2022044617A1 (ja) * 2020-08-24 2022-03-03 富士フイルム株式会社 画像処理装置、方法及びプログラム
WO2022044606A1 (ja) 2020-08-24 2022-03-03 富士フイルム株式会社 医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラム
WO2022065301A1 (ja) * 2020-09-24 2022-03-31 富士フイルム株式会社 医療画像装置及びその作動方法
WO2023282143A1 (ja) * 2021-07-07 2023-01-12 富士フイルム株式会社 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
WO2023100446A1 (ja) * 2021-11-30 2023-06-08 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008142180A (ja) 2006-12-07 2008-06-26 Pentax Corp 電子内視鏡装置
JP2009077800A (ja) 2007-09-25 2009-04-16 Olympus Corp 画像処理装置および画像処理プログラム
WO2012073799A1 (ja) 2010-12-02 2012-06-07 オリンパス株式会社 内視鏡画像処理装置及びプログラム
JP2013150658A (ja) 2012-01-24 2013-08-08 Olympus Corp 内視鏡システム
US8768024B1 (en) 2010-06-01 2014-07-01 Given Imaging Ltd. System and method for real time detection of villi texture in an image stream of the gastrointestinal tract
JP2017158670A (ja) 2016-03-08 2017-09-14 富士フイルム株式会社 血管情報取得装置、内視鏡システム及び血管情報取得方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63259614A (ja) 1987-04-17 1988-10-26 Olympus Optical Co Ltd 内視鏡画面の表示方法
EP0890400B1 (de) 1997-06-17 2002-07-31 Wärtsilä Schweiz AG Giessverfahren zum Herstellen metallischer Giesslinge
JP4616576B2 (ja) 2004-04-20 2011-01-19 ユキワ精工株式会社 チャック装置
JP2007330405A (ja) 2006-06-13 2007-12-27 Olympus Medical Systems Corp 内視鏡システム
JP4891823B2 (ja) 2007-03-29 2012-03-07 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5634755B2 (ja) * 2010-06-08 2014-12-03 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
EP2532299B1 (en) * 2010-09-14 2014-11-05 Olympus Medical Systems Corp. Endoscope system and low visibility determining method
JP6265630B2 (ja) * 2013-06-13 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5905130B2 (ja) * 2015-01-30 2016-04-20 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理装置の作動方法
CN107530138B (zh) * 2015-03-17 2020-11-27 直观外科手术操作公司 用于在远程操作医疗系统中呈现器械的屏幕识别的系统和方法
WO2016199273A1 (ja) * 2015-06-11 2016-12-15 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP6707083B2 (ja) * 2015-06-29 2020-06-10 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
JP6657247B2 (ja) 2015-10-27 2020-03-04 オリンパス株式会社 撮像装置、内視鏡装置及び撮像装置の作動方法
WO2017081976A1 (ja) 2015-11-10 2017-05-18 オリンパス株式会社 内視鏡装置
JP6833870B2 (ja) * 2016-12-07 2021-02-24 オリンパス株式会社 画像処理装置
WO2018216188A1 (ja) * 2017-05-26 2018-11-29 オリンパス株式会社 内視鏡画像処理装置及び内視鏡画像処理方法
CN110663251B (zh) * 2017-06-02 2021-12-31 富士胶片株式会社 医疗图像处理装置
JP2018051364A (ja) 2017-12-27 2018-04-05 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008142180A (ja) 2006-12-07 2008-06-26 Pentax Corp 電子内視鏡装置
JP2009077800A (ja) 2007-09-25 2009-04-16 Olympus Corp 画像処理装置および画像処理プログラム
US8768024B1 (en) 2010-06-01 2014-07-01 Given Imaging Ltd. System and method for real time detection of villi texture in an image stream of the gastrointestinal tract
WO2012073799A1 (ja) 2010-12-02 2012-06-07 オリンパス株式会社 内視鏡画像処理装置及びプログラム
JP2013150658A (ja) 2012-01-24 2013-08-08 Olympus Corp 内視鏡システム
JP2017158670A (ja) 2016-03-08 2017-09-14 富士フイルム株式会社 血管情報取得装置、内視鏡システム及び血管情報取得方法

Also Published As

Publication number Publication date
JP7009636B2 (ja) 2022-01-25
JP7411772B2 (ja) 2024-01-11
WO2020036224A1 (ja) 2020-02-20
JP2024023832A (ja) 2024-02-21
EP3838109A4 (en) 2021-10-06
JP2022044652A (ja) 2022-03-17
JP2023014380A (ja) 2023-01-26
US20210177248A1 (en) 2021-06-17
CN112566538A (zh) 2021-03-26
JPWO2020036224A1 (ja) 2021-08-26
EP3838109A1 (en) 2021-06-23

Similar Documents

Publication Publication Date Title
JP7190597B2 (ja) 内視鏡システム
JP6785941B2 (ja) 内視鏡システム及びその作動方法
US20210153730A1 (en) Endoscope system
US11426054B2 (en) Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
US11969148B2 (en) Medical image processing device
WO2018159083A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2020036109A1 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
US20230027950A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
WO2018159082A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6785990B2 (ja) 医療画像処理装置、及び、内視鏡装置
WO2022014235A1 (ja) 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
JP6850358B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
WO2022009478A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
US11830185B2 (en) Medical image processing system and learning method
JP6866497B2 (ja) 医療画像処理装置、及び、内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R150 Certificate of patent or registration of utility model

Ref document number: 7190597

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150