JPWO2019130964A1 - 内視鏡画像取得システム及び方法 - Google Patents

内視鏡画像取得システム及び方法 Download PDF

Info

Publication number
JPWO2019130964A1
JPWO2019130964A1 JP2019562881A JP2019562881A JPWO2019130964A1 JP WO2019130964 A1 JPWO2019130964 A1 JP WO2019130964A1 JP 2019562881 A JP2019562881 A JP 2019562881A JP 2019562881 A JP2019562881 A JP 2019562881A JP WO2019130964 A1 JPWO2019130964 A1 JP WO2019130964A1
Authority
JP
Japan
Prior art keywords
image
unit
wavelength
wavelength pattern
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019562881A
Other languages
English (en)
Other versions
JP6989619B2 (ja
Inventor
駿平 加門
駿平 加門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019130964A1 publication Critical patent/JPWO2019130964A1/ja
Application granted granted Critical
Publication of JP6989619B2 publication Critical patent/JP6989619B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00186Optical arrangements with imaging filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

画像を収集する際に画像観察を容易にする内視鏡画像取得システム及び方法を提供する。患者の体腔内の被観察領域に照射する照射光、又は被観察領域からの戻り光の波長パターンを変更する波長パターン変更部を備える。観察用の波長パターンの画像を一定のフレームレートで撮影させ、取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる。それぞれ異なる複数の波長パターンの画像を記憶部に記憶させ、観察用の波長パターン以外の波長パターンの画像を非表示とする。

Description

本発明は内視鏡画像取得システム及び方法に係り、特に内視鏡画像を診断する学習アルゴリズムを学習させるための学習用画像を収集する技術に関する。
内視鏡画像上の病変をコンピュータによって自動検出又は自動鑑別して診断するAI(Artificial Intelligence)技術が知られている。特に、ニューラルネットワーク等の学習アルゴリズムを用いることで、精度の高い診断が可能となる。その一方、学習アルゴリズムの開発においては、学習用画像の収集が必須となる。
また、内視鏡診断では、通常行われる白色光観察の他にNBI(Narrow Band imaging、登録商標)、BLI(Blue Laser Imaging、登録商標)等の特殊光観察も存在する。
これらの学習用画像を収集するためには、一つの病変に対して複数の光源モードで画像を撮影する必要がある。このため、医師は、病変を発見する度に光源の切替操作と撮影操作とを繰り返すことになる。その結果、医師の負担が増加し、検査時間が増加するという問題点があった。
このような問題点に対し、特許文献1には、光源部からの帯域光の被写体における反射光を撮影する反射光撮像部と、2以上の帯域光のそれぞれにより発生する異なる帯域の複数の蛍光を撮影する蛍光撮像部と、を備え、反射光と蛍光とを同時に撮影する蛍光観察装置が開示されている。
特開2016−202411号公報
特許文献1に記載の蛍光観察装置は、1フレーム毎に異なる帯域の蛍光画像を表示部に表示させている。しかしながら、表示上の色が頻繁に変化すると、医師による画像観察が困難になるという問題点があった。
本発明はこのような事情に鑑みてなされたもので、画像を収集する際に画像観察を容易にする内視鏡画像取得システム及び方法を提供することを目的とする。
上記目的を達成するために内視鏡画像取得システムの一の態様は、患者の体腔内の被観察領域に照射光を照射する照射部と、被観察領域からの戻り光を受光して被観察領域の画像を撮影する撮影部と、撮影した画像を表示部に順次表示させる表示制御部と、照射光又は戻り光の波長パターンを変更する波長パターン変更部と、画像の取得指示を受け付ける受付部と、観察用の波長パターンの画像を一定のフレームレートで撮影させる撮影制御部であって、取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる撮影制御部と、それぞれ異なる複数の波長パターンの画像を記憶部に記憶させる記憶制御部と、を備え、表示制御部は、観察用の波長パターン以外の波長パターンの画像を非表示とする内視鏡画像取得システムである。
本態様によれば、観察用の波長パターンの画像を一定のフレームレートで撮影させ、取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる際に、それぞれ異なる複数の波長パターンの画像を記憶部に記憶させ、観察用の波長パターン以外の波長パターンの画像を非表示とするようにしたので、それぞれ異なる複数の波長パターンの画像を収集することができ、かつ画像観察を容易にすることができる。
表示制御部は、観察用の波長パターン以外の波長パターンの画像の表示に代えて、すでに撮影した観察用の波長パターンの画像のうち最新の画像又は最新の画像よりも一定数以前に撮影した画像を表示することが好ましい。これにより、観察用の波長パターンの画像のみが表示されるので、画像観察を容易にすることができる。
撮影した観察用の波長パターンの画像のうち最新の画像又は最新の画像よりも一定数以前に撮影した画像を含む複数の画像から補間画像を作成する補間画像作成部を備え、表示制御部は、観察用の波長パターン以外の波長パターンの画像の表示に代えて、補間画像を表示することが好ましい。これにより、観察用の波長パターンの画像のみが表示されるので、画像観察を容易にすることができる。
照射部は、複数の光源を備え、波長パターン変更部は、複数の光源のうち点灯させる光源を選択して照射光の波長パターンを変更することが好ましい。これにより、照射光の波長パターンを適切に変更することができる。
照射部は、複数の光源を備え、波長パターン変更部は、複数の光源の光量の比率を変更して照射光の波長パターンを変更することが好ましい。これにより、照射光の波長パターンを適切に変更することができる。
撮影部は、透過する光の波長帯域を制限するフィルタを備え、波長パターン変更部は、フィルタを制御して戻り光の波長パターンを変更することが好ましい。これにより、戻り光の波長パターンを適切に変更することができる。
それぞれ異なる複数の波長パターンの画像は、観察用の波長パターンの画像を含み、記憶制御部は、観察用の波長パターンの画像を記憶部の第1の記憶領域に記憶させ、観察用の波長パターン以外の波長パターンの画像を記憶部の第1の記憶領域とは異なる第2の記憶領域に記憶させることが好ましい。これにより、診断用画像と学習用画像とを記憶部のそれぞれ異なる領域に記憶させることができる。なお、記憶部のそれぞれ異なる領域に記憶させるとは、複数の記憶部を備え、診断用画像と学習用画像とそれぞれ異なる記憶部に記憶させることも含まれる。
記憶制御部は、画像と画像を撮影した際の波長パターンの情報とを関連付けて記憶部に記憶させることが好ましい。これにより、波長パターンの情報を関連付けた学習用画像を収集することができる。
観察用の波長パターンをユーザが選択する波長パターン選択部を備え、撮影制御部は、選択された波長パターンにおいて一定のフレームレートで画像を撮影させることが好ましい。これにより、所望の波長パターンによって観察することができる。
それぞれ異なる複数の波長パターンの画像を順次撮影する際の複数の波長パターンの順序をユーザが選択する順序選択部を備え、撮影制御部は、選択された順序でそれぞれ異なる複数の波長パターンの画像を順次撮影させることが好ましい。これにより、所望の画像から順に撮影することができる。
それぞれ異なる複数の波長パターンの画像のうち記憶部に記憶させる画像をユーザが選択する記憶画像選択部を備え、記憶制御部は、選択された画像を記憶部に記憶させることが好ましい。これにより、必要な画像のみを記憶部に記憶させることができる。
それぞれ異なる複数の波長パターンの画像のうち記憶部に記憶させる画像を自動選択する自動選択部を備え、記憶制御部は、自動選択した画像を記憶部に記憶させることができる。これにより、所望の画像のみを記憶部に記憶させることができる。
それぞれ異なる複数の波長パターンの画像を順次撮影する際に波長パターンの移行時に撮影した画像を判定する判定部と、自動選択部は、判定の結果に基づいて自動選択することが好ましい。これにより、波長パターンの移行時に撮影した画像を学習用画像から排除することができる。
取得指示をユーザが入力する取得指示入力部を備え、受付部は、取得指示入力部からの取得指示を受け付けることが好ましい。これにより、所望の画像を取得することができる。
撮影した画像から注目シーンを認識する認識部と、認識部が注目シーンを認識すると取得指示を出力する取得指示出力部と、を備え、受付部は、取得指示出力部からの取得指示を受け付けることが好ましい。これにより、注目シーンの画像を自動的に取得することができる。
上記目的を達成するために内視鏡画像取得方法の一の態様は、患者の体腔内の被観察領域に照射光を照射する照射工程と、被観察領域からの戻り光を受光して被観察領域の画像を撮影する撮影工程と、撮影した画像を表示部に順次表示させる表示制御工程と、照射光又は戻り光の波長パターンを変更する波長パターン変更工程と、画像の取得指示を受け付ける受付工程と、観察用の波長パターンの画像を一定のフレームレートで撮影させる撮影制御工程であって、取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる撮影制御工程と、それぞれ異なる複数の波長パターンの画像を記憶部に記憶させる記憶制御工程と、を備え、表示制御工程は、観察用の波長パターン以外の波長パターンの画像を非表示とする内視鏡画像取得方法である。
本態様によれば、観察用の波長パターンの画像を一定のフレームレートで撮影させ、取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる際に、それぞれ異なる複数の波長パターンの画像を記憶部に記憶させ、観察用の波長パターン以外の波長パターンの画像を非表示とするようにしたので、それぞれ異なる複数の波長パターンの画像を収集することができ、かつ画像観察を容易にすることができる。
本発明によれば、画像を収集する際に画像観察を容易にすることができる。
内視鏡システムを示す外観図 内視鏡システムの機能を示すブロック図 光の強度分布を示すグラフ 学習用画像収集方法の処理を示すフローチャート 学習用画像収集方法の処理を説明するタイミングチャート 学習用画像収集方法の処理を説明するタイミングチャート 学習用画像収集方法の処理を説明するタイミングチャート 内視鏡システムの機能を示すブロック図 学習用画像収集方法の処理を示すフローチャート 学習用画像収集方法の処理を説明するタイミングチャート 内視鏡システムの機能を示すブロック図 内視鏡システムの機能を示すブロック図 学習用画像収集方法の処理を示すフローチャート 内視鏡システムの機能を示すブロック図 内視鏡システムの機能を示すブロック図
以下、添付図面に従って本発明の好ましい実施形態について詳説する。
<第1の実施形態>
図1は、第1の実施形態に係る内視鏡システム10(内視鏡画像取得システムの一例)を示す外観図である。図1に示すように、内視鏡システム10は、内視鏡12、光源装置14、プロセッサ装置16、表示部18、及び入力部20を備えている。
内視鏡12は、光源装置14と光学的に接続される。また、内視鏡12は、プロセッサ装置16と電気的に接続される。
内視鏡12は、患者の体腔内に挿入される挿入部12A、挿入部12Aの基端部分に設けられた操作部12B、挿入部12Aの先端側に設けられた湾曲部12C及び先端部12Dを有している。
操作部12Bには、アングルノブ12E及びモード切替スイッチ13Aが設けられている。また、操作部12Bには、取得指示入力部13B(図2参照)が設けられている。
アングルノブ12Eを操作することにより、湾曲部12Cが湾曲動作する。この湾曲動作によって先端部12Dが所望の方向に向けられる。
モード切替スイッチ13Aは、観察モードの切り替え操作に用いられる。内視鏡システム10は、照射光の波長パターンがそれぞれ異なる複数の観察モードを有している。医師は、モード切替スイッチ13Aを操作することにより、所望の観察モードに設定することができる。内視鏡システム10は、波長パターンと画像処理との組み合わせによって、設定された観察モードに応じた画像を生成して表示部18に表示する。
内視鏡システム10は、所望の位置の静止画を取得することができる。本実施形態では、診断レポートの作成に用いる診断用画像と、学習アルゴリズムを学習させる学習用画像を取得することができる。取得指示入力部13B(受付部の一例)は、医師が静止画の取得指示を入力するためのインターフェースである。取得指示入力部13Bは、静止画の取得指示を受け付ける。取得指示入力部13Bにおいて受け付けた静止画の取得指示は、プロセッサ装置16に入力される。
プロセッサ装置16は、表示部18及び入力部20と電気的に接続される。表示部18は、観察対象の画像及び観察対象の画像に関連する情報等を出力表示する表示デバイスである。入力部20は、内視鏡システム10の機能設定及び各種指示等の入力操作を受け付けるユーザインターフェースとして機能する。
図2は、内視鏡システム10の機能を示すブロック図である。図2に示すように、光源装置14は、第1レーザ光源22A、第2レーザ光源22B、及び光源制御部26を備えている。
第1レーザ光源22Aは、中心波長445nmの青色レーザ光源である。第2レーザ光源22Bは、中心波長405nmの紫色レーザ光源である。第1レーザ光源22A及び第2レーザ光源22Bとして、レーザダイオードを用いることができる。第1レーザ光源22A及び第2レーザ光源22Bの発光は、光源制御部26により個別に制御される。第1レーザ光源22Aと第2レーザ光源22Bとの発光強度比は変更自在になっている。
また、図2に示すように、内視鏡12は、光ファイバ28A、光ファイバ28B、蛍光体30、拡散部材32、撮像レンズ34、撮像素子38、及びアナログデジタル変換部40を備えている。
第1レーザ光源22A、第2レーザ光源22B、光ファイバ28A、光ファイバ28B、蛍光体30、及び拡散部材32によって、照射部が構成される。
第1レーザ光源22Aから出射されるレーザ光は、光ファイバ28Aによって、内視鏡12の先端部12Dに配置された蛍光体30に照射される。蛍光体30は、第1レーザ光源22Aからの青色レーザ光の一部を吸収して緑色〜黄色に励起発光する複数種の蛍光体を含んで構成される。これにより、蛍光体30から出射する光は、第1レーザ光源22Aからの青色レーザ光を励起光とする緑色〜黄色の励起光L11と、蛍光体30に吸収されずに透過した青色のレーザ光L12とが合わされて、白色(疑似白色)の光Lとなる。
なお、ここで言う白色光とは、厳密に可視光の全ての波長成分を含むものに限らない。例えば、R、G、B等、特定の波長帯域の光を含むものであればよく、緑色から赤色にかけての波長成分を含む光、又は青色から緑色にかけての波長成分を含む光等も広義に含むものとする。
一方、第2レーザ光源22Bから出射されるレーザ光は、光ファイバ28Bによって、内視鏡12の先端部12Dに配置された拡散部材32に照射される。拡散部材32は、透光性を有する樹脂材料等を用いることができる。拡散部材32から出射する光は、照射領域内において光量が均一化された狭帯域波長の光Lとなる。
図3は、光L及び光Lの強度分布を示すグラフである。光源制御部26(波長パターン変更部の一例)は、第1レーザ光源22Aと第2レーザ光源22Bとの光量比を変更する。これにより、光Lと光Lとの光量比が変更され、光Lと光Lとの合成光である照射光Lの波長パターンが変更される。したがって、それぞれ特性の異なる照射光Lを照射することができる。
前述のように、内視鏡システム10は、複数の観察モードを有している。ここでは、モードMA、モードMB、及びモードMCの3つの観察モードを有するものとする。なお、観察モードの数は3つに限定されるものではない。
モードMAにおける第1レーザ光源22Aの出射光と第2レーザ光源22Bの出射光との光量比は、1:0である。この光量比から生成される照射光Lの波長パターンを、波長パターンPAと呼ぶ。モードMAでは、白色照明画像を取得することができる。
モードMBにおける第1レーザ光源22Aの出射光と第2レーザ光源22Bの出射光との光量比は、1:4である。この光量比から生成される照射光Lの波長パターンを、波長パターンPBと呼ぶ。モードMBでは、生体組織表層の血管及び構造を強調した画像を取得することができる。
モードMCにおける第1レーザ光源22Aの出射光と第2レーザ光源22Bの出射光との光量比は、7:1である。この光量比から生成される照射光Lの波長パターンを、波長パターンPCと呼ぶ。モードMCでは、中遠景までの血管及び表面構造を強調した画像を取得することができる。
なお、各波長パターンPA、PB、PCにおける照射光Lの光量は、それぞれ適宜調整される。
図2の説明に戻り、撮像レンズ34、撮像素子38、及びアナログデジタル変換部40によって、撮影部が構成される。撮影部は、内視鏡12の先端部12Dに配置される。
撮像レンズ34には、照射光Lの被観察領域からの反射光、及び/又は被観察領域からの自家蛍光、を含む戻り光が入射する。撮像レンズ34は、入射した光を撮像素子38に結像させる。撮像素子38は、受光した光に応じたアナログ信号を生成する。撮像素子38としては、CCD(Charge Coupled Device)型イメージセンサ、又はCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサが用いられる。撮像素子38から出力されるアナログ信号は、アナログデジタル変換部40によりデジタル信号に変換され、プロセッサ装置16に入力される。
また、図2に示すように、プロセッサ装置16は、撮影制御部42、画像処理部44、表示制御部48、記憶制御部58、及び記憶部60を備えている。
取得指示入力部13Bにおいて受け付けた静止画の取得指示は、撮影制御部42に入力される。撮影制御部42は、光源装置14の光源制御部26、内視鏡12の撮像素子38及びアナログデジタル変換部40、プロセッサ装置16の画像処理部44を制御する。撮影制御部42は、内視鏡システム10による動画及び静止画の撮影を統括制御する。
画像処理部44は、内視鏡12のアナログデジタル変換部40から入力されたデジタル信号に画像処理を施し、画像を示す画像データ(以下、画像と表記する)を生成する。画像処理部44は、撮影時の照射光の波長パターンに応じた画像処理を施す。
表示制御部48は、画像処理部44によって生成された画像を表示部18に順次表示させる。
また、記憶制御部58は、静止画の取得指示に従って撮影された画像及び画像に関連する情報等を記憶部60に記憶させる。記憶部60は、例えばハードディスク等のストレージ装置である。なお、記憶部60は、プロセッサ装置16に内蔵されたものに限定されない。例えば、プロセッサ装置16に接続される不図示の外部記憶装置であってもよい。外部記憶装置は、ネットワークを介して接続されていてもよい。
このように構成された内視鏡システム10は、通常は一定のフレームレートで動画撮影を行い、撮影した動画を表示部18に表示する。また、取得指示入力部13Bから静止画の取得指示が入力されると、静止画を撮影し、記憶部60に記憶する。
<第1の実施形態>
内視鏡システム10における第1の実施形態に係る学習用画像収集方法について説明する。ここでは、静止画の取得指示に応じて、3つの波長パターンPA、PB、PCの照射光Lをそれぞれ照射して撮影した静止画を取得する。また、観察モードの照射光Lと同じ波長パターンの画像を診断用画像、観察モードの照射光Lとは異なる波長パターンの画像を学習用画像として記憶する。
図4は、動画観察時における学習用画像収集方法(内視鏡画像取得方法の一例)の処理を示すフローチャートである。また、図5は、学習用画像収集方法の処理を説明するタイミングチャートである。図5において、時間Tから時間TN+1(N=0〜15)までの時間は画像撮影のフレームレートを示し、それぞれ1/30秒である。
動画観察を開始するためには、ステップS1において、医師が入力部20(波長パターン選択部の一例)を用いてモードMA、モードMB、及びモードMCの中から動画撮影用の観察モード(観察用の波長パターン)を選択する。ここでは、例としてモードMAを選択する。なお、動画撮影用の観察モードは、動画撮影中であっても適宜変更可能である。また、動画撮影用の観察モードは予め定められていてもよい。
次に、患者の体腔内に内視鏡12の挿入部12Aを挿入する。内視鏡12の挿入後に動画撮影用の観察モードの選択を行ってもよい。
続いて、ステップS2において、ステップS1で選択された観察モードによって動画の撮影及び表示を行う。即ち、光源制御部26は、第1レーザ光源22Aの出射光と第2レーザ光源22Bの出射光とを、ステップS1で選択された観察モードに対応する光量比に設定する。これにより、患者の体腔内の被観察領域に所望の波長パターンの照射光Lを照射する(照射工程の一例、波長パターン変更工程の一例)。
また、撮影制御部42は、撮像素子38、アナログデジタル変換部40、及び画像処理部44を制御し、被観察領域からの戻り光を受光した被観察領域の画像を取得する(撮影工程の一例)。また、表示制御部48は、画像処理部44において生成された画像を表示部18に表示する(表示制御工程の一例)。
図5に示す例では、時間Tから時間Tまでの間に画像VAを撮影している。また、続く時間Tから時間Tまでの間に画像VAを表示し、かつ次の画像VAを撮影している。さらに、続く時間Tから時間Tまでの間に画像VAを表示し、かつ次の画像VAを撮影している。
このように、一定のフレームレートで画像を撮影する。また、撮影した画像を1フレーム分遅れたタイミングで表示部18に表示する。
以下のステップS3〜S13の処理は、ステップS2における動画撮影の割り込み処理として実行される。
ステップS3では、動画観察の終了指示が入力されたか否かを判定する。医師は、入力部20を用いて動画観察の終了指示を入力することができる。終了指示が入力された場合は、本フローチャートの処理を終了する。
動画観察の終了指示が入力されない場合は、ステップS4に移行する。ステップS4では、撮影制御部42は、静止画取得指示が入力されたか否かを判定する。前述したように、医師は、取得指示入力部13Bから静止画の取得指示を入力することができる。取得指示の入力が無い場合は、ステップS2に戻り、同様の処理を繰り返す。即ち、動画撮影を継続する。また、静止画取得指示が入力されたと判断した場合は(受付工程の一例)、ステップS5に移行する。
ステップS5以降では、静止画の取得を行う。ここでは、波長パターンPAでの静止画を1枚撮影、波長パターンPBでの静止画を1枚撮影、波長パターンPCでの静止画を1枚撮影、の処理を3回繰り返して、計9枚の静止画を取得する場合について説明する。
図5に示す例では、時間Tから時間Tまでの間に、静止画取得指示が入力されている。この時間Tから時間Tまでの間は、撮影制御部42により画像VAを撮影している。したがって、次の撮影開始タイミングである時間Tから静止画の取得処理を開始する。
まず、ステップS5において、光源制御部26は、波長パターンを設定する。ここでは、1枚目の静止画は波長パターンPAの静止画である。したがって、光源制御部26は、第1レーザ光源22Aの出射光と第2レーザ光源22Bの出射光とを波長パターンPAの光量比に設定する。これにより、波長パターンPAの照射光Lを照射する。
次に、ステップS6において、静止画の撮影を行う。即ち、撮影制御部42は、撮像素子38、アナログデジタル変換部40、及び画像処理部44を制御し、被観察領域の画像SAを撮影する(撮影制御工程の一例)。また、表示制御部48は、この時点での最新の撮影画像である画像VAを表示部18に表示する。
続いて、ステップS7において、表示制御部48は、ステップS6で撮影した画像SAがステップS1で選択した観察モードと同じ波長パターンの画像であるか否か、即ち画像SAの照射光Lの波長パターンとステップS1で選択した観察モードの照射光Lの波長パターンとが同一であるか否かを判定する。ここでは、画像SAは波長パターンPAの画像である。また、ステップS1で選択した観察モードはモードMAであり、モードMAの波長パターンはPAである。このように、両者の波長パターンが同一であるため、YES判定となり、ステップS8に移行する。
ステップS8では、表示制御部48は、ステップS6で撮影した画像SAを表示画像に設定する。また、続くステップS9において、記憶制御部58は、画像SAと画像SAを撮影した際の照射光Lの波長パターンPAの情報とを関連付けて、記憶部60の診断用画像を記憶するための領域である第1の記憶領域に記憶させる(記憶制御工程の一例)。第1の記憶領域とは、例えば、記憶部60の複数のドライブのうちの1つのドライブ、又は複数のフォルダのうちの1つのフォルダである。
次に、ステップS12において、静止画取得が終了したか否かを判定する。ここでは、まだ終了していないため、ステップS5に戻る。
ここでは、2枚目の静止画(モードMBでの1枚目の静止画)を時間Tから撮影する。即ち、ステップS5において、第1レーザ光源22Aの出射光と第2レーザ光源22Bの出射光とを波長パターンPBの光量比に設定する。そして、ステップS6において、画像SBを撮影する。また、前回のステップS8において画像SAを表示画像に設定したため、表示制御部48は、時間Tから画像SAを表示部18に表示する。
続いて、ステップS7において、表示制御部48は、ステップS6で撮影した画像SBがステップS1で選択した観察モードと同じ波長パターンの画像であるか否か、即ち画像SBの照射光Lの波長パターンとステップS1で選択した観察モードの照射光Lの波長パターンとが同一であるか否かを判定する。ここでは、画像SBは波長パターンPBの画像である。また、ステップS1で選択した観察モードはモードMAであり、モードMAの波長パターンはPAである。このように、両者の波長パターンは異なるため、NO判定となり、ステップS10に移行する。
ステップS10では、表示制御部48は、ステップS6で撮影した画像SBを非表示に設定する。また、続くステップS11において、記憶制御部58は、画像SBと画像SBを撮影した際の照射光Lの波長パターンPBの情報とを関連付けて、記憶部60の学習用画像を記憶するための領域である第2の記憶領域に記憶させる(記憶制御工程の一例)。第2の記憶領域とは、例えば、記憶部60の複数のドライブのうちの1つのドライブ、又は複数のフォルダのうちの1つのフォルダであり、第1の記憶領域とは異なる領域である。記憶部60を第1の記憶領域とし、記憶部60とは異なるストレージ装置を第2の記憶領域としてもよい。
次に、ステップS12において、静止画取得が終了したか否かを判定する。ここでは、まだ終了していないため、ステップS5に戻る。
ここでは、3枚目の静止画(モードMCでの1枚目の静止画)を時間Tから撮影する。即ち、ステップS5において、第1レーザ光源22Aの出射光と第2レーザ光源22Bの出射光とを波長パターンPCの光量比に設定する。そして、ステップS6において、画像SCを撮影する。
なお、前回のステップS10において画像SBを非表示に設定したため、表示制御部48は、画像SBは表示部18に表示しない。ここでは、画像SBに代えて、時間Tから表示している画像SAを引き続き表示部18に表示する。
続いて、ステップS7において、表示制御部48は、ステップS6で撮影した画像SCがステップS1で選択した観察モードと同じ波長パターンの画像であるか否か、即ち画像SCの照射光Lの波長パターンとステップS1で選択した観察モードの照射光Lの波長パターンとが同一であるか否かを判定する。ここでは、画像SCは波長パターンPCの画像である。また、ステップS1で選択した観察モードはモードMAであり、モードMAの波長パターンはPAである。このように、両者の波長パターンは異なるため、NO判定となり、ステップS10に移行する。
ステップS10では、表示制御部48は、画像SCを非表示に設定する。また、続くステップS11において、記憶制御部58は、画像SCと画像SCを撮影した際の照射光Lの波長パターンPCの情報とを関連付けて、記憶部60の第2の記憶領域に記憶させる。
次に、ステップS12において、静止画取得が終了したか否かを判定する。ここでは、まだ終了していないため、ステップS5に戻る。
同様に、4枚目の静止画(モードMAでの2枚目の静止画)である画像SAを時間Tから波長パターンPAの照射光Lで撮影する(ステップS5、S6)。また、前回のステップS10において画像SCを非表示に設定したため、表示制御部48は、画像SCは表示部18に表示しない。ここでは、画像SCに代えて、時間Tから表示している画像SAを引き続き表示部18に表示する。
ここでは、画像SAはステップS1で選択した観察モードと同じ波長パターンの画像である。したがって、ステップS7においてYES判定となり、ステップS8に移行する。
ステップS8では、画像SAを表示画像に設定する。また、ステップS9において、画像SAと画像SAを撮影した際の照射光Lの波長パターンPAの情報とを関連付けて、記憶部60の第1の記憶領域に記憶する。
次に、ステップS12において、静止画取得が終了したか否かを判定する。ここでは、まだ終了していないため、ステップS5に戻る。
同様に、5枚目の静止画(モードMBでの2枚目の静止画)である画像SBを時間Tから波長パターンPBの照射光Lで撮影する(ステップS5、S6)。また、前回のステップS8において画像SAを表示画像に設定したため、表示制御部48は、表示部18に画像SAを表示する。
ここでは、画像SBはステップS1で選択した観察モードと同じ波長パターンの画像ではない。したがって、ステップS7においてNO判定となり、ステップS10に移行する。
ステップS10では、表示制御部48は、画像SBを非表示に設定する。また、続くステップS11において、記憶制御部58は、画像SBと画像SBを撮影した際の照射光Lの波長パターンPBの情報とを関連付けて、記憶部60の第2の記憶領域に記憶させる。
次に、ステップS12において、静止画取得が終了したか否かを判定する。ここでは、まだ終了していないため、ステップS5に戻る。
以下、6〜9枚目の静止画、即ち波長パターンPCでの2枚目の静止画である画像SC、波長パターンPAでの3枚目の静止画である画像SA、波長パターンPBでの3枚目の静止画である画像SB、波長パターンPCでの3枚目の静止画である画像SCを順に撮影する。
全ての静止画の撮影が終了すると、ステップS12において静止画取得が終了したと判断され、ステップS13に移行する。
ステップS13では、照射光Lの波長パターンをステップS1で選択された観察モードの波長パターンに戻す。ここでは、波長パターンPAに戻す。そして、ステップS2へ戻り、同様の処理を繰り返す。
なお、最後に撮影された画像SCは、ステップS10において非表示と設定される。したがって、ステップS2へ戻って動画撮影を再開する際は、画像SCは表示部18に表示しない。ここでは、画像SCに代えて、時間T10から表示されている画像SAを引き続き表示部18に表示させる。
なお、時間T13以降は、1フレーム前に撮影された画像が表示部18に表示される。
以上のように学習用画像収集を行うことにより、学習用の静止画を撮影し、記憶することができる。また、選択された観察モードの照射光Lの波長パターンとは異なる波長パターンの静止画の表示タイミング(観察用の波長パターン以外の波長パターンの画像の表示タイミングの一例)において、選択された観察モードの照射光Lの波長パターンと同じ波長パターンの画像のうち最新の画像(すでに撮影した観察用の波長パターンの画像のうち最新の画像の一例)を表示することで、静止画取得中の表示色が動画撮影中の表示色と同じ色で一定となり、表示部18による観察が容易となる。
<第2の実施形態>
取得する静止画の取得順序及び取得枚数は、第1の実施形態で説明した例に限定されない。
例えば、医師が入力部20を用いて取得枚数を指定してもよい。第1の実施形態では各波長パターンでの静止画を3枚ずつ取得したが、2枚ずつ、あるいは4枚以上ずつ取得することができる。このように、必要な枚数だけ撮影を行うことができる。
また、医師が入力部20(順序選択部の一例)を用いて取得順序を選択してもよい。第1の実施形態では、波長パターンPA、波長パターンPB、波長パターンPCの順に静止画を取得したが、例えば、波長パターンPB、波長パターンPC、波長パターンPAの順、波長パターンPC、波長パターンPA、波長パターンPBの順、波長パターンPC、波長パターンPB、波長パターンPAの順、等のように所望の順序で静止画を取得することができる。
また、同じ波長パターンの画像を複数枚連続して取得させてもよい。例えば、図6に示すタイミングチャートの例では、波長パターンPAでの静止画を連続3枚撮影、波長パターンPBでの静止画を連続3枚撮影、波長パターンPCでの静止画を連続3枚撮影して、計9枚の静止画を取得している。なお、この例では、時間Tから時間T12までの間に、波長パターンPAでの最新の画像SAを表示している。
さらに、連続撮影処理を複数回繰り返してもよい。例えば、波長パターンPAでの静止画を連続3枚撮影、波長パターンPBでの静止画を連続3枚撮影、波長パターンPCでの静止画を連続3枚撮影、の処理を2回繰り返して計18枚の静止画を取得する等の順序としてもよい。
内視鏡画像の撮影では、撮像レンズ34への汚れの付着、撮影アングルの維持の困難性等から、撮影指示が入力されてからの経過時間が長くなると所望の画像を取得することが困難になると予測される。したがって、重要と考えられる波長パターンの画像を先に撮影させるために、撮影する波長パターンの順序を指定させることが好ましい。
また、医師が入力部20を用いて静止画を取得する波長パターンを選択してもよい。例えば、波長パターンPBでの静止画が不要であれば、波長パターンPAでの静止画及び波長パターンPCでの静止画のみを撮影することができる。
<第3の実施形態>
選択された観察モードの照射光Lの波長パターンとは異なる波長パターンの静止画の表示タイミングにおいて、最新の画像よりも一定数以前に撮影した画像を表示してもよい。
図7は、内視鏡システム10における第2の実施形態に係る学習用画像収集方法の処理を説明するタイミングチャートである。
ここでは、時間Tから時間Tの間に、波長パターンPAの照射光Lで撮影した最新の画像である画像SAに代えて、最新の画像SAよりも1枚前に波長パターンPAの照射光Lで撮影した画像である画像VAを表示している。
また、時間Tから時間T10の間に、波長パターンPAの照射光Lで撮影した最新の画像である画像SAに代えて、最新の画像SAよりも1枚前に波長パターンPAの照射光Lで撮影した画像である画像SAを表示している。
同様に、時間T10から時間T13の間に、最新の画像SAよりも1枚前に撮影した画像である画像SAを表示している。
ここでは、最新の画像よりも1枚前に撮影した画像を表示しているが、さらに以前に撮影した画像を表示してもよい。このように、最新の画像よりも一定数以前に撮影した画像(すでに撮影した観察用の波長パターンの画像のうち最新の画像よりも一定数以前に撮影した画像の一例)を表示した場合であっても、選択した観察モードの照射光Lの波長パターンと同じ照射光Lの波長パターンの画像のみが表示されるため、表示部18による観察が容易となる。
<第4の実施形態>
内視鏡システム10では、選択された観察モードの照射光Lの波長パターンとは異なる波長パターンの静止画の表示タイミングにおいて、選択された観察モードの照射光Lの波長パターンと同じ波長パターンの画像のうち最新の画像、又は最新の画像よりも一定数以前に撮影した画像を表示していたが、撮影画像ではなく補間画像を表示してもよい。
図8は、内視鏡システム70の機能を示すブロック図である。なお、図2に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
内視鏡システム70は、画像処理部44に補間画像作成部46を備えている。補間画像作成部46は、不図示のメモリを備え、メモリに記憶してある複数の画像から補間画像を作成する。
図9は、内視鏡システム70の学習用画像収集方法の処理を示すフローチャートである。また、図10は、内視鏡システム70の学習用画像収集方法の処理を説明するタイミングチャートである。なお、図4に示すフローチャート及び図5に示すタイミングチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
第1の実施形態と同様に、医師がモードMAを観察モードとして選択する(ステップS1)。内視鏡システム70は、モードMAにおいて動画撮影を行う(ステップS2)。
なお、静止画取得の際には、モードMAでの静止画を1枚撮影、モードMBでの静止画を1枚撮影、モードMCでの静止画を1枚撮影、の処理を1セットとし、3セット分の処理を繰り返して行って9枚の静止画を取得するものとする。
時間Tから時間Tまでの間に静止画の取得指示が入力されたと判定すると(ステップS4)、時間Tから静止画の取得処理が開始される。まず、時間Tから時間Tまでの間に波長パターンPAでの画像SAを撮影する。また、画像VAが表示部18に表示される(ステップS5、S6)。
ここで撮影した画像SAは、選択された観察モードであるモードMAと同じ波長パターンの画像であるため、表示画像に設定される(ステップS8)。
次の撮影タイミングである時間Tから時間Tまでの間では、波長パターンPBでの画像SBを撮影する。
ここで撮影した画像SBは、モードMAとは異なる波長パターンの画像であるため、画像SBは非表示に設定される(ステップS10)。
続くステップS21において、補間画像作成部46は、選択された観察モードの照射光Lの波長パターンで撮影された画像のうち、最新の画像と、最新の画像よりも一定数以前に撮影した画像とを補間した補間画像を作成する。ここでは、最新の画像である画像SAと、最新の画像SAよりも1枚前に撮影した画像である画像VAとを補間した補間画像IAを作成する。なお、画像SA及び画像VAは、補間画像作成部46の不図示のメモリに記憶されている。
補間画像IAは、画像SA及び画像VAの各画素を平均して作成してもよいし、各画素を加重平均してもよい。また、新しい画像ほど加重を大きくしてもよい。ここでは、画像SA及び画像VAの2枚の画像を用いたが、さらに一定数以前に撮影した画像を用いてもよい。
補間画像IAを作成したら、ステップS11に移行する。ステップS11では、記憶制御部58は、画像SBと画像SBを撮影した際の照射光Lの波長パターンPBの情報とを関連付けて、記憶部60の第2の記憶領域に記憶させる。補間画像IAを記憶させてもよい。
続いて、時間Tから時間Tまでの間に波長パターンPCでの画像SCを撮影する。また、前回のステップS10において画像SBを非表示に設定したため、表示制御部48は、画像SBは表示部18に表示しない。これに代えて、表示制御部48は、時間Tから、前回のステップS21で作成した補間画像IAを表示部18に表示する(ステップS5、S6)。
次に、表示制御部48は、画像SCを非表示に設定する(ステップS10)。さらに、補間画像作成部46は、選択された観察モードの照射光Lの波長パターンで撮影された画像のうち、最新の画像である画像SAと、最新の画像SAよりも1枚前に撮影した画像である画像VAとを補間した補間画像IAを作成する(ステップS21)。ここでは、前回のステップS21において同じ補間画像IAを作成しているので、補間画像作成部46の不図示のメモリに記憶した補間画像IAをそのまま使用することができる。なお、画像SA及び画像VAの加重平均の加重割合を変更して、新たな補間画像を作成してもよい。
次の撮影タイミングである時間Tから時間Tまでの間に波長パターンPAでの画像SAを撮影する。また、前回のステップS21で作成した補間画像IAを表示部18に表示する(ステップS5、S6)。この画像SAは、表示画像に設定される(ステップS8)。
さらに次の撮影タイミングである時間Tから時間Tまでの間に波長パターンPBでの画像SBを撮影する。また、前回撮影した画像SAを表示部18に表示する(ステップS5、S6)。
以下同様に、画像SB及び画像SCの表示タイミング(時間Tから時間T10まで)では画像SA及び画像SAから作成した補間画像IAを、画像SB及び画像SCの表示タイミング(時間T11から時間T13まで)では画像SA及び画像SAから作成した補間画像IAを、表示部18に表示する。
ここでは、最新の画像と、最新の画像よりも一定数以前に撮影した画像から補間画像を作成したが、選択した観察モードの波長パターンの複数の画像のうち最新の画像又は最新の画像よりも一定数以前に撮影した画像を含む複数の画像から補間画像を作成すればよい。
このように表示した場合も、選択した観察モードの照射光Lの波長パターンと同じ照射光Lの波長パターンの画像のみが表示されるため、表示部18による観察が容易となる。
<第5の実施形態>
医師による取得指示入力部13Bからの静止画の取得指示に依らず、自動的に静止画取得を行ってもよい。
図11は、内視鏡システム72の機能を示すブロック図である。なお、図2に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
内視鏡システム72のプロセッサ装置16は、取得指示出力部50を備えている。取得指示出力部50は、静止画の取得指示を自動的に出力する。取得指示出力部50からの静止画の取得指示は、撮影制御部42に入力される。
取得指示出力部50は、認識部52を備えている。認識部52は、入力された画像から注目シーンの検出を行う。ここでは特に、病変領域の検出を行う。なお、注目シーンは病変領域に限定されない。
認識部52は、ニューラルネットワーク等の学習アルゴリズムを用いることができる。認識部52が病変領域を検出すると、取得指示出力部50は静止画の取得指示を出力する。
内視鏡システム72の学習用画像収集を、図4に示すフローチャートを用いて説明する。
まず、医師が入力部20を用いて動画撮影用の観察モードを選択する(ステップS1)。続いて、内視鏡システム72は、選択された観察モードで動画を撮影する(ステップS2)。
撮影された画像は、画像処理部44から取得指示出力部50に入力される。取得指示出力部50の認識部52は、入力された画像から病変領域の認識を行う。認識部52が画像から病変領域を検出すると、取得指示出力部50は静止画の取得指示を出力する。これにより、ステップS4においてYES判定となり、ステップS5に移行する。以下の処理はこれまでと同様である。
内視鏡システム72によれば、自動的に学習用画像を収集することができる。また、選択した観察モードの照射光Lの波長パターンと同じ照射光Lの波長パターンの画像のみが表示されるため、表示部18による観察が容易となる。
ここでは、取得指示出力部50は、認識部52により病変領域を検出し、病変領域を検出した場合に静止画の取得指示を出力したが、病変領域等の注目シーンの検出以外をトリガにして取得指示を出力してもよい。例えば、一定時間毎に静止画の取得指示を出力してもよい。
<第6の実施形態>
内視鏡システム10では、撮影した静止画を全て記憶部60に記憶させていたが、学習に適した画像のみ記憶させてもよい。
図12は、内視鏡システム74の機能を示すブロック図である。なお、図2に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
内視鏡システム74のプロセッサ装置16は、自動選択部54を備えている。自動選択部54は、入力された静止画のうち記憶部に記憶させる画像を自動選択する。記憶制御部58は、自動選択部54によって選択された静止画を記憶部60に記憶させる。
自動選択部54は、判定部56を備えている。判定部56は、入力された静止画が学習用画像として適しているか否かを判定する。ここでは、特に静止画が撮影された際の照射光Lが所望の波長パターンを有しているか否かを判定する。
図13は、内視鏡システム74の学習用画像収集方法の処理を示すフローチャートである。なお、図4に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。
内視鏡システム74は、静止画の取得指示に応じて(ステップS4)、静止画の撮影を行う(ステップS6)。続いて、ステップS6で撮影した画像が選択した観察モードと同じ波長パターンの画像であるか否かを判定する(ステップS7)。
同じ波長パターンの画像である場合は、ステップS8に以降する。そして、撮影した画像を表示画像に設定する(ステップS8)。
続くステップS31において、自動選択部54の判定部56は、撮影した画像が学習用画像として適しているか否かを判定する。ここでは、特に静止画が撮影された際の照射光Lが所望の波長パターンを有しているか否かを判定する。
判定部56は、画像の色を解析することでその画像を撮影した際の照射光Lの波長パターンを推定し、推定した波長パターンが所望の波長パターンであるか否かを判定する。判定部56が、推定した波長パターンが所望の波長パターンであると判定した場合は、自動選択部54は、その画像を学習用画像として選択し、ステップS9に移行する。
ステップS9では、その画像と波長パターンの情報とを関連付けて、記憶部60の第1の記憶領域に記憶させる。
また、判定部56が、推定した波長パターンが所望の波長パターンでないと判定した場合は、自動選択部54は、その画像を学習用画像として選択せず、画像の記憶を行わずにステップS12に移行する。
一方、ステップS7において、同じ波長パターンの画像でないと判定されると、ステップS10に以降する。そして、撮影した画像を非表示に設定する(ステップS10)。
続くステップS32において、自動選択部54の判定部56は、撮影した画像が学習用画像として適しているか否かを判定する。ステップS31と同様に、特に静止画が撮影された際の照射光Lが所望の波長パターンを有しているか否かを判定する。
例えば、図6に示すタイミングチャートの場合では、時間Tにおいて照射光Lを波長パターンPAから波長パターンPBに変更して、3枚の画像SB〜画像SBを撮影している。したがって、1枚目の画像SBは波長パターンの遷移状態(波長パターンの移行時の一例)で撮影され、照射光Lの波長パターンが所望の波長パターンでない可能性がある。
判定部56は、画像の色を解析することでその画像を撮影した際の照射光Lの波長パターンを推定し、推定した波長パターンが所望の波長パターンであるか否かを判定する。判定部56が、推定した波長パターンが所望の波長パターンであると判定した場合(判定の結果の一例)は、自動選択部54は、その画像を学習用画像として選択し、ステップS11に移行する。
ステップS11では、その画像と波長パターンの情報とを関連付けて、記憶部60の第2の記憶領域に記憶させる。
また、判定部56が、推定した波長パターンが所望の波長パターンでないと判定した場合(判定の結果の一例)は、自動選択部54は、その画像を学習用画像として選択せず、画像の記憶を行わずにステップS12に移行する。
なお、表示部18に表示する画像については、これまでと同様である。
内視鏡システム74によれば、撮影した静止画について、学習用画像として適しているか否かを判定し、適している画像を記憶することで、好ましい学習用画像を収集することができる。
また、これまでと同様に、選択した観察モードの照射光Lの波長パターンと同じ照射光Lの波長パターンの画像のみを表示するので、静止画取得中の表示色が動画撮影中の表示色と同じ色で一定となり、表示部18による観察が容易となる。
ここでは、静止画が撮影された際の照射光Lが所望の波長パターンを有していない画像を学習用画像として適していないと判定したが、判定基準はこれに限定されない。例えば、像ブレが発生している画像、合焦していない画像、レンズに水しぶき又は汚れが付着した画像等を学習用画像として適していないと判定してもよい。また、学習用画像として適している画像のうち最も適している画像を判定し、判定された画像のみを記憶してもよい。
また、取得した静止画を表示部18に表示し、表示された画像の中から学習用画像として記憶部60に記憶させる画像を医師が入力部20(記憶画像選択部の一例)を用いて選択するように構成してもよい。また、取得した全ての静止画を表示部18に表示するのではなく、判定部56において学習用画像に適していると判別された静止画のみを表示部18に表示してもよい。
<第7の実施形態>
内視鏡システム10では、複数の光源の光量の比率を変更して照射光Lの波長パターンを変更しているが、複数の光源のうち点灯させる光源を選択して照射光の波長パターンを変更してもよい。
図14は、内視鏡システム76の機能を示すブロック図である。なお、図2に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
内視鏡システム76の光源装置14は、第1光源24A、第2光源24B、第3光源24Cを備えている。
光源制御部26は、第1光源24A、第2光源24B、第3光源24Cのうちの1つの光源を選択して点灯させ、他の光源を消灯させる。点灯した光源から出射される光は、光ファイバ28Bによって拡散部材32に照射される。拡散部材32から出射する光が内視鏡システム76の照射光Lとなる。
ここで、第1光源24Aを波長パターンPAの波長パターンを有する光源、第2光源24Bを波長パターンPBの波長パターンを有する光源、第3光源24Cを波長パターンPC用の波長パターンを有する光源とすることで、各波長パターンの照射光Lを照射した静止画を取得することができる。
第1光源24A、第2光源24B、第3光源24Cとして、レーザダイオードと蛍光体の組み合わせの他、LED(Light Emitting Diode)等の半導体光源を用いることができる。
<第8の実施形態>
ここまでは、被観察領域を照射する照射光Lの波長パターンを変更する例を説明したが、照射光Lの波長パターンを一定として、撮像素子38が受光する戻り光の波長パターンを変更してもよい。
図15は、内視鏡システム78の機能を示すブロック図である。なお、図2に示すブロック図と共通する部分には同一の符号を付し、その詳細な説明は省略する。
内視鏡システム78の内視鏡12は、複数のフィルタを有するフィルタ群36(波長パターン変更部の一例)を備えている。複数のフィルタの各フィルタは、透過する光についてそれぞれ異なる波長帯域を制限する。フィルタ群36は、戻り光の光路における撮像レンズ34と撮像素子38との間に配置される。フィルタ群36は、例えば、回転式フィルタターレットとして構成することができる。
光源制御部26は、第1レーザ光源22Aの出射光と第2レーザ光源22Bの出射光と光量比を一定に設定する。また、撮影制御部42(波長パターン変更部の一例)は、フィルタ群36を制御し、必要なフィルタを光路から挿入又は退避させる。これにより、撮像素子38が受光する戻り光の波長パターンを変更する。
例えば、透過光を波長パターンPAの波長パターンにするフィルタ、透過光を波長パターンPBの波長パターンにするフィルタ、透過光を波長パターンPCの波長パターンにするフィルタ、の3つのフィルタを備え、3つのフィルタのうちの1つのフィルタを光路に挿入させる。これにより、各波長パターンでの画像を撮影することができる。
なお、表示部18に表示する画像については、これまでと同様である。
内視鏡システム78によれば、それぞれ異なる複数の波長パターンの画像を順次撮影させることで、学習用画像を適切に収集することができる。
また、これまでと同様に、選択した観察モードの照射光Lの波長パターンと同じ照射光Lの波長パターンの画像のみを表示するので、静止画取得中の表示色が動画撮影中の表示色と同じ色で一定となり、表示部18による観察が容易となる。
内視鏡システム10、70、72、74、76、及び78では、観察モードと同じ波長パターンで撮影された静止画を、診断用画像として第1の記憶領域に記憶させたが、診断用画像を第2の記憶領域に記憶させてもよい。これにより、観察モードと同じ波長パターンで撮影された静止画を学習用画像として収集することができる。
<付記>
前述した態様及び例に加えて、以下に記載の構成も本発明の範囲に含まれる。
(付記1)
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
(付記2)
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。
(付記3)
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。
(付記4)
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。
(付記5)
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。
(付記6)
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。
(付記7)
特定の波長帯域は、390nm以上450nm以下または530nm以上550nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、390nm以上450nm以下または530nm以上550nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
(付記8)
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。
(付記9)
特定の波長帯域は、585nm以上615nm以下または610nm以上730nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、585nm以上615nm以下または610nm以上730nm以下の波長帯域内にピーク波長を有する医療画像処理装置。
(付記10)
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。
(付記11)
特定の波長帯域は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、400±10nm、440±10nm、470±10nm、または、600nm以上750nm以下の波長帯域にピーク波長を有する医療画像処理装置。
(付記12)
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。
(付記13)
蛍光は、ピークが390nm以上470nm以下である励起光を生体内に照射して得る医療画像処理装置。
(付記14)
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。
(付記15)
特定の波長帯域は、790nm以上820nm以下または905nm以上970nm以下の波長帯域を含み、かつ、特定の波長帯域の光は、790nm以上820nm以下または905nm以上970nm以下の波長帯域にピーク波長を有する医療画像処理装置。
(付記16)
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。
(付記17)
特定の波長帯域の信号は、通常光画像に含まれるRGB(Red Green Blue)あるいはCMY(Cyan, Magenta, Yellow)の色情報に基づく演算により得る医療画像処理装置。
(付記18)
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。
(付記19)
付記1から18のいずれか1つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。
(付記20)
付記1から18のいずれか1つに記載の医療画像処理装置を備える診断支援装置。
(付記21)
付記1から18のいずれか1つに記載の医療画像処理装置を備える医療業務支援装置。
<その他>
波長パターンとして、白色光、BLI、BLI−bright(登録商標)、特定の単波長、複数波長の任意の組み合わせ等を用いることができる。
ここでは、学習用画像の収集について説明したが、収集する画像は学習アルゴリズムの学習用画像に限定されるものではない。例えば、内視鏡システムの性能評価のためのテスト用画像、照射光の波長による被観察領域の見え方の違いの研究用画像等であってもよい。
上記の認識方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したCD−ROM(Compact Disk-Read Only Memory)等の非一時的な記録媒体を構成することも可能である。
ここまで説明した実施形態において、例えば、プロセッサ装置16の各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ、又はCPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、サーバ及びクライアント等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
10 内視鏡システム
12 内視鏡
12A 挿入部
12B 操作部
12C 湾曲部
12D 先端部
12E アングルノブ
13A モード切替スイッチ
13B 取得指示入力部
14 光源装置
16 プロセッサ装置
18 表示部
20 入力部
22A 第1レーザ光源
22B 第2レーザ光源
24A 第1光源
24B 第2光源
24C 第3光源
26 光源制御部
28A 光ファイバ
28B 光ファイバ
30 蛍光体
32 拡散部材
34 撮像レンズ
36 フィルタ群
38 撮像素子
40 アナログデジタル変換部
42 撮影制御部
44 画像処理部
46 補間画像作成部
48 表示制御部
50 取得指示出力部
52 認識部
54 自動選択部
56 判定部
58 記憶制御部
60 記憶部
70 内視鏡システム
72 内視鏡システム
74 内視鏡システム
76 内視鏡システム
78 内視鏡システム
IA〜IA 補間画像
SA〜SA 画像
SB〜SB 画像
SC〜SC 画像
照射光

11 励起光
12 レーザ光

S1〜S32 学習用画像収集の各処理
また、内視鏡診断では、通常行われる白色光観察の他にNBI(Narrow Band Imaging、登録商標)、BLI(Blue Laser Imaging、登録商標)等の特殊光観察も存在する。
それぞれ異なる複数の波長パターンの画像は、観察用の波長パターンの画像を含み、記憶制御部は、観察用の波長パターンの画像を記憶部の第1の記憶領域に記憶させ、観察用の波長パターン以外の波長パターンの画像を記憶部の第1の記憶領域とは異なる第2の記憶領域に記憶させることが好ましい。これにより、診断用画像と学習用画像とを記憶部のそれぞれ異なる領域に記憶させることができる。なお、記憶部のそれぞれ異なる領域に記憶させるとは、複数の記憶部を備え、診断用画像と学習用画像とそれぞれ異なる記憶部に記憶させることも含まれる。
それぞれ異なる複数の波長パターンの画像を順次撮影する際に波長パターンの移行時に撮影した画像を判定する判定部を備え、自動選択部は、判定の結果に基づいて自動選択することが好ましい。これにより、波長パターンの移行時に撮影した画像を学習用画像から排除することができる。
画像処理部44は、内視鏡12のアナログデジタル変換部40から入力されたデジタル信号に画像処理を施し、画像を示す画像データ(以下、画像と表記する)を生成する。画像処理部44は、撮影時の照射光 の波長パターンに応じた画像処理を施す。
視鏡システム10における第1の実施形態に係る学習用画像収集方法について説明する。ここでは、静止画の取得指示に応じて、3つの波長パターンPA、PB、PCの照射光Lをそれぞれ照射して撮影した静止画を取得する。また、観察モードの照射光Lと同じ波長パターンの画像を診断用画像、観察モードの照射光Lとは異なる波長パターンの画像を学習用画像として記憶する。
図5に示す例では、時間Tから時間Tまでの間に、静止画取得指示が入力されている。この時間Tから時間Tまでの間は、撮影制御部42の制御により画像VAを撮影している。したがって、次の撮影開始タイミングである時間Tから静止画の取得処理を開始する。
同様に、4枚目の静止画(モードMAでの2枚目の静止画)である画像SAを時間Tから波長パターンPAの照射光Lで撮影する(ステップS5、S6)。また、前回のステップS10において画像SCを非表示に設定したため、表示制御部48は、画像SC 表示部18に表示しない。ここでは、画像SCに代えて、時間Tから表示している画像SAを引き続き表示部18に表示する。
また、同じ波長パターンの画像を複数枚連続して取得させてもよい。例えば、図6に示すタイミングチャートの例では、波長パターンPAでの静止画を連続3枚撮影、波長パターンPBでの静止画を連続3枚撮影、波長パターンPCでの静止画を連続3枚撮影して、計9枚の静止画を取得している。なお、この例では、時間Tから時間T 13 までの間に、波長パターンPAでの最新の画像SAを表示している。
図7は、内視鏡システム10における第の実施形態に係る学習用画像収集方法の処理を説明するタイミングチャートである。
以下同様に、画像SB及び画像SCの表示タイミング(時間T から時間T10まで)では画像SA及び画像SAから作成した補間画像IAを、画像SB及び画像SCの表示タイミング(時間T11から時間T13まで)では画像SA及び画像SAから作成した補間画像IAを、表示部18に表示する。
同じ波長パターンの画像である場合は、ステップS8に移行する。そして、撮影した画像を表示画像に設定する(ステップS8)。
一方、ステップS7において、同じ波長パターンの画像でないと判定されると、ステップS10に移行する。そして、撮影した画像を非表示に設定する(ステップS10)。
ここで、第1光源24Aを波長パターンPAの波長パターンを有する光源、第2光源24Bを波長パターンPBの波長パターンを有する光源、及び第3光源24Cを波長パターンPC用の波長パターンを有する光源に用いることで、各波長パターンの照射光Lを照射した静止画を取得することができる。
光源制御部26は、第1レーザ光源22Aの出射光と第2レーザ光源22Bの出射光と光量比を一定に設定する。また、撮影制御部42(波長パターン変更部の一例)は、フィルタ群36を制御し、必要なフィルタを光路から挿入又は退避させる。これにより、撮像素子38が受光する戻り光の波長パターンを変更する。

Claims (16)

  1. 患者の体腔内の被観察領域に照射光を照射する照射部と、
    前記被観察領域からの戻り光を受光して前記被観察領域の画像を撮影する撮影部と、
    前記撮影した画像を表示部に順次表示させる表示制御部と、
    前記照射光又は前記戻り光の波長パターンを変更する波長パターン変更部と、
    画像の取得指示を受け付ける受付部と、
    観察用の波長パターンの画像を一定のフレームレートで撮影させる撮影制御部であって、前記取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる撮影制御部と、
    前記それぞれ異なる複数の波長パターンの画像を記憶部に記憶させる記憶制御部と、
    を備え、
    前記表示制御部は、前記観察用の波長パターン以外の波長パターンの画像を非表示とする内視鏡画像取得システム。
  2. 前記表示制御部は、前記観察用の波長パターン以外の波長パターンの画像の表示に代えて、すでに撮影した前記観察用の波長パターンの画像のうち最新の画像又は最新の画像よりも一定数以前に撮影した画像を表示する請求項1に記載の内視鏡画像取得システム。
  3. 撮影した前記観察用の波長パターンの画像のうち最新の画像又は最新の画像よりも一定数以前に撮影した画像を含む複数の画像から補間画像を作成する補間画像作成部を備え、
    前記表示制御部は、前記観察用の波長パターン以外の波長パターンの画像の表示に代えて、前記補間画像を表示する請求項1又は2に記載の内視鏡画像取得システム。
  4. 前記照射部は、複数の光源を備え、
    前記波長パターン変更部は、前記複数の光源のうち点灯させる光源を選択して前記照射光の波長パターンを変更する請求項1から3のいずれか1項に記載の内視鏡画像取得システム。
  5. 前記照射部は、複数の光源を備え、
    前記波長パターン変更部は、前記複数の光源の光量の比率を変更して前記照射光の波長パターンを変更する請求項1から3のいずれか1項に記載の内視鏡画像取得システム。
  6. 前記撮影部は、透過する光の波長帯域を制限するフィルタを備え、
    前記波長パターン変更部は、前記フィルタを制御して前記戻り光の波長パターンを変更する請求項1から3のいずれか1項に記載の内視鏡画像取得システム。
  7. 前記それぞれ異なる複数の波長パターンの画像は、前記観察用の波長パターンの画像を含み、
    前記記憶制御部は、前記観察用の波長パターンの画像を前記記憶部の第1の記憶領域に記憶させ、前記観察用の波長パターン以外の波長パターンの画像を前記記憶部の前記第1の記憶領域とは異なる第2の記憶領域に記憶させる請求項1から6のいずれか1項に記載の内視鏡画像取得システム。
  8. 前記記憶制御部は、前記画像と前記画像を撮影した際の波長パターンの情報とを関連付けて前記記憶部に記憶させる請求項1から7のいずれか1項に記載の内視鏡画像取得システム。
  9. 前記観察用の波長パターンをユーザが選択する波長パターン選択部を備え、
    前記撮影制御部は、前記選択された波長パターンにおいて一定のフレームレートで画像を撮影させる請求項1から8のいずれか1項に記載の内視鏡画像取得システム。
  10. 前記それぞれ異なる複数の波長パターンの画像を順次撮影する際の前記複数の波長パターンの順序をユーザが選択する順序選択部を備え、
    前記撮影制御部は、前記選択された順序で前記それぞれ異なる複数の波長パターンの画像を順次撮影させる請求項1から9のいずれか1項に記載の内視鏡画像取得システム。
  11. 前記それぞれ異なる複数の波長パターンの画像のうち前記記憶部に記憶させる画像をユーザが選択する記憶画像選択部を備え、
    前記記憶制御部は、前記選択された画像を前記記憶部に記憶させる請求項1から10のいずれか1項に記載の内視鏡画像取得システム。
  12. 前記それぞれ異なる複数の波長パターンの画像のうち前記記憶部に記憶させる画像を自動選択する自動選択部を備え、
    前記記憶制御部は、前記自動選択した画像を前記記憶部に記憶させる請求項1から10のいずれか1項に記載の内視鏡画像取得システム。
  13. 前記それぞれ異なる複数の波長パターンの画像を順次撮影する際に前記波長パターンの移行時に撮影した画像を判定する判定部と、
    前記自動選択部は、前記判定の結果に基づいて自動選択する請求項12に記載の内視鏡画像取得システム。
  14. 前記取得指示をユーザが入力する取得指示入力部を備え、
    前記受付部は、前記取得指示入力部からの前記取得指示を受け付ける請求項1から13のいずれか1項に記載の内視鏡画像取得システム。
  15. 前記撮影した画像から注目シーンを認識する認識部と、
    前記認識部が前記注目シーンを認識すると前記取得指示を出力する取得指示出力部と、
    を備え、
    前記受付部は、前記取得指示出力部からの前記取得指示を受け付ける請求項1から14のいずれか1項に記載の内視鏡画像取得システム。
  16. 患者の体腔内の被観察領域に照射光を照射する照射工程と、
    前記被観察領域からの戻り光を受光して前記被観察領域の画像を撮影する撮影工程と、
    前記撮影した画像を表示部に順次表示させる表示制御工程と、
    前記照射光又は前記戻り光の波長パターンを変更する波長パターン変更工程と、
    画像の取得指示を受け付ける受付工程と、
    観察用の波長パターンの画像を一定のフレームレートで撮影させる撮影制御工程であって、前記取得指示を受け付けると、それぞれ異なる複数の波長パターンの画像を順次撮影させる撮影制御工程と、
    前記それぞれ異なる複数の波長パターンの画像を記憶部に記憶させる記憶制御工程と、
    を備え、
    前記表示制御工程は、前記観察用の波長パターン以外の波長パターンの画像を非表示とする内視鏡画像取得方法。
JP2019562881A 2017-12-28 2018-11-28 内視鏡画像取得システム及び内視鏡画像取得システムの作動方法 Active JP6989619B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017254275 2017-12-28
JP2017254275 2017-12-28
PCT/JP2018/043790 WO2019130964A1 (ja) 2017-12-28 2018-11-28 内視鏡画像取得システム及び方法

Publications (2)

Publication Number Publication Date
JPWO2019130964A1 true JPWO2019130964A1 (ja) 2021-01-28
JP6989619B2 JP6989619B2 (ja) 2022-01-05

Family

ID=67063418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019562881A Active JP6989619B2 (ja) 2017-12-28 2018-11-28 内視鏡画像取得システム及び内視鏡画像取得システムの作動方法

Country Status (5)

Country Link
US (1) US11684237B2 (ja)
EP (1) EP3733046A4 (ja)
JP (1) JP6989619B2 (ja)
CN (1) CN111526773B (ja)
WO (1) WO2019130964A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093459A (zh) * 2017-10-04 2020-05-01 奥林巴斯株式会社 内窥镜装置、图像处理方法以及程序
CN111227768A (zh) * 2020-01-16 2020-06-05 重庆金山医疗技术研究院有限公司 一种内窥镜的导航控制方法及装置
JP7427766B2 (ja) * 2020-03-03 2024-02-05 富士フイルム株式会社 画像選択支援装置、画像選択支援方法、及び画像選択支援プログラム
JPWO2021182048A1 (ja) * 2020-03-13 2021-09-16
WO2022210508A1 (ja) * 2021-03-31 2022-10-06 富士フイルム株式会社 プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム
CN115539856A (zh) * 2022-11-24 2022-12-30 之江实验室 一种电子内窥镜光源装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001170009A (ja) * 1999-12-20 2001-06-26 Olympus Optical Co Ltd 被検体観察装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2011200517A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 電子内視鏡システム
JP2011250926A (ja) * 2010-06-01 2011-12-15 Fujifilm Corp 電子内視鏡システム
JP2013188364A (ja) * 2012-03-14 2013-09-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムにおける露光量調整方法
JP2015042193A (ja) * 2013-08-26 2015-03-05 Hoya株式会社 電子内視鏡システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5078150A (en) * 1988-05-02 1992-01-07 Olympus Optical Co., Ltd. Spectral diagnosing apparatus with endoscope
US7172553B2 (en) * 2001-05-16 2007-02-06 Olympus Corporation Endoscope system using normal light and fluorescence
US20080091065A1 (en) * 2006-10-04 2008-04-17 Olympus Medical Systems Corporation Medical image processing apparatus, endoscope system and medical image processing system
US8294733B2 (en) * 2007-06-08 2012-10-23 Olympus Corporation Endoscopic image viewing program and method
US20110178395A1 (en) * 2009-04-08 2011-07-21 Carl Zeiss Surgical Gmbh Imaging method and system
JP5346856B2 (ja) * 2010-03-18 2013-11-20 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法及び撮像装置
JP2016202411A (ja) 2015-04-17 2016-12-08 オリンパス株式会社 蛍光観察装置
JP6533180B2 (ja) * 2016-04-21 2019-06-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001170009A (ja) * 1999-12-20 2001-06-26 Olympus Optical Co Ltd 被検体観察装置
JP2010172673A (ja) * 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2011200517A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 電子内視鏡システム
JP2011250926A (ja) * 2010-06-01 2011-12-15 Fujifilm Corp 電子内視鏡システム
JP2013188364A (ja) * 2012-03-14 2013-09-26 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムにおける露光量調整方法
JP2015042193A (ja) * 2013-08-26 2015-03-05 Hoya株式会社 電子内視鏡システム

Also Published As

Publication number Publication date
EP3733046A4 (en) 2021-03-10
US11684237B2 (en) 2023-06-27
EP3733046A1 (en) 2020-11-04
US20200305700A1 (en) 2020-10-01
CN111526773A (zh) 2020-08-11
CN111526773B (zh) 2023-08-18
JP6989619B2 (ja) 2022-01-05
WO2019130964A1 (ja) 2019-07-04

Similar Documents

Publication Publication Date Title
JP6989619B2 (ja) 内視鏡画像取得システム及び内視鏡画像取得システムの作動方法
JP6204314B2 (ja) 電子内視鏡システム
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
WO2017145529A1 (ja) 計算システム
JP5634755B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
US20120274754A1 (en) Image processing device, endoscope system, information storage device, and image processing method
JP5222934B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP7125484B2 (ja) 内視鏡システム
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP5757891B2 (ja) 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム
JPWO2019138773A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法及びプログラム
KR20040069332A (ko) 내시경 화상 처리 장치
JP6533180B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US9788709B2 (en) Endoscope system and image generation method to generate images associated with irregularities of a subject
JP2013099509A (ja) 内視鏡システム及び画像生成方法
WO2020054255A1 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法
WO2014156604A1 (ja) 内視鏡システム及びその作動方法並びにプロセッサ装置
JP2012110481A (ja) 内視鏡装置、フォーカス制御方法及びプログラム
JP2015053979A (ja) 撮像システム
JP6120758B2 (ja) 医用システム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
JP7076535B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP6535701B2 (ja) 撮像装置
CN114627045A (zh) 医用图像处理系统、医用图像处理系统的工作方法
JP2017209343A (ja) 制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211202

R150 Certificate of patent or registration of utility model

Ref document number: 6989619

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150