JPWO2018180631A1 - 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 - Google Patents

医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 Download PDF

Info

Publication number
JPWO2018180631A1
JPWO2018180631A1 JP2019509303A JP2019509303A JPWO2018180631A1 JP WO2018180631 A1 JPWO2018180631 A1 JP WO2018180631A1 JP 2019509303 A JP2019509303 A JP 2019509303A JP 2019509303 A JP2019509303 A JP 2019509303A JP WO2018180631 A1 JPWO2018180631 A1 JP WO2018180631A1
Authority
JP
Japan
Prior art keywords
medical image
light
image
observation target
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019509303A
Other languages
English (en)
Other versions
JP6785948B2 (ja
Inventor
正明 大酒
正明 大酒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018180631A1 publication Critical patent/JPWO2018180631A1/ja
Application granted granted Critical
Publication of JP6785948B2 publication Critical patent/JP6785948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

AI(Artificial Intelligence)などの認識処理によって、病変部などの診断を行う場合において、認識処理で得られた認識結果に対する信頼性を高めることができる医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法を提供する。第1の医用画像(80)と、第1の医用画像(80)に対して比較対象となる第2の医用画像とを比較を行う。第2の医用画像のうち、比較の結果に従って選択される特定の医用画像(82)を取得する。モニタは、特定の医用画像(82)に対して施される処理であって観察対象を認識するための認識処理から得られる認識結果(84)を複数表示する。

Description

本発明は、病変部の進行度の鑑別など観察対象の鑑別を支援するための医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法に関する。
医療分野においては、内視鏡画像、X線画像、CT(Computed Tomography)画像、MR(Magnetic Resonanse)画像を用いて、患者の病状の診断や経過観察などの画像診断が行われている。このような画像診断に基づいて、医師などは治療方針の決定などを行っている。しかしながら、医師などの画像診断を行う者の経験が浅い場合や、経験があっても、診断の対象となる画像が珍しい症例であり、得意分野以外のものである場合には、医師が画像診断を確実に行うことが難しい場合がある。
このような状況において、医師などの経験不足等を補うため、診断時に取得した診断時取得画像に合わせて、過去の症例の画像を用いることが行われている。例えば、特許文献1及び特許文献2では、データベースに蓄積した過去症例画像の中から、画像的特徴量の類似度の高い過去症例画像を検索して、それら検索した過去症例画像を表示装置に表示している。
特開2001−325294号公報 特開2004−5364号公報
近年においては、AI(Artificial Intelligence)などの観察対象を機械的に認識するための認識処理によって、観察対象を自動的に診断することが行われつつある。このような認識処理を用いることで、医師の経験不足を補うことができるとともに、主観的な判断を排して、客観的な診断結果を得ることができる。しかしながら、診断に使用する認識処理が、医療現場において一般的でなく、十分な信頼性を獲得していない場合には、認識処理で得られる認識結果が重要視されないことがあると考えられる。したがって、認識処理によって病変部などの診断を行う場合において、認識処理に対する信頼性を高めることが求められていた。
なお、特許文献1及び2においては、過去症例画像とともに診断結果を提示することが記載されているが、診断結果は、医師による主観的な判断に基づいて得られた結果であり、医師によってバラツキがあるものと考えられる。このような医師による診断結果のバラツキを無くすためにも、認識処理で得られる認識結果を用いて、より客観的な診断を行うことが求められていた。
本発明は、AI(Artificial Intelligence)などの認識処理によって、病変部などの診断を行う場合において、認識処理で得られた認識結果に対する信頼性を高めることができる医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法を提供することを目的とする。
本発明の医療用画像処理装置は、医用画像取得部と、医用画像選択部と、表示制御部とを備える。医用画像取得部は、観察対象を撮像部で撮像して得られる第1の医用画像を取得する。医用画像選択部は、第1の医用画像と、第1の医用画像に対して比較対象となる第2の医用画像との比較を行い、第2の医用画像のうち、比較の結果に従って選択される特定の医用画像を取得する。表示制御部は、特定の医用画像に対して施される処理であって観察対象を認識するための認識処理から得られる認識結果を表示部に複数表示する。
医用画像選択部は、第1の医用画像の特徴量と第2の医用画像の特徴量を比較し、特徴量の類似度に従って、特定の医用画像の選択を行うことが好ましい。特徴量は、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報のうち、少なくともいずれか、もしくは、2以上組み合わせた値であることが好ましい。
認識結果は複数種類あり、表示制御部は、種類毎の認識結果の比率を表示部に表示することが好ましい。認識結果は複数種類あり、表示制御部は、認識結果の数を種類毎に表示部に表示することが好ましい。表示制御部は、第2の医用画像に関連付けて記録された結果であってユーザーが観察対象を判断したユーザー認識結果も合わせて表示部に表示することが好ましい。認識結果は、第2の医用画像に関連付けて記録された結果であって、他の医療用画像処理装置で認識処理を行って得られた認識結果を含むことが好ましい。認識結果は、少なくとも観察対象が病変部であることと、観察対象が正常部であることを含むことが好ましい。認識結果は、少なくとも病変の種類を含むことが好ましい。
第2の医用画像は医用画像蓄積部に予め登録されていることが好ましい。第2の医用画像は、撮像部によって、第1の医用画像よりも前のタイミングで撮像して得られることが好ましい。第2の医用画像は、撮像部によって、第1の医用画像よりも後のタイミングで撮像して得られることが好ましい。
第2の医用画像は、特殊光で照明された観察対象を撮像して得られることが好ましい。特殊光は450nm以下の波長域を有することが好ましい。第2の医用画像は、同一の観察対象であって観察対象の拡大率がそれぞれ異なる複数の画像を含むことが好ましい。
本発明の内視鏡システムは、光源装置と、内視鏡と、医用画像取得部と、医用画像選択部と、表示部とを備える。光源装置は、観察対象を照明するための照明光を発生する。内視鏡は、照明光で照明された観察対象を撮像する撮像部を有する。医用画像取得部は、撮像部で観察対象を撮像して得られる第1の医用画像を取得する。医用画像選択部は、第1の医用画像と、第1の医用画像に対して比較対象となる第2の医用画像との比較を行い、第2の医用画像のうち、比較の結果に従って選択される特定の医用画像を取得する。表示部は、特定の医用画像に対して施される処理であって観察対象を認識するための認識処理から得られる認識結果を複数表示する。
本発明の医療用画像処理装置の作動方法は、医用画像取得ステップと、医用画像選択ステップと、表示ステップとを有する。医用画像取得ステップでは、医用画像取得部が、観察対象を撮像部で撮像して第1の医用画像を取得する。医用画像選択ステップでは、医用画像選択部が、第1の医用画像と、第1の医用画像に対して比較対象となる第2の医用画像との比較を行い、第2の医用画像のうち、比較の結果に従って選択される特定の医用画像を取得する。表示ステップでは、表示制御部が、特定の医用画像に対して施される処理であって観察対象を認識するための認識処理から得られる認識結果を表示部に複数表示する。
本発明によれば、AI(Artificial Intelligence)などの認識処理を使用して、病変部などの診断を行う場合において、認識処理で得られた認識結果に対する信頼性を高めることができる。
内視鏡システムの外観図である。 複数のLED光源を備える第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、青色光Bx、緑色光G、赤色光Rの分光スペクトルを示すグラフである。 第1実施形態の通常光の分光スペクトルを示すグラフである。 第1実施形態の特殊光の分光スペクトルを示すグラフである。 医用画像蓄積部を備える鑑別支援モード用処理部の機能を示すブロック図である。 鑑別支援モード用照明光として通常光のみを用いる場合における鑑別支援画像を示す画像図である。 鑑別支援モード用照明光が通常光のみである場合における鑑別支援モードの一連の流れを示すフローチャートである。 第2の医用画像の取得タイミングが第1の医用画像の取得タイミングより前であることを示す説明図である。 第2の医用画像記憶部を備える鑑別支援モード用処理部の機能を示すブロック図である。 第2の医用画像の取得タイミングが第1の医用画像の取得タイミングより後であることを示す説明図である。 鑑別支援モード用照明光が通常光と特殊光である場合における鑑別支援モードの一連の流れを示すフローチャートである。 鑑別支援モード用照明光として通常光と特殊光を用いる場合における鑑別支援画像を示す画像図である。 非拡大観察時の特定の医用画像及びその認識結果と拡大観察時の特定の医用画像及びその認識結果を含む鑑別支援画像を示す画像図である。 レーザ光源と蛍光体を用いて観察対象の照明を行う内視鏡システムの機能を示すブロック図である。 レーザ光源と蛍光体を用いて観察対象の照明を行う内視鏡システムにおける通常光の分光スペクトルを示すグラフである。 レーザ光源と蛍光体を用いて観察対象の照明を行う内視鏡システムにおける特殊光の分光スペクトルを示すグラフである。 白色光光源部と回転フィルタを用いて観察対象の照明を行う内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。
[第1実施形態]
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ13aを操作することにより、湾曲部12cが湾曲動作する。この湾曲動作によって、先端部12dが所望の方向に向けられる。
また、操作部12bには、アングルノブ13aの他、静止画像の取得操作に用いる静止画像取得部13b、観察モードの切り替え操作に用いるモード切替部13c、ズーム倍率の変更操作に用いるズーム操作部13dを設けている。静止画像取得部13bは、モニタ18に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。
内視鏡システム10は、観察モードとして、通常モードと、特殊モードと、鑑別支援モードとを有している。観察モードが通常モードである場合、複数色の光を通常モード用の光量比Lcで合波した通常光を発光するとともに、この通常光で照明中の観察対象を撮像して得られた画像信号に基づき、通常画像をモニタ18に表示する。また、観察モードが特殊モードである場合、複数色の光を特殊モード用の光量比Lsで合波した特殊光を発光するとともに、この特殊光で照明中の観察対象を撮像して得られた画像信号に基づき、特殊画像をモニタ18に表示する。
また、観察モードが鑑別支援モードである場合、鑑別支援モード用照明光を発光する。本実施形態では、鑑別支援モード用照明光として、通常光を発光するが、特殊光を発光するようにしてもよい。この鑑別支援モード用照明光で照明中の観察対象を撮像して得られる画像から、観察対象の鑑別を支援するための鑑別支援画像を生成して、モニタ18に表示する。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール19は、関心領域(ROI : Region Of Interest)の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。
図2に示すように、光源装置14は、観察対象の照明に用いる照明光を発する光源部20と、光源部20を制御する光源制御部22とを備えている。光源部20は、複数色のLED(Light Emitting Diode)等の半導体光源である。光源制御部22は、LED等のオン/オフや、LED等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部22は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
第1実施形態では、光源部20は、V−LED(Violet Light Emitting Diode)20a、B−LED(Blue Light Emitting Diode)20b、G−LED(Green Light Emitting Diode)20c、及びR−LED(Red Light Emitting Diode)20dの4色のLEDと、波長カットフィルタ23とを有している。図3に示すように、V−LED20aは、波長帯域380nm〜420nmの紫色光Vを発する。
B−LED20bは、波長帯域420nm〜500nmの青色光Bを発する。B−LED23bから出射した青色光Bのうち少なくともピーク波長の450nmよりも長波長側は、波長カットフィルタ23によりカットされる。これにより、波長カットフィルタ23を透過した後の青色光Bxは、420〜460nmの波長範囲になる。このように、460nmよりも長波長側の波長域の光をカットしているのは、この460nmよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ23は、460nmよりも長波長側の波長域の光をカットする代わりに、460nmよりも長波長側の波長域の光を減光させてもよい。
G−LED20cは、波長帯域が480nm〜600nmに及ぶ緑色光Gを発する。R−LED20dは、波長帯域が600nm〜650nmに及び赤色光Rを発する。なお、各LED20a〜20dから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
光源制御部22は、各LED20a〜20dの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部22における点灯及び消灯の制御は、観察モードごとに異なっている。なお、基準の明るさは光源装置14の明るさ設定部又はコンソール19等によって設定可能である。
通常モード又は鑑別支援モードの場合、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。その際、図4に示すように、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比Lcは、青色光Bxの光強度のピークが、紫色光V、緑色光G、及び赤色光Rのいずれの光強度のピークよりも大きくなるように、設定されている。これにより、通常モード又は鑑別支援モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む通常モード用又は鑑別支援モード用の多色光が、通常光として、が発せられる。通常光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。
特殊モードの場合、光源制御部22は、V−LED20a、B−LED20b、G−LED20c、及びR−LED20dを全て点灯させる。その際、図5に示すように、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比Lsは、紫色光Vの光強度のピークが、青色光Bx、緑色光G、及び赤色光Rのいずれの光強度のピークよりも大きくなるように、設定されている。また、緑色光G及び赤色光Rの光強度のピークは、紫色光V及び青色光Bxの光強度のピークよりも小さくなるように、設定されている。これにより、特殊モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む特殊モード用の多色光が、特殊光として発せられる。特殊光は、紫色光Vが占める割合が大きいことから、青みを帯びた光となっている。なお、特殊光は、4色全ての光が含まれていなくてもよく、4色のLED20a〜20dのうち少なくとも1色のLEDからの光が含まれていればよい。また、特殊光は、450nm以下に主な波長域、例えばピーク波長又は中心波長を有することが好ましい。
図2に示すように、光源部20が発した照明光は、ミラーやレンズ等で形成される光路結合部(図示しない)を介して、挿入部12a内に挿通したライトガイド24に入射する。ライトガイド24は、内視鏡12及びユニバーサルコードに内蔵され、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド24としては、マルチモードファイバを使用することができる。一例として、ライトガイド24には、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3mm〜φ0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bとを設けている。照明光学系30aは、照明レンズ32を有している。この照明レンズ32を介して、ライトガイド24を伝搬した照明光によって観察対象を照明する。撮像光学系30bは、対物レンズ34と、拡大光学系36と、撮像センサ38(本発明の「撮像部」に対応する)とを有している。これら対物レンズ34及び拡大光学系36を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ38に入射する。これにより、撮像センサ38に観察対象の像が結像する。
拡大光学系36は、観察対象を拡大するズームレンズ36aと、ズームレンズ36aを光軸方向CLに移動させるレンズ駆動部36bとを備えている。ズームレンズ36aは、レンズ駆動部36bによるズーム制御に従って、テレ端とワイド端の間で自在に移動させることで、撮像センサ38に結像する観察対象を拡大又は縮小させる。
撮像センサ38は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ38の各画素には、R(赤色)カラーフィルタ、G(緑色)カラーフィルタ、B(青色)カラーフィルタのいずれかが設けられている。撮像センサ38は、Bカラーフィルタが設けられているB画素で紫色から青色の光を受光し、Gカラーフィルタが設けられているG画素で緑色の光を受光し、Rカラーフィルタが設けられているR画素で赤色の光を受光する。そして、各色の画素から、RGB各色の画像信号を出力する。撮像センサ38は、出力した画像信号を、CDS回路40に送信する。
通常モード又は鑑別支援モードにおいては、撮像センサ38は、通常光が照明された観察対象を撮像することにより、B画素からBc画像信号を出力し、G画素からGc画像信号を出力し、R画素からRc画像信号を出力する。また、特殊モードにおいては、撮像センサ38は、特殊光が照明された観察対象を撮像することにより、B画素からBs画像信号を出力し、G画素からGs画像信号を出力し、R画素からRs画像信号を出力する。
撮像センサ38としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等を利用可能である。また、RGBの原色のカラーフィルタを設けた撮像センサ38の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号を出力する。このため、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ38と同様のRGB各色の画像信号を得ることができる。また、撮像センサ38の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
CDS回路40は、撮像センサ38から受信したアナログの画像信号に、相関二重サンプリング(CDS:Correlated Double Sampling)を行う。CDS回路40を経た画像信号はAGC回路42に入力される。AGC回路40は、入力された画像信号に対して、自動利得制御(AGC:Automatic Gain Control)を行う。A/D(Analog to Digital)変換回路44は、AGC回路42を経たアナログ画像信号を、デジタルの画像信号に変換する。A/D変換回路44は、A/D変換後のデジタル画像信号を、プロセッサ装置16に入力する。
図2に示すように、プロセッサ装置16は、画像信号取得部50(本発明の「医用画像取得部」に対応する)と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理部56と、表示制御部58とを備えている。
画像信号取得部50は、内視鏡12から、観察モードに対応したデジタル画像信号を取得する。通常モード又は鑑別支援モードの場合には、Bc画像信号、Gc画像信号、Rc画像信号を取得する。特殊モードの場合には、Bs画像信号、Gs画像信号、Rs画像信号を取得する。鑑別支援モードの場合には、通常光の照明時に1フレーム分のBc画像信号、Gc画像信号、Rc画像信号を取得し、特殊光の照明時に1フレーム分のBs画像信号、Gs画像信号、Rs画像信号を取得する。
DSP52は、画像信号取得部50が取得した画像信号に対して、欠陥補正処理、オフセット処理、DSP用ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ38の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。DSP用ゲイン補正処理は、オフセット処理した画像信号に特定のDSP用ゲインを乗じることにより信号レベルを整える。
リニアマトリクス処理は、DSP用ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理(等方化処理、又は同時化処理とも言う)を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ低減部54は、DSP52でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。ノイズ低減後の画像信号は画像処理部56に入力される。
画像処理部56は、通常モード用処理部60と、特殊モード用処理部62と、鑑別支援モード用処理部64を備えている。通常モード用処理部60は、通常モードに設定されている場合に作動し、受信したBc画像信号、Gc画像信号、Rc画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、RGB画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(Look Up Table)処理などにより色変換処理を行う。
色彩強調処理は、色変換処理済みのRGB画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後のRGB画像信号に対して行われる。上記のような各種画像処理等を行うことによって、通常画像が得られる。通常画像は、紫色光V、青色光Bx、緑色光G、赤色光Rがバランス良く発せられた通常光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、表示制御部58に入力される。
特殊モード用処理部62は、特殊モードに設定されている場合に作動する。特殊モード用処理部62では、受信したBs画像信号、Gs画像信号、Rs画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常モード用処理部60と同様である。上記のような各種画像処理を行うことによって、特殊画像が得られる。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊光に基づいて得られた画像であるため、血管構造や腺管構造の解像度が他の構造よりも高くなっている。特殊画像は表示制御部58に入力される。
鑑別支援モード用処理部64は、鑑別支援モードに設定されている場合に作動する。鑑別支援モード用処理部64では、受信したBc画像信号、Gc画像信号、Rc画像信号に対して、色変換処理など通常モード用処理部60と同様の画像処理を行う。そして、静止画像取得部13bが操作されたときに得られる観察対象の静止画像を、観察対象の鑑別に用いる第1の医用画像として取得する。この第1の医用画像は、比較対象となる第2の医用画像とを比較し、その比較の結果に基づいて、観察対象の鑑別を支援するための鑑別支援画像を生成する。なお、鑑別支援モード用処理部64の詳細については、後述する。
表示制御部58は、画像処理部56からの画像やデータをモニタ18に表示するための表示制御を行う。通常モードに設定されている場合には、表示制御部58は、通常画像をモニタ18に表示する制御を行う。特殊モードに設定されている場合には、表示制御部58は、特殊画像をモニタ18に表示する制御を行う。鑑別支援モードに設定されている場合には、表示制御部58は、鑑別支援画像をモニタ18に表示する制御を行う。
図6に示すように、鑑別支援モード用処理部64は、特徴量算出部70と、医用画像選択部72と、医用画像蓄積部74と、鑑別支援画像生成部76とを備えている。特徴量算出部70は、第1の医用画像から画像的な特徴量を算出する。特徴量の算出方法としては、Convolutional Neural Networkなどによって取得することが好ましい。また、特徴量としては、観察対象における所定部位の形状、色又はそれら形状や色などから得られる指標値であることが好ましい。例えば、特徴量として、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報の少なくともいずれか、もしくは、それらを2以上組み合わせた値であることが好ましい。
医用画像選択部72は、第1の医用画像と、医用画像蓄積部74に蓄積された第2の医用画像とを比較する比較処理を行うとともに、第2の医用画像の中から、比較結果に従って、特定の医用画像を選択する画像選択処理を行う。なお、医用画像蓄積部74においては、第2の医用画像と、この第2の医用画像の画像的な特徴量とが関連付けて記憶されている。ただし、第2の医用画像の特徴量については、医用画像蓄積部74での容量を抑えるため、第2の医用画像と関連付けて記憶する代わりに、第1の医用画像と比較する毎に、算出するようにしてもよい。また、医用画像蓄積部74においては、第2の医用画像は、この第2の医用画像に対して施される処理であって観察対象を機械的に認識するための認識処理から得られる認識結果と関連付けて記憶されている。この医用画像蓄積部74では、第2の医用画像と、ユーザーが観察対象を主観的に判断したユーザー認識結果も関連付けて記憶させてもよい。この認識結果についても、特徴量と同様、第2の医用画像と関連付けて記憶する代わりに、第1の医用画像と比較する毎に、算出するようにしてもよい。認識処理としては、AI(Artificial Intelligence)などの機械学習処理であることが好ましい。
医用画像選択部72において、比較処理では、第1の医用画像の特徴量と第2の医用画像の特徴量とを比較して、第1の医用画像と第2の医用画像との類似度を算出する。画像選択処理では、特徴量の類似度が特定の条件を満たす第2の医用画像を、特定の医用画像として、選択する。具体的には、第2の医用画像のうち、第1の医用画像との特徴量の類似度が一定以上の第2の医用画像を、特定の医用画像として選択する。
鑑別支援画像生成部76は、図7に示すように、第1の医用画像80とともに、特定の医用画像82と、この特定の医用画像82に関連付けられた認識処理の認識結果84を複数表示した鑑別支援画像86を生成する。この鑑別支援画像86では、第1の医用画像の右隣に、複数の特定の医用画像82及びその認識結果84とが表示されている。また、特定の医用画像82には、それぞれ第1の医用画像の特徴量との類似度も合わせて表示されており、類似度の高い特定の医用画像が、鑑別支援画像86の上側に表示されるようになっている。なお、鑑別支援画像86においては、認識処理の認識結果の他に、ユーザー認識結果も合わせて表示するようにしてもよい。
認識処理の認識結果は複数種類あることが好ましい。例えば、認識結果として、観察対象が病変部又は正常部であること、又は、病変部の種類、タイプ(type)、進行度、スコアを含むことが好ましい。図7に示す鑑別支援画像86においては、病変部の種類を、病変部のタイプ(type)としている。また、認識結果は、内視鏡システム10と異なる別の施設に設けられた他の医療用画像処理装置において、内視鏡システム10での認識処理と同じ又は異なる認識処理を行って得られた認識結果であってもよい。
第1の医用画像と類似度が高い第2の医用画像の認識結果を複数提示することで、第1の医用画像で表示される観察対象の鑑別を確実に行うことができる。これは、第1の医用画像に対して認識処理を行って得られる認識結果を単独で提示するよりも、過去の類似症例で得られた第2の医用画像の認識結果を複数提示したほうが、より確実に鑑別を行うことができるためである。
また、鑑別支援画像86においては、認識結果の種類の比率として、病変部のタイプの比率88(Type2:Type3=1:2)も合わせて表示されている。このように第2の医用画像に対する認識結果の種類の比率を提示することで、第1の医用画像で表示される観察対象の鑑別を行い易くなる。なお、鑑別支援画像86では、認識結果の種類の比率の他、認識結果の数を種類毎に表示することが好ましい。
次に、鑑別支援モードの一連の流れについて、図8に示すフローチャートに沿って説明を行う。モード切替部13cを操作して、鑑別支援モードに切り替える。これにより、観察対象に対して、鑑別支援モード用照明光が照明される。この鑑別支援モード用照明光で照明された観察対象を撮像センサ38で撮像し、観察対象の動画像をモニタ18上に表示する。そして、鑑別対象となる観察対象を検出した場合に、静止画像取得部13bを操作して、観察対象の静止画像として、第1の医用画像を取得する。そして、第1の医用画像から画像的な特徴量を算出する。
次に、医用画像蓄積部74に蓄積されている第2の医用画像の特徴量と、第1の医用画像の特徴量とを比較して、第1の医用画像と第2の医用画像の類似度を算出する。類似度が高い一定以上の第2の医用画像を特定の医用画像として選択する。そして、第1の医用画像とともに、特定の医用画像とその認識結果を複数表示した鑑別支援画像を生成する。生成された鑑別支援画像はモニタ18に表示される。この鑑別支援画像では、複数の特定の医用画像についてそれぞれ認識結果が表示されるとともに、認識結果の種類の比率や数も合わせて表示されるため、観察対象の鑑別を確実に行うことができる。
[第2実施形態]
第1実施形態では、第1の医用画像と比較する画像として、医用画像蓄積部に蓄積した過去の第2の医用画像を用いているが、第2実施形態では、第1の医用画像を取得する場合と同じ内視鏡診断であって、第1の医用画像とは別のタイミングで取得した画像を、第2の医用画像として用いる。具体的には、図9に示すように、第1の医用画像を取得したタイミングよりも前に取得した画像を、第2の医用画像として用いる。第2の医用画像としては、鑑別支援モード以外のモードにおいて、静止画像取得部13bを操作して得られた観察対象の静止画像であること、もしくは、第2の医用画像取得モードにおいて、静止画像取得部13bを操作して得られた観察対象の静止画像であることが好ましい。なお、第2の医用画像取得モードは、鑑別支援画像の生成を行わず、第2の医用画像を取得すること以外は、通常モード又は特殊モードと同様である。
この場合には、図10に示すように、第2の医用画像を取得する毎に、第2の医用画像記憶部81に記憶しておく。そして、鑑別支援モードに切り替えられ、静止画像取得部13bが操作されて、第1の医用画像を取得した時に、第2の医用画像記憶部81に記憶された第2の医用画像と第1の医用画像について特徴量の比較を行い、類似度を算出する。そして、第2の医用画像のうち、特徴量の類似度が特定の条件を満たす特定の医用画像に対して、認識処理部83で認識処理を行って、認識結果を得る。認識結果が得られたら、第1の医用画像とともに、特定の医用画像とその認識結果を複数表示する鑑別支援画像をモニタ18に表示する。
また、図10に示すように、第1の医用画像を取得する場合と同じ内視鏡診断であって、第1の医用画像を取得したタイミングよりも後に取得した画像を、第2の医用画像として用いてもよい。この場合には、鑑別支援モードにおいて、静止画像取得部13bを操作して、第1の医用画像を取得したタイミングでは、第2の医用画像が存在しないため、鑑別支援画像生成、表示を行うことを一時待機させる。第1の医用画像の取得後、静止画像取得部13bを操作して、第2の医用画像を取得した時に、この取得した第2の医用画像と第1の医用画像との比較を行う。この比較に基づいて、鑑別支援画像を生成し、モニタ18に表示を行う。なお、鑑別支援モードにおいて取得した画像のいずれを第1の医用画像又は第2の医用画像とするかは、コンソール19で設定するようにしてもよい。
なお、上記第1及び第2実施形態では、鑑別支援モード用照明光として、通常光を用いているが、これに加えて、特殊光も用いるようにしてもよい。この場合には、図12に示すように、鑑別支援モードにおいて、静止画像取得部13bが操作されたときに、まず、通常光で照明された観察対象を撮像して、第1の医用画像(通常光)を取得する。第1の医用画像(通常光)を取得した後は、第1及び第2実施形態で示したように、第1の医用画像(通常光)の特徴量の算出を行う。そして、第2の医用画像と特徴量の比較を行って類似度を算出するとともに、第2の医用画像の中から、第1の医用画像(通常光)との類似度が特定の条件を満たす特定の医用画像の選択を行う。また、特定の医用画像の認識結果も合わせて取得する。
次に、第1の医用画像(通常光)に基づく特定の医用画像の選択及び認識結果の取得が完了したら、光源制御部22は、通常光に代えて、特殊光を観察対象に照明するように、光源部20を制御する。そして、静止画像取得部13bを操作して、特殊光が照明された観察対象を撮像することにより、第1の医用画像(特殊光)を取得する。第1の医用画像(特殊光)を取得した後は、第1及び第2実施形態で示したように、第1の医用画像(特殊光)の特徴量の算出を行う。そして、第2の医用画像と特徴量の比較を行って類似度を算出するとともに、第2の医用画像の中から、第1の医用画像(特殊光)との類似度が特定の条件を満たす特定の医用画像の選択を行う。また、特定の医用画像の認識結果も合わせて取得する。
そして、次に、第1の医用画像(特殊光)に基づく特定の医用画像の選択及び認識結果の取得が完了したら、第1の医用画像(通常光)に表れる観察対象及び第2の医用画像(特殊光)に表れる観察対象の鑑別を支援するための鑑別支援画像を生成する。この鑑別支援画像90は、図13に示すように、第1の医用画像(通常光)と、その第1の医用画像(通常光)と類似度の高い特定の医用画像が複数表示されるとともに、特定の医用画像にはそれぞれ認識結果が表示されている。また、認識結果については、種類の比率が合わせて表示されている。また、それらに並列して、第1の医用画像(特殊光)と、その第1の医用画像(特殊光)と類似度の高い特定の医用画像が複数表示されるとともに、特定の医用画像にはそれぞれ認識結果が表示されている。
ここで、特殊光により得られた第1の医用画像(特殊光)は、通常光により得られた第1の医用画像(通常光)では確認することができない観察対象を確認することができる。そのため、第1の医用画像(通常光)からは得ることができなかった認識結果であっても、第1の医用画像(特殊光)から得ることができるようになる。したがって、通常光だけでなく特殊光も用いて認識結果の提供を行うことで、通常光のみで観察対象の鑑別を行う場合に比べて、観察対象の鑑別をより確実に行うことができるようになる。なお、特殊光については、1種類だけでなく、複数種類発光し、各種類の特殊光を発光して得られる複数の第1の医用画像(特殊光)から認識処理の認識結果を得るようにしてもよい。
なお、上記第1及び第2実施形態においては、第1の医用画像と比較する第2の医用画像として、同一の観察対象に対して、拡大率が異なる複数の第2医用画像とその認識結果を用いるようにしてもよい。これは、観察対象の拡大率によって、認識結果が異なることがあるためである。例えば、第1の拡大率で観察対象を観察する非拡大観察の場合に、type1の認識結果が得られる場合であっても、第1の拡大率よりも大きい第2の拡大率で観察対象を観察する拡大観察の場合に、type1と異なるtype2の認識結果が得られる場合がある。したがって、この場合には、図14の鑑別支援画像92に示すように、第1の医用画像と類似度の高い特定の医用画像として、非拡大観察の場合に得られる特定の医用画像及びその認識結果だけでなく、拡大観察の場合に得られる特定の医用画像及びその認識結果を表示する。これにより、観察対象の鑑別を確実に行うことができるようになる。なお、観察対象の拡大率は、拡大光学系36に設けられたズームレンズ36aによって変更が可能であるが、内視鏡の先端部12dと観察対象との距離を調整することによっても変更が可能である。
上記第1及び第2実施形態では、4色のLED20a〜20dを用いて観察対象の照明を行っているが、下記に示すように、レーザ光源と蛍光体を用いて観察対象の照明を行ってもよい。以下においては、第1及び第2実施形態と異なる部分のみ説明を行い、第1実施形態と略同様の部分については、説明を省略する。
図15に示すように、内視鏡システム100では、光源装置14の光源部20において、4色のLED20a〜20dの代わりに、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(「445LD」と表記。LDは「Laser Diode」を表す)104と、中心波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(「405LD」と表記)106とが設けられている。これら各光源104、106の半導体発光素子からの発光は、光源制御部108により個別に制御されており、青色レーザ光源104の出射光と、青紫色レーザ光源106の出射光の光量比は変更自在になっている。
光源制御部108は、通常モード又は鑑別支援モードの場合には、青色レーザ光源104を点灯させる。これに対して、特殊モードの場合には、青色レーザ光源104と青紫色レーザ光源106の両方を点灯させるとともに、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御している。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ32の他に、ライトガイド24からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体110を励起させることなく透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ32を介して、観察対象の体内を照明する。
ここで、通常モード又は鑑別支援モードにおいては、主として青色レーザ光が蛍光体110に入射するため、図16に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した通常モード用の広帯域光が、通常光として、観察対象に照明される。この通常光で照明された観察対象を撮像センサ38で撮像することによって、Bc画像信号、Gc画像信号、Rc画像信号からなる通常画像が得られる。また、鑑別支援モードの場合には、通常画像をモニタ18に表示するとともに、静止画像取得部13bが操作されたときに、通常画像の静止画を、第1の医用画像を静止画像として取得する。この第1の医用画像に基づいて、鑑別支援画像の生成及び表示が行われる。
一方、特殊モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体110に入射するため、図17に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した特殊モード用の広帯域光が、特殊光として、観察対象に照明される。この特殊光で照明された観察対象を撮像センサ38で撮像することによって、Bs画像信号、Gs画像信号、Rs画像信号からなる特殊画像が得られる。
なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色〜黄色に励起発光する複数種の蛍光体(例えばYKG系蛍光体、或いはBAM(BaMgAl1017)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
上記第1及び第2実施形態では、4色のLED20a〜20dを用いて観察対象の照明を行っているが、下記に示すように、キセノンランプ等の白色光光源と回転フィルタを用いて観察対象の照明を行ってもよい。また、カラーの撮像センサ38に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。以下においては、第1及び第2実施形態と異なる部分のみ説明を行い、第1及び第2実施形態と略同様の部分については、説明を省略する。
図18に示す内視鏡システム200では、光源装置14において、内視鏡システム10の各LED20a〜20dに代えて、白色光光源部202と、回転フィルタ204と、フィルタ切替部206とが設けられている。また、撮像光学系30bには、カラーの撮像センサ38の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ208が設けられている。また、白色光光源部202と回転フィルタ204との間には絞り203が設けられており、この絞り203は絞り制御部205によって開口部の面積が調整される。
白色光光源部202はキセノンランプや白色LED等であり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、回転軸に近い一番近い内側に設けた内側フィルタ210と、この内側フィルタ210の外側に設けた外側フィルタ212、鑑別支援モード用フィルタ214とを備えている(図19参照)。
フィルタ切替部206は、回転フィルタ204を径方向に移動する。具体的には、フィルタ切替部206は、モード切替部13cにより通常モード又は鑑別支援モードにセットした場合に、内側フィルタ210を白色光の光路に挿入する。フィルタ切替部206は、特殊モードにセットした場合に、外側フィルタ212を白色光の光路に挿入する。
図19に示すように、内側フィルタ210には、周方向に沿って、Bbフィルタ210aと、Gフィルタ210bと、Rフィルタ210cとが設けられている。Bbフィルタ210aは、白色光のうち400〜500nmの波長範囲を持つ広帯域の青色光Bbを透過する。Gフィルタ210bは、白色光のうち緑色光Gを透過する。Rフィルタ210cは、白色光のうち赤色光Rを透過する。したがって、通常モード又は鑑別支援モード時には、回転フィルタ204が回転することで、通常光として、広帯域の青色光Bb、緑色光G、赤色光Rが、観察対象に向けて、順次照射される。
外側フィルタ212には、周方向に沿って、Bnフィルタ212aと、Gnフィルタ212bとが設けられている。Bnフィルタ212aは、白色光のうち400〜450nmの青色狭帯域光Bnを透過する。Gnフィルタ212bは、白色光のうち530〜570nmの緑色狭帯域光Gnを透過する。したがって、特殊モード時には、回転フィルタ204が回転することで、特殊光として、青色狭帯域光、緑色狭帯域光が、観察対象に向けて、順次照射される。
内視鏡システム200では、通常モード時には、広帯域の青色光Bb、緑色光G、赤色光Rで観察対象を照明する毎にモノクロの撮像センサ208で観察対象を撮像する。これにより、広帯域の青色光Bbの照明時にBc画像信号が得られ、緑色光Gの照明時にGc画像信号が得られ、赤色光Rの照明時にRc画像信号が得られる。これらBn画像信号、Gc画像信号とRc画像信号によって、通常画像が構成される。また、鑑別支援モード時には、通常画像を表示するとともに、静止画像取得部13bが操作されたときに、通常画像の静止画を、第1の医用画像として取得する。この第1の医用画像に基づいて、鑑別支援画像の生成及び表示が行われる。
特殊モード時には、青色狭帯域光Bn、緑色狭帯域光Gnで観察対象を照明する毎にモノクロの撮像センサ208で観察対象を撮像する。これにより、青色狭帯域光Bnの照明時にBn画像信号が得られ、緑色狭帯域光Gnの照射時にGn画像信号が得られる。これらBn画像信号とGn画像信号によって、特殊画像が構成される。
なお、上記実施形態では、医用画像として、内視鏡画像を取得する内視鏡システムに対して、本発明の医療用画像処理装置を適用しているが、カプセル内視鏡など、さまざまな内視鏡システムに対して、適用可能であることはいうまでもなく、その他の医用画像として、X線画像、CT画像、MR画像、超音波画像、病理画像、PET(Positron Emission Tomography)画像などを取得する各種医用画像装置に対しても、本発明の医療用画像処理装置の適用は可能である。
上記実施形態において、画像処理部56のような各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a アングルノブ
13b 静止画像取得部
13c モード切替部
13d ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
22 光源制御部
23 波長カットフィルタ
24 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
34 対物レンズ
36 拡大光学系
36a ズームレンズ
36b レンズ駆動部
38 撮像センサ
40 CDS回路
42 AGC回路
44 A/D変換回路
50 画像信号取得部
52 DSP
54 ノイズ低減部
56 画像処理部
58 表示制御部
60 通常モード用処理部
62 特殊モード用処理部
64 鑑別支援モード用処理部
70 特徴量算出部
72 医用画像選択部
74 医用画像蓄積部
76 鑑別支援画像生成部
80 第1の医用画像
81 第2の医用画像記憶部
82 医用画像
83 認識処理部
84 認識結果
86 鑑別支援画像
88 比率
90 鑑別支援画像
92 鑑別支援画像
100 内視鏡システム
104 青色レーザ光源
106 青紫色レーザ光源
108 光源制御部
110 蛍光体
200 内視鏡システム
202 白色光光源部
204 回転フィルタ
205 制御部
206 フィルタ切替部
208 撮像センサ
210 内側フィルタ
210a Bbフィルタ
210b Gフィルタ
210c Rフィルタ
212 外側フィルタ
212a Bnフィルタ
212b Gnフィルタ

Claims (17)

  1. 観察対象を撮像部で撮像して得られる第1の医用画像を取得する医用画像取得部と、
    前記第1の医用画像と、前記第1の医用画像に対して比較対象となる第2の医用画像との比較を行い、前記第2の医用画像のうち、前記比較の結果に従って選択される特定の医用画像を取得する医用画像選択部と、
    前記特定の医用画像に対して施される処理であって前記観察対象を認識するための認識処理から得られる認識結果を表示部に複数表示する表示制御部とを備える医療用画像処理装置。
  2. 前記医用画像選択部は、前記第1の医用画像の特徴量と前記第2の医用画像の特徴量を比較し、前記特徴量の類似度に従って、前記特定の医用画像の選択を行う請求項1記載の医療用画像処理装置。
  3. 前記特徴量は、血管密度、血管形状、血管の分岐数、血管の太さ、血管の長さ、血管の蛇行度、血管の深達度、腺管形状、腺管開口部形状、腺管の長さ、腺管の蛇行度、色情報のうち、少なくともいずれか、もしくは、2以上組み合わせた値である請求項2記載の医療用画像処理装置。
  4. 前記認識結果は複数種類あり、前記表示制御部は、種類毎の前記認識結果の比率を表示部に表示する請求項1ないし3いずれか1項記載の医療用画像処理装置。
  5. 前記認識結果は複数種類あり、前記表示制御部は、前記認識結果の数を種類毎に表示部に表示する請求項1ないし4いずれか1項記載の医療用画像処理装置。
  6. 前記表示制御部は、前記第2の医用画像に関連付けて記録された結果であって、ユーザーが前記観察対象を判断したユーザー認識結果も合わせて前記表示部に表示する請求項1ないし5いずれか1項記載の医療用画像処理装置。
  7. 前記認識結果は、前記第2の医用画像に関連付けて記録された結果であって、他の医療用画像処理装置で認識処理を行って得られた認識結果を含む請求項1ないし6いずれか1項記載の医療用画像処理装置。
  8. 前記認識結果は、少なくとも前記観察対象が病変部であることと、前記観察対象が正常部であることを含む請求項1ないし7いずれか1項記載の医療用画像処理装置。
  9. 前記認識結果は、少なくとも病変の種類を含む請求項1ないし8いずれか1項記載の医療用画像処理装置。
  10. 前記第2の医用画像は医用画像蓄積部に予め登録されている請求項1ないし9いずれか1項記載の医療用画像処理装置。
  11. 前記第2の医用画像は、前記撮像部によって、前記第1の医用画像よりも前のタイミングで撮像して得られる請求項1ないし9いずれか1項記載の医療用画像処理装置。
  12. 前記第2の医用画像は、前記撮像部によって、前記第1の医用画像よりも後のタイミングで撮像して得られる請求項1ないし9いずれか1項記載の医療用画像処理装置。
  13. 前記第2の医用画像は、特殊光で照明された観察対象を撮像して得られる請求項1ないし12いずれか1項記載の医療用画像処理装置。
  14. 前記特殊光は450nm以下の波長域を有する請求項13記載の医療用画像処理装置。
  15. 第2の医用画像は、同一の観察対象であって観察対象の拡大率がそれぞれ異なる複数の画像を含む請求項1ないし14いずれか1項記載の医療用画像処理装置。
  16. 観察対象を照明するための照明光を発生する光源装置と、
    前記照明光で照明された観察対象を撮像する撮像部を有する内視鏡と、
    前記撮像部で前記観察対象を撮像して得られる第1の医用画像を取得する医用画像取得部と、
    前記第1の医用画像と、前記第1の医用画像に対して比較対象となる第2の医用画像との比較を行い、前記第2の医用画像のうち、前記比較の結果に従って選択される特定の医用画像を取得する医用画像選択部と、
    前記特定の医用画像に対して施される処理であって前記観察対象を認識するための認識処理から得られる認識結果を複数表示する表示部とを備える内視鏡システム。
  17. 医用画像取得部が、観察対象を撮像部で撮像して第1の医用画像を取得する医用画像取得ステップと、
    医用画像選択部が、前記第1の医用画像と、前記第1の医用画像に対して比較対象となる第2の医用画像との比較を行い、前記第2の医用画像のうち、前記比較の結果に従って選択される特定の医用画像を取得する医用画像選択ステップと、
    表示制御部が、前記特定の医用画像に対して施される処理であって前記観察対象を認識するための認識処理から得られる認識結果を表示部に複数表示する表示ステップとを有する医療用画像処理装置の作動方法。
JP2019509303A 2017-03-30 2018-03-16 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法 Active JP6785948B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017066671 2017-03-30
JP2017066671 2017-03-30
PCT/JP2018/010568 WO2018180631A1 (ja) 2017-03-30 2018-03-16 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法

Publications (2)

Publication Number Publication Date
JPWO2018180631A1 true JPWO2018180631A1 (ja) 2020-01-09
JP6785948B2 JP6785948B2 (ja) 2020-11-18

Family

ID=63675689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509303A Active JP6785948B2 (ja) 2017-03-30 2018-03-16 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法

Country Status (5)

Country Link
US (1) US11412917B2 (ja)
EP (1) EP3603481B1 (ja)
JP (1) JP6785948B2 (ja)
CN (1) CN110475503A (ja)
WO (1) WO2018180631A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018098465A1 (en) 2016-11-28 2018-05-31 Inventio, Inc. Endoscope with separable, disposable shaft
US12089930B2 (en) 2018-03-05 2024-09-17 Marquette University Method and apparatus for non-invasive hemoglobin level prediction
CN112584746B (zh) * 2018-08-23 2024-08-30 富士胶片株式会社 医用图像处理装置和内窥镜系统
JP2020065685A (ja) * 2018-10-24 2020-04-30 富士フイルム株式会社 内視鏡システム
JP7476800B2 (ja) * 2018-12-13 2024-05-01 ソニーグループ株式会社 医療支援システム、医療支援装置及び医療支援方法
US10957043B2 (en) 2019-02-28 2021-03-23 Endosoftllc AI systems for detecting and sizing lesions
WO2021111756A1 (ja) * 2019-12-02 2021-06-10 富士フイルム株式会社 内視鏡システム、制御プログラム、及び表示方法
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
CN111275041B (zh) * 2020-01-20 2022-12-13 腾讯科技(深圳)有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质
WO2022014235A1 (ja) * 2020-07-14 2022-01-20 富士フイルム株式会社 画像解析処理装置、内視鏡システム、画像解析処理装置の作動方法、及び画像解析処理装置用プログラム
CN116134363A (zh) * 2020-07-21 2023-05-16 富士胶片株式会社 内窥镜系统及其工作方法
JP1687274S (ja) * 2020-08-12 2021-06-07
KR102283673B1 (ko) * 2020-11-30 2021-08-03 주식회사 코어라인소프트 병변 추적 검사에 기반하여 진단 보조 정보의 임계치를 조정하는 의료 영상 판독 지원 장치 및 방법
CN114765073A (zh) * 2021-01-11 2022-07-19 佳能医疗系统株式会社 病例检索装置、病例检索方法以及存储介质
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
WO2023095208A1 (ja) * 2021-11-24 2023-06-01 オリンパス株式会社 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007280229A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2007275216A (ja) * 2006-04-05 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP2008197917A (ja) * 2007-02-13 2008-08-28 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
JP2011217798A (ja) * 2010-04-05 2011-11-04 Fujifilm Corp 電子内視鏡システム
WO2015045576A1 (ja) * 2013-09-26 2015-04-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法及びプロセッサ装置の作動方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325294A (ja) 2000-05-17 2001-11-22 Olympus Optical Co Ltd 類似画像検索方法および類似画像検索装置
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
JP4418400B2 (ja) * 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
JP5128161B2 (ja) * 2007-03-30 2013-01-23 富士フイルム株式会社 画像診断支援装置及びシステム
JP5216429B2 (ja) * 2008-06-13 2013-06-19 富士フイルム株式会社 光源装置および内視鏡装置
CN101373479A (zh) * 2008-09-27 2009-02-25 华中科技大学 一种乳腺x线摄片计算机图像检索方法及系统
JP5599572B2 (ja) * 2009-03-12 2014-10-01 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
JP5541914B2 (ja) 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5603676B2 (ja) * 2010-06-29 2014-10-08 オリンパス株式会社 画像処理装置及びプログラム
JP5865606B2 (ja) 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
WO2013065090A1 (ja) * 2011-11-04 2013-05-10 パナソニック株式会社 類似症例検索装置および類似症例検索方法
WO2013133370A1 (ja) * 2012-03-08 2013-09-12 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
US9256965B2 (en) * 2013-01-30 2016-02-09 Impac Medical Systems, Inc. Method and apparatus for generating a derived image using images of different types
JP2014171511A (ja) * 2013-03-06 2014-09-22 Olympus Corp 被検体観察システム及びその方法
JP6188477B2 (ja) * 2013-08-02 2017-08-30 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
CN103745217B (zh) * 2013-12-31 2017-02-15 北京工业大学 基于图像检索的中医舌色苔色自动分析方法
JP5887367B2 (ja) * 2014-01-30 2016-03-16 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP2015195845A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
CN105023027B (zh) * 2014-04-18 2019-03-05 大连恒锐科技股份有限公司 基于多次反馈机制的现场鞋底痕迹花纹图像检索方法
WO2015165071A1 (en) 2014-04-30 2015-11-05 Google Inc. Identifying entities to be investigated using storefront recognition
US10599810B2 (en) * 2014-06-04 2020-03-24 Panasonic Corporation Control method and recording system
US10216762B2 (en) * 2014-06-04 2019-02-26 Panasonic Corporation Control method and non-transitory computer-readable recording medium for comparing medical images
JP6392570B2 (ja) * 2014-07-11 2018-09-19 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム
CN105320705B (zh) * 2014-08-05 2018-09-14 北京大学 相似车辆的检索方法及装置
JP6027065B2 (ja) * 2014-08-21 2016-11-16 富士フイルム株式会社 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
CN104462481A (zh) * 2014-12-18 2015-03-25 浪潮(北京)电子信息产业有限公司 一种基于颜色和形状的综合图像检索方法
CN104899891B (zh) * 2015-06-24 2019-02-12 重庆金山科技(集团)有限公司 一种识别孕囊组织的方法、装置及宫腔吸引装置
CN105045818B (zh) * 2015-06-26 2017-07-18 腾讯科技(深圳)有限公司 一种图片的推荐方法、装置和系统
CN105488478B (zh) * 2015-12-02 2020-04-07 深圳市商汤科技有限公司 一种人脸识别系统和方法
CN105930515A (zh) * 2016-05-18 2016-09-07 成都九十度工业产品设计有限公司 一种图像检索系统和方法
CN106021542A (zh) * 2016-05-26 2016-10-12 珠海市魅族科技有限公司 一种图片显示方法及图片服务器、终端
CN106295687A (zh) * 2016-08-02 2017-01-04 安徽翰智文化科技有限公司 一种智能书法临摹方法及系统
JP6743662B2 (ja) * 2016-11-15 2020-08-19 コニカミノルタ株式会社 動態画像処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007275216A (ja) * 2006-04-05 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP2007280229A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2008197917A (ja) * 2007-02-13 2008-08-28 Fuji Xerox Co Ltd 画像処理装置及び画像処理プログラム
JP2011217798A (ja) * 2010-04-05 2011-11-04 Fujifilm Corp 電子内視鏡システム
WO2015045576A1 (ja) * 2013-09-26 2015-04-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法及びプロセッサ装置の作動方法

Also Published As

Publication number Publication date
EP3603481A1 (en) 2020-02-05
US11412917B2 (en) 2022-08-16
WO2018180631A1 (ja) 2018-10-04
CN110475503A (zh) 2019-11-19
US20200022560A1 (en) 2020-01-23
EP3603481B1 (en) 2023-05-03
JP6785948B2 (ja) 2020-11-18
EP3603481A4 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
US11033175B2 (en) Endoscope system and operation method therefor
JP6243364B2 (ja) 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2020036109A1 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN111107778B (zh) 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置
US11064864B2 (en) Processor device, endoscope system, and method of operating processor device
EP3520670B1 (en) Endoscope system and method for operating same
US20230027950A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
US20230029239A1 (en) Medical image processing system and method for operating medical image processing system
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
US11627864B2 (en) Medical image processing apparatus, endoscope system, and method for emphasizing region of interest
US20230101620A1 (en) Medical image processing apparatus, endoscope system, method of operating medical image processing apparatus, and non-transitory computer readable medium
US20220117474A1 (en) Image processing apparatus, endoscope system, and operation method of image processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201027

R150 Certificate of patent or registration of utility model

Ref document number: 6785948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250