WO2019059059A1 - 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置 - Google Patents

医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置 Download PDF

Info

Publication number
WO2019059059A1
WO2019059059A1 PCT/JP2018/033756 JP2018033756W WO2019059059A1 WO 2019059059 A1 WO2019059059 A1 WO 2019059059A1 JP 2018033756 W JP2018033756 W JP 2018033756W WO 2019059059 A1 WO2019059059 A1 WO 2019059059A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
specific
image
light emission
specific light
Prior art date
Application number
PCT/JP2018/033756
Other languages
English (en)
French (fr)
Inventor
青山 達也
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP18857613.6A priority Critical patent/EP3685731B1/en
Priority to JP2019543581A priority patent/JP6924837B2/ja
Priority to CN201880061401.4A priority patent/CN111107778B/zh
Publication of WO2019059059A1 publication Critical patent/WO2019059059A1/ja
Priority to US16/824,629 priority patent/US11439297B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs

Abstract

ユーザーによる操作態様や診断目的などによって変化する観察状況に合わせて、病変部などの注目領域を確実に検出し、且つ、観察対象を把握し易くすることができる医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置を提供する。 撮像部は、白色光によって照明中の観察対象を撮像して白色光画像を取得し、特定光によって照明中の前記観察対象を撮像して特定光画像を取得する。光源制御部は、撮像部の移動速度、ズーム情報、又は発光量のうち少なくとも一つに応じて、1発光サイクルにおける前記白色光の発光フレームの数と前記特定光の発光フレームの数を制御する。

Description

医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
 本発明は、観察対象を観察するための白色光と病変部などの注目領域を検出するための特定光とを用いる医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置に関する。
 現在の医療分野においては、観察対象の診断において、医療画像を用いる医療画像処理システムが普及している。医療画像処理システムの中でも、内視鏡システムにおいては、観察対象に対して照明光を照射し、観察対象を撮像することにより、医療画像の一つである内視鏡画像を取得している。取得した内視鏡画像は、モニタなどの表示部に表示され、観察対象の診断に用いられる。
 また、近年の内視鏡システムにおいては、短波の狭帯域光を含む特定の波長帯域を有する特定光を観察対象に照明して、観察対象上の病変部の視認性を向上することによって、病変部の検出をし易くすることも行われている。ただし、特定光により得られる特定光画像は、疑似カラーなど観察対象の色と異なる色で表示されるため、ユーザーにとっては、通常観察に用いられる白色光画像と比較して、見慣れていない場合も多い。そこで、特許文献1では、特定光画像から病変領域を検出し、検出した病変領域を白色光画像で強調表示することで、見慣れた白色光画像上で病変領域を観察できるようにしている。
特開2011-135983号公報
 内視鏡観察においては、ユーザーによる操作態様や診断目的などに応じて、観察対象に対する観察状況が変化している。例えば、病変部が無い領域や、病変確認が容易な領域などでは、内視鏡の移動速度が速くなる一方で、病変部の疑いがある領域や、病変確認が困難な領域などでは、内視鏡の移動速度が遅くなる。また、病変部を検出した場合などにおいては、内視鏡のズームを使用して、病変と思われる領域を拡大することも行われている。また、スクリーニング時のように、観察対象から離れている場合には光量が低い状態で観察が行われる一方、病変部を鑑別する場合など観察対象に近い場合には光量が高い状態で観察が行われる。
 ここで、特許文献1のように、特定光に基づく特定光画像から検出した病変領域を、白色光画像上で観察する場合には、上記のように、内視鏡の移動速度、ズームの使用の有無、光量などの観察状況が変化すると、特定光画像から病変部を検出することができないことがあり、また、白色光画像上で観察対象を把握しにくくなることがあった。
 例えば、白色光と特定光を切り替えて観察対象に照明する場合には、白色光のフレームレートが落ちて、コマ落ちしたような観察画像になることがあった。また、観察対象の撮像にCMOSイメージセンサを用いた場合には、ローリングシャッターの影響により、フレームレートの低下が顕著となる。更には、観察画像のコマ落ちを抑えるため、特定光の発光フレームの比率を落とした場合には、病変部を検出できるタイミングが減り、病変部を見落とす可能性がある。特に、内視鏡では、同じ場所でも微妙な撮影角度や距離の違いにより見え方が変わるため、特定光の発光フレームの比率を落とすことで、病変部を見逃す可能性が高くなる。
 本発明は、ユーザーによる操作態様や診断目的などによって変化する観察状況に合わせて、病変部などの注目領域を確実に検出し、且つ、観察対象を把握し易くすることができる医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置を提供することを目的とする。
 本発明の医療画像処理システムは、光源部と、撮像部と、観察状況取得部と、光源制御部とを備える。光源部は、白色光、又は、白色光と異なるスペクトルを有する特定光を発光する。撮像部は、白色光によって照明中の観察対象を撮像して白色光画像を取得し、特定光によって照明中の観察対象を撮像して特定光画像を取得する。観察状況取得部は、撮像部の移動速度、観察対象を拡大するズームに関するズーム情報、又は、白色光又は特定光の発光量のうち少なくとも一つを取得する。光源制御部は、撮像部の移動速度、ズーム情報、又は、白色光又は特定光の発光量のうち少なくとも一つに応じて、1発光サイクルにおける白色光の発光フレームの数と特定光の発光フレームの数を制御する。さらに、特定光画像から注目領域を検出する注目領域検出処理を行う注目領域検出部と、白色光画像に対して、注目領域検出部での検出結果を反映させた注目領域表示用画像を表示する表示部とを備えることが好ましい。
 光源制御部は、ズーム使用時は、特定光の発光フレームの数を白色光の発光フレームの数よりも多くする制御を行い、前記ズーム不使用時は、前記白色光の発光フレームの数を前記特定光の発光フレームの数よりも多くする制御を行うことが好ましい。光源制御部は、撮像部の移動速度が速度用閾値を超える場合には、白色光の発光フレームの数を特定光の発光フレームの数よりも多くする制御を行い、撮像部の移動速度が速度用閾値以下になる場合には、特定光の発光フレームの数を白色光の発光フレームの数よりも多くする制御を行うことが好ましい。光源制御部は、白色光又は特定光の発光量が発光量用閾値を超える場合には、白色光の発光フレームの数を特定光の発光フレームの数よりも多くする制御を行い、白色光又は特定光の発光量が発光量用閾値以下になる場合には、特定光の発光フレームの数を白色光の発光フレームの数よりも多くする制御を行うことが好ましい。
 複数の特定光の発光フレームから複数の特定光画像を取得し、各特定光画像に対して注目領域検出処理を行った場合には、各特定光画像に対する注目領域検出処理の検出結果に基づいて、白色光画像上に反映させるための特定光検出結果を決定する特定光検出結果決定部を有することが好ましい。特定光検出結果決定部は、複数の特定光画像から、観察対象の同一領域に対して、注目領域検出有りの結果と、注目領域検出無しの結果が得られた場合には、注目領域検出有りの結果の数と注目領域検出無しの結果の数に基づく多数決により、特定光検出結果として、注目領域検出有りの結果又は注目領域検出無しの結果のいずれかを決定することが好ましい。
 注目領域に含まれる観察対象を鑑別する鑑別処理を行う鑑別部を有し、鑑別処理の結果は表示部に表示されることが好ましい。複数の特定光の発光フレームから複数の特定光画像を取得し、各特定光画像に対して注目領域検出処理を行い、注目領域検出処理で検出された各注目領域に対して鑑別処理を行う場合には、各注目領域に対する鑑別処理の結果に基づいて、表示部に表示させるための特定光鑑別結果を決定する鑑別結果決定部を有することが好ましい。
 鑑別処理の結果は、観察対象の状態に応じて定められるステージで表され、鑑別結果決定部は、同一の注目領域に対して、ステージが異なる複数の鑑別処理の結果が得られた場合は、複数の鑑別処理の結果に基づく多数決により、特定光鑑別結果としてのステージを決定することが好ましい。鑑別処理の結果は、観察対象の状態に応じて定められるステージで表され、鑑別結果決定部は、同一の注目領域に対して、ステージが異なる複数の鑑別処理の結果が得られた場合は、複数の鑑別処理の結果の平均化を行うことにより、特定光鑑別結果としてのステージを決定することが好ましい。
 光源部は、鑑別処理を行う場合には、特定光に代えて又は加えて、鑑別用照明光を発光することが好ましい。鑑別用照明光のピーク波長には410nmが含まれることが好ましい。特定光のピーク波長には450nmが含まれることが好ましい。
 本発明の内視鏡システムは、光源部と、内視鏡と、観察状況取得部と、光源制御部とを備える。光源部は、白色光、又は、白色光と異なるスペクトルを有する特定光を発光する。内視鏡は、白色光によって照明中の観察対象を撮像して白色光画像を取得し、特定光によって照明中の観察対象を撮像して特定光画像を取得する撮像部を有する。観察状況取得部は、内視鏡の移動速度、観察対象を拡大するズームに関するズーム情報、又は、白色光又は特定光の発光量のうち少なくとも一つを含む観察状況を取得する。光源制御部は、内視鏡の移動速度、ズーム情報、又は、白色光又は特定光の発光量のうち少なくとも一つに応じて、白色光の発光フレームと特定光の発光フレームとの比率を制御する。さらに、特定光画像から注目領域を検出する注目領域検出処理を行う注目領域検出部と、白色光画像に対して、注目領域検出部での検出結果を反映させた注目領域表示用画像を表示する表示部とを備えることが好ましい。
 本発明の診断支援装置は、上記記載の本発明の医療画像処理システムを有する。本発明の医療業務支援装置は、上記記載の本発明の医療画像処理システムを有する。
 本発明によれば、ユーザーによる操作態様や診断目的などによって変化する観察状況に合わせて、病変部などの注目領域を確実に検出し、且つ、観察対象を把握し易くすることができる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 第1の発光パターンを示す説明図である。 1発光サイクルにおける特定光の発光フレームの数が白色光の発光フレームの数よりも大きい第2の発光パターンを示す説明図である。 1発光サイクルにおける白色光の発光フレームの数と特定光の発光フレームの数が同じである第2の発光パターンを示す説明図である。 白色光と鑑別用照明光を発光する第2の発光パターンを示す説明図である。 画像処理部の機能を示すブロック図である。 注目領域ROIが重畳表示された白色光画像を示す画像図である。 多数決により特定光検出結果を決定することを示す説明図である。 注目領域ROIが重畳表示された白色光画像と鑑別結果を示す画像図である。 多数決により特定光鑑別結果を決定することを示す説明図である。 平均化により特定光鑑別結果を決定することを示す説明図である。 特殊モードの一連の流れを示すフローチャートである。 複数のLEDを備える光源部を示すブロック図である。 複数のLEDを発光して得られる白色光のスペクトルを示すグラフである。 複数のLEDを発光して得られる特定光のスペクトルを示すグラフである。 レーザ光源を備える光源部と蛍光体を示すブロック図である。 レーザ光源及び蛍光体を用いて発光する白色光のスペクトルを示すグラフである。 レーザ光源及び蛍光体を用いて発光する特定光のスペクトルを示すグラフである。 広帯域光源及び回転フィルタを備える光源部を示すブロック図である。 回転フィルタを示す平面図である。 診断支援装置を示すブロック図である。 医療業務支援装置を示すブロック図である。
 [第1実施形態]
 図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19と、を備える。内視鏡12は、観察対象である観察対象に照明光を照射し、照明光で照射された観察対象を撮像する。光源装置14は、観察対象に照射するための照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18は、プロセッサ装置16から出力された画像を表示する表示部である。ユーザーインターフェース19は、プロセッサ装置16等への設定入力等を行う入力デバイスであり、キーボードKBやマウスMSなどから構成される。
 内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dと、を有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。湾曲部12cが湾曲することにより、先端部12dが所望の方向に向く。先端部12dには、観察対象に向けて空気や水等を噴射する噴射口(図示しない)が設けられている。
 また、操作部12bには、アングルノブ12eの他、ズーム操作部13が設けられている。ズーム操作部13を操作することによって、観察対象を拡大または縮小して撮像することができる。また、挿入部12aから先端部12dにわたって、処置具などを挿通するための鉗子チャンネル(図示しない)が設けられている。処置具は、鉗子入口12fから鉗子チャンネル内に挿入される。
 図2に示すように、光源装置14は、光源部20と、光源制御部22と、を備える。光源部20は、観察対象を照明するための照明光を発光する。光源部20は、1又は複数の光源を備えており、白色光、又は、白色光と異なるスペクトルを有する特定光を含む複数の照明光を発光する。具体的には、光源部20は、青色帯域、緑色帯域、及び赤色帯域を有する白色光、又は、ピーク波長に450nmが含まれる特定帯域を有する特定光を発光する。光源部20には、白色光の発光量、又は特定光の発光量を測定する発光量測定部21が設けられている。これら白色光の発光量又は特定光の発光量に関する情報は、光源制御部22に送られる。なお、本発明の「観察状況取得部」は、「発光量測定部21」に対応する。
 光源制御部22は、光源部20の駆動を制御する。光源制御部22は、光源部20を構成する光源の点灯または消灯のタイミング、及び、点灯時の発光量等をそれぞれ独立に制御する。その結果、光源部20は、発光量や発光タイミングが異なる複数種類の照明光を発光することができる。光源装置14においては、光源部20の発光を制御するための発光モードとして、白色光を発光する通常モードと、白色光と特定光とを、特定の発光パターンに従って、自動で切り替えて発光を行う特殊モードとを備えている。
 特殊モードに設定されている場合には、光源制御部22は、内視鏡12の移動速度、ズーム情報、又は、白色光又は特定光の発光量に応じて、特定の発光パターンを設定する。例えば、内視鏡12の移動速度が速度用閾値を超える場合には、特定の発光パターンとして、1発光サイクルにおいて、白色光の発光フレームの数を特定光の発光フレームの数よりも多くする第1の発光パターンを設定し、この第1の発光パターンに基づいて、光源制御部22は発光制御を行う。ここで、1発光サイクルは、特定数の発光フレームからなり、白色光を発光する発光フレームと特定光を発光する発光フレームとが含まれる。
 このように、内視鏡12の移動速度が速度用閾値を超える場合には、病変がない、あるいは病変確認が容易な領域を観察している状況下で、病変部を検出する必要性が低いと考えられるため、特定光の発光フレームの数を小さくする第1の発光パターンを設定するようにしている。なお、1発光サイクル当たりの発光フレーム数(白色光の発光フレームの数と特定光の発光フレームの数の合計)は、固定でもよく、特定のフレーム数変更条件に応じて、変化するようにしてもよい。例えば、1発光フレーム当たりの発光フレーム数が9フレームの場合には、特定のフレーム数変更条件を満たしたときに、1発光フレーム当たりの発光フレーム数を5に変化させる。
 例えば、図3に示すように、第1の発光パターンとして、1発光サイクルにおいて、白色光の発光フレームの数を「9」、特定光の発光フレームの数を「1」とした場合には、白色光が連続して「9」フレーム分だけ発光した後に、特定光が「1」フレーム分だけ発光される。なお、第1の発光パターンを設定する場合としては、「ズーム不使用」である場合や、白色光又は特定光の発光量が発光量用閾値を超える場合がある。このような場合においても、内視鏡12の移動速度が速度用閾値を超えている場合と同様、病変がない、あるいは病変確認が容易な領域を観察している状況下で、病変部を検出する必要性が低いと考えられるため、第1の発光パターンを設定するようにしている。
 また、内視鏡12の移動速度が速度用閾値以下となる場合には、特定の発光パターンとして、1発光サイクルにおいて、特定光の発光フレームの数を白色光の発光フレームの数よりも多くする又は同じにする第2の発光パターンを設定し、この第2の特定発光パターンに基づいて、光源制御部22は発光制御を行う。このように、内視鏡12の移動速度が速度用閾値以下になる場合には、病変が有る可能性があり、あるいは病変を検出して精査している状況下で、病変部を検出する必要性が高いと考えられるため、特定光の発光フレームの数を大きくする第2の発光パターンを設定するようにしている。
 例えば、図4に示すように、第2の発光パターンとして、1発光サイクルにおいて、白色光の発光フレームの数を「1」、特定光の発光フレームの数を「3」とした場合には、白色光が「1」フレーム分だけ発光した後に、特定光が連続して「3」フレーム分だけ発光される。なお、第2の発光パターンを設定する場合としては、「ズーム使用中」である場合や、白色光又は特定光の発光量が発光量用閾値以下となる場合がある。このような場合においても、内視鏡12の移動速度が速度用閾値以下になる場合と同様、病変が有る可能性があり、あるいは病変を検出して精査している状況下で、病変部を検出する必要性が高いと考えられるため、第2の発光パターンを設定するようにしている。
 なお、白色光又は特定光の発光量が発光量用閾値以下となったものの、「ズーム不使用」である場合には、白色光の発光フレームの数と特定光の発光フレームの数とを同じにする第2の発光パターンに設定することが好ましい。例えば、図5に示すように、第2の発光パターンとして、1発光サイクルにおいて、白色光の発光フレームの数を「1」、特定光の発光フレームの数を「1」とした場合には、白色光と特定光が1フレーム毎に交互に発光される。なお、第2の発光パターンにおいては、「ズーム使用中」でズーム倍率が高くなるほど、1発光サイクルにおける特定光の発光フレームの数を大きくすることが好ましい。
 また、白色光又は特定光の発光量が発光量用閾値以下となり、且つ、「ズーム使用中」となった場合には、後述する鑑別部78による鑑別処理を行う可能性があることから、特定光の発光フレームの数を白色光の発光フレームの数よりも大きくする又は同じにすることに加えて、ピーク波長に450nmが含まれる特定光から、ピーク波長に410nmが含まれる鑑別用照明光に切り替えることが好ましい。図6では、1発光サイクルにおいて、白色光の発光フレームの数を「1」、鑑別用照明光の発光フレームの数を「3」としている。ここで、特定光は、スクリーニング時のように、病変部の検出(病変部の拾い上げ)に適している一方、鑑別用照明光は、血管構造や腺管構造などの表面構造を鮮明に照明することができるため、病変部の鑑別に適している。したがって、ズームの使用により、病変部などを拡大して観察を行う場合には、特定光から鑑別用照明光に切り替えて照明することが好ましい。なお、特定光から鑑別用照明光に切り替えることなく、特定光に加えて、鑑別用照明光を発光するようにしてもよい。
 図2に示すように、光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード(図示しない)内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド41としては、マルチモードファイバを使用できる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用できる。
 内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が観察対象に向けて出射する。撮像光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有している。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、観察対象から戻る照明光の反射光等(反射光の他、散乱光、観察対象が発する蛍光、または、観察対象に投与等した薬剤に起因した蛍光等を含む)を用いて観察対象を撮像する。
 ズームレンズ47は、ズーム操作部13の操作をすることで移動し、イメージセンサ48を用いて撮像する観察対象を拡大または縮小する。ズームレンズ47により観察対象を拡大するズームに関するズーム情報は、ズーム情報出力部49から、光源装置14の光源制御部22に送られる。ズーム情報としては、例えば、ズームレンズ47がワイド端に位置して、観察対象を拡大していない場合には、「ズーム不使用」とされる。一方、ズームレンズ47がワイド端からテレ端側に移動して、観察対象を拡大している場合には、「ズーム使用中」とされる。また、ズーム情報には、「ズーム使用中」において、ズームレンズ47のズーム倍率に関する情報も含まれる。
 イメージセンサ48は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光を透過する。赤色カラーフィルタは、主として赤色の光を透過する。上記のように原色系のイメージセンサ48を用いて観察対象を撮像すると、最大で、B画素から得るB画像(青色画像)、G画素から得るG画像(緑色画像)、及び、R画素から得るR画像(赤色画像)の3種類の画像を同時に得ることができる。
 なお、イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて観察対象を順次撮像することにより、上記各色の画像を得ることができる。
 プロセッサ装置16は、中央制御部52と、画像取得部54と、画像処理部61と、表示制御部66とを有する。中央制御部52は、照明光の照射タイミングと撮像のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。また、ユーザーインターフェース19等を用いて、各種設定の入力等をした場合には、中央制御部52は、入力された各種設定を、光源制御部22、イメージセンサ48、または画像処理部61等の内視鏡システム10の各部に入力する。
 画像取得部54は、イメージセンサ48から、観察対象を撮像した画像を取得する。この画像取得部54で取得する画像は、内視鏡12のような医療用装置により得られた画像であることから、医療画像と称する。画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した医療画像に必要に応じて各種処理を施す。DSP56は、取得した医療画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
 欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。
 なお、イメージセンサ48がカラーセンサである場合には、デモザイク処理が行われる。デモザイク処理(等方化処理や同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して(イメージセンサ48において他の色の画素を配置しているため)、画素値がない画素である。例えば、B画像はB画素において観察対象を撮像して得る画像なので、G画素やR画素に対応する位置の画素には画素値がない。デモザイク処理は、B画像を補間して、イメージセンサ48のG画素及びR画素の位置にある画素の画素値を生成する。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
 ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
 画像処理部61は、画像取得部54が取得した医療画像に対して各種の画像処理を施す。画像処理部61においては、通常モードと特殊モードで施される画像処理の種類は異なっている。通常モードでは、白色光の照明時に得られた医療画像に対して、白色光に対応する画像処理(白色光画像処理)を医療画像に施すことによって、白色光画像を生成する。また、特殊モードでは、白色光の照明時に得られた医療画像に対して、白色光に対応する画像処理(白色光画像処理)を施すことによって、白色光画像を生成する。一方、特定光の照明時に得られた医療画像である特定光画像から注目領域を検出し、検出した注目領域に対して病変に関する鑑別処理を行う。注目領域の検出と鑑別処理の詳細については後述する。そして、注目領域の検出結果と鑑別処理の結果は白色光画像に反映することによって、注目領域表示用画像が生成される。表示制御部66は、画像処理部61から送られる白色光画像又は注目領域表示用画像を用い、モニタ18での表示に適した形式に変換してモニタ18に出力する。これにより、モニタ18には、白色光画像又は注目領域表示用画像が表示される。
 図7に示すように、画像処理部61は、白色光画像処理部70と、移動速度算出部72と、注目領域検出部74と、特定光検出結果決定部76と、鑑別部78と、鑑別結果決定部80とを備えている。白色光画像処理部70は、通常モード又は特殊モードにおいて白色光の照明時に得られる医療画像に対して、白色光に対応する画像処理である白色光画像処理を施す。これにより、白色光画像が得られる。なお、白色光画像処理には、観察対象の色に近づけるための色調整処理の他、観察対象上の構造物を強調する構造強調処理が含まれる。
 移動速度算出部72は、白色光画像又は特定光画像のいずれかを用いて、内視鏡12の移動速度を算出する。算出された内視鏡12の移動速度は、光源装置14の光源制御部22に送られる。内視鏡12の移動速度とは、ユーザーが内視鏡12の挿入部12aを管腔内に押し込む又は引き込むその他の内視鏡12の操作によって、イメージセンサ48(本発明の「撮像部」に対応する)が内蔵された内視鏡12の先端部が移動する速度のことをいう。移動速度の算出方法としては、例えば、画像取得タイミングが異なる複数の白色光画像又は特定光画像から移動ベクトルを算出し、移動ベクトルに基づいて、内視鏡12の移動速度を算出する。内視鏡12の移動速度は、移動ベクトルが大きくなる程、速くなる。なお、本発明の「観察状況取得部」は、「移動速度算出部72」に対応する。
 注目領域検出部74は、特定光画像から検査または診断の対象として注目すべき注目領域を検出する注目領域検出処理を行う。注目領域検出処理においては、特定光画像から特徴量を算出し、算出した特徴量が、特定の範囲に入っている領域を注目領域として検出する。検出した注目領域については、図8に示すように、矩形上の領域ROIとして、白色光画像上に表示される。なお、注目領域検出部74により検出する注目領域は、観察対象の表面など2次元の領域に限られない。例えば、観察対象の表面に加えて、観察対象の深さ方向(浸潤)の3次元の領域を、注目領域として検出するようにしてもよい。
 ここで、特徴量としては、後述する血管に関する血管指標値や、腺管構造に関する腺管指標値であってもよい。また、特徴量としては、例えば、特定光画像に対してConvolutional Neural Networkを行うことの他、特定光画像の色情報、画素値の勾配等で得られる特徴量を用いてもよい。なお、画素値の勾配等は、例えば、被写体の形状(粘膜の大局的な起伏または局所的な陥凹もしくは隆起等)、色(炎症、出血、発赤、または萎縮に起因した白化等の色)、組織の特徴(血管の太さ、深さ、密度、もしくはこれらの組み合わせ等)、または、構造の特徴(ピットパターン等)等によって、変化が表れる。
 また、注目領域検出部74で検出される注目領域は、例えば、がんに代表される病変部、良性腫瘍部、炎症部(いわゆる炎症の他、出血または萎縮等の変化がある部分を含む)、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査(いわゆる生検)を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域(ヒダ(襞)の裏、管腔奥のため観察光が届きにくい領域)など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。内視鏡システム10においては、注目領域検出部74は、病変部、良性腫瘍部、炎症部、マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域として検出する。
 ここで、1発光サイクルにおいて、特定光の発光フレームが「1」で、1の特定光画像が得られた場合には、1の特定光画像から検出される注目領域を白色光画像にそのまま重畳表示する。一方、1発光サイクルにおいて、特定光の発光フレームが複数で、複数の特定光画像が得られた場合には、各特定光画像に対して注目領域検出処理を行い、これら各特定光画像に対する注目領域検出処理の結果に基づいて、白色光画像に反映させるための特定光検出結果を決定することが好ましい。このように複数の注目領域の検出結果から1の特定光検出結果を決定するようにすることで、白色光又は特定光の発光量が低いような場合であっても、ノイズに対するロバスト性を確保することができる。なお、特定光検出結果を決定するための検出結果処理は、特定光検出結果決定部76において行われる。この特定光検出結果決定部76にて決定された特定光検出結果が白色光画像に反映される。
 特定光検出結果決定部76は、1発光サイクルにおける複数の特定光画像から、同一の領域に対して、注目領域検出有りの結果と、注目領域検出無しの結果の両方が得られた場合には、注目領域検出有りの結果の数と注目領域の検出無しの結果の数に基づく多数決により、注目領域検出有りの結果又は注目領域検出無しの結果のいずれかを、特定光検出結果として決定する。
 例えば、図9に示すように、1発光サイクルにおいて5つの特定光画像が得られた場合において、同一の領域に対して、注目領域検出有りの結果を有する特定光画像が「3」、注目領域検出無しの結果を有する特定光画像が「2」である場合には、多数決により、注目領域検出有りの結果を特定光検出結果として決定する。なお、注目領域検出有りの結果の数と注目領域検出無しの結果の数とが同じである場合には、注目領域検出有りの結果を特定光検出結果とすることが好ましい。
 鑑別部78は、注目領域検出部74で検出された注目領域から各種指標値を算出し、算出した各種指標値に基づいて、注目領域に含まれる観察対象を鑑別する鑑別処理を行う。各種指標値としては、血管密度や血管走行パターンなどの血管に関する血管指標値や、腺管構造に関する腺管指標値などが含まれる。鑑別処理の結果としては、例えば、病変部の進行度(ステージ)などが挙げられる。鑑別処理の結果は、図10に示すように、注目領域ROIに対応づけられてモニタ18に表示される(図10では「ステージ2」)。
 ここで、1発光サイクルにおいて、特定光の発光フレームが「1」で、1の特定光画像から検出された1の注目領域に対して、鑑別処理が行われた場合には、その鑑別処理の結果に表示する。一方、1発光サイクルにおいて、特定光の発光フレームが複数で、複数の特定光画像からそれぞれ注目領域を検出した場合には、各注目画像に対して鑑別処理を行い、これら各注目領域に対する鑑別処理の結果に基づいて、モニタ18に表示させるための特定光鑑別結果を決定することが好ましい。このような複数の鑑別処理の結果から1の特定光鑑別結果を決定するようにすることで、白色光又は特定光の発光量が低いような場合であっても、ノイズに対するロバスト性を確保することができる。なお、特定光鑑別結果を決定するための鑑別結果処理は、鑑別結果決定部80において行われる。この鑑別結果決定部80にて決定された特定光鑑別結果が、注目領域ROIが重畳表示された白色光画像とともに、モニタ18に表示される。
 鑑別結果決定部80は、1発光サイクルにおける複数の特定光画像からそれぞれ注目領域が検出され、各注目領域に対して鑑別処理が行われた場合には、各注目領域に対する鑑別処理の結果に基づく多数決により、特定光鑑別結果として決定してもよい。例えば、図11に示すように、1発光サイクルにおいて5つの特定光画像が得られ、各特定光画像からそれぞれ1つの注目領域が検出された場合、鑑別処理の結果が「ステージ2」である注目領域が「3」、鑑別処理の結果が「ステージ1」である注目領域が「2」である場合、「ステージ2」を特定光鑑別結果として決定する。なお、「ステージ」は、病変部など観察対象の状態に応じて予め定められており、一般的に、「ステージ」の数字が大きくなるほど、病変の進行度が高いとされる。
 また、鑑別結果決定部80は、1発光サイクルにおける複数の特定光画像からそれぞれ注目領域が検出され、各注目領域に対して鑑別処理が行われた場合には、各注目領域に対する鑑別処理の結果の平均化した結果を、特定光鑑別結果として決定してもよい。例えば、図12に示すように、1発光サイクルにおいて5つの特定光画像が得られ、各特定光画像からそれぞれ1つの注目領域が検出された場合、鑑別処理の結果が「ステージ3」である注目領域が「2」、鑑別処理の結果が「ステージ2」である注目領域が「2」、鑑別処理の結果が「ステージ1」である注目領域が「1」である場合、それらを平均化した結果「2.2(=(3×2+2×2+1)/5)」を、特別鑑定結果として決定する。なお、平均化した結果については、四捨五入することが好ましい(例えば、図12の場合であれば、特別鑑定結果は四捨五入により「2」となる)。
 次に、特殊モードの流れについて、図13に示すフローチャートに沿って説明を行う。特殊モードに切り替えられると、移動速度算出部72において、内視鏡12の移動速度を算出する。また、ズーム情報出力部49は、観察対象を拡大するズームに関するズーム情報を出力する。また、発光量測定部21は白色光の発光量、又は特定光の発光量を測定する。
 そして、内視鏡12の移動速度、ズーム情報、又は、白色光又は特定光の発光量の少なくとも1つに応じて、1発光サイクルにおいて白色光の発光フレームの数を特定光の発光フレームの数よりも多くする第1の発光パターン、又は、1発光サイクルにおいて特定光の発光フレームの数を白色光の発光フレームの数よりも多くする第2の発光パターンのいずれかを決定する。内視鏡12の移動速度が速度用閾値を超える場合、「ズーム不使用」である場合、又は、白色光又は特定光の発光量が発光量用閾値を超える場合には、第1の発光パターンに設定する。そして、光源制御部22は、第1の発光パターンに従って、光源制御を行う。
 これに対して、内視鏡12の移動速度が速度用閾値以下となる場合、「ズーム使用中」である場合、又は、白色光又は特定光の発光量が発光量用閾値以下である場合には、第2の発光パターンに設定する。そして、光源制御部22は、第2の発光パターンに従って、光源制御を行う。
 白色光によって照明された観察対象を撮像することによって、白色光画像を取得する。また、特定光によって照明された観察対象を撮像することによって、特定光画像を取得する。注目領域検出部74は、特定光画像から注目領域ROIを検出する。検出された注目領域は、白色光画像上に重畳表示される。1発光サイクルにおいて1フレームの特定光が発光され、1フレーム分の特定光画像が得られた場合には、1フレームの特定光画像から検出した注目領域を白色光画像上に重畳表示する。一方、1発光サイクルにおいて複数フレームの特定光が発光され、複数フレーム分の特定光画像が得られた場合には、各特定光画像に対して注目領域検出処理を行う。そして、特定光検出結果決定部76は、各特定光画像に対する注目領域検出処理の結果に基づいて、白色光画像に反映されるための特定光検出結果を決定する。この特定光検出結果が白色光画像に反映される。
 なお、上記実施形態では、内視鏡12の移動速度が速度用閾値を超えた場合か否かによって、白色光の発光フレームの数又は特定光の発光フレームの数を制御するようにしているが、AI(Artificial Intelligence)などの方法を用い、内視鏡12の移動速度と白色光の発光フレームの数又は特定光の発光フレームの数との関係を学習装置に学習させておき、内視鏡12の移動速度を学習装置に入力することによって、白色光の発光フレームの数又は特定光の発光フレームの数を決定するようにしてもよい。ズーム情報、又は、白色光又は特定光の発光量についても、内視鏡12の移動速度と同様、白色光の発光フレームの数又は特定光の発光フレームの数との関係を学習装置に学習させておき、ズーム情報、又は、白色光又は特定光の発光量を学習装置に入力することによって、白色光の発光フレームの数又は特定光の発光フレームの数を決定するようにしてもよい。また、上記実施形態で示したように、内視鏡12の移動速度、ズーム情報、又は、白色光又は特定光の発光量を総合的に勘案して、白色光の発光フレームの数又は特定光の発光フレームの数を決定するようにしてもよい。
 なお、上記実施形態では、図14に示すように、光源部20として、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDと、波長カットフィルタ23とを用いて、照明光の発光を行うことが好ましい。
 V-LED20aは、波長帯域380nm~420nmの紫色光Vを発する。B-LED20bは、波長帯域420nm~500nmの青色光Bを発する。B-LED23bから出射した青色光Bのうち少なくともピーク波長の450nmよりも長波長側は、波長カットフィルタ23によりカットされる。これにより、波長カットフィルタ23を透過した後の青色光Bxは、420~460nmの波長範囲になる。このように、460nmよりも長波長側の波長域の光をカットしているのは、この460nmよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ23は、460nmよりも長波長側の波長域の光をカットする代わりに、460nmよりも長波長側の波長域の光を減光させてもよい。G-LED20cは、波長帯域が480nm~600nmに及ぶ緑色光Gを発する。R-LED20dは、波長帯域が600nm~650nmに及び赤色光Rを発する。
 通常モードの場合、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを全て点灯させる。これにより、図15に示すように、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む白色光が発せられる。白色光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。
 特殊モードの場合には、白色光又は特定光が特定の発光パターンに従って発光するように、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dの発光制御が行われる。白色光を発光する場合には、上記したように、図15に示すスペクトルを有する白色光が発せられる。一方、特定光を発光する場合には、図16に示すように、青色光Bxの発光量が、紫色光V、緑色光G、及び赤色光Rのいずれの発光量よりも大きくなる特定光が発せられる。
 また、上記実施形態では、レーザ光源と蛍光体を用いて、照明光の発光を行うようにしてもよい。この場合には、図17に示すように、光源部20には、ピーク波長445±10nmの青色レーザ光を発する青色レーザ光源(「445LD」と表記。LDは「Laser Diode」を表す)104と、ピーク波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(「405LD」と表記)106とが設けられている。
 照明光学系30aには、照明レンズ32の他に、ライトガイド24からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体110を励起させることなく透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ32を介して、観察対象の体内を照明する。
 ここで、通常モードでは、青色レーザ光源104が点灯して、主として青色レーザ光が蛍光体110に入射するため、図18に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した白色光が発せられる。一方、特殊モードでは、白色光又は特定光が特定の発光パターンに従って発光するように、青色レーザ光源104及び青紫色レーザ光源106の発光制御が行われる。白色光を発光する場合には、上記したように、図18に示すスペクトルを有する白色光が発せられる。一方、特定光を発光する場合には、青色レーザ光源104及び青紫色レーザ光源106が点灯して、青紫色レーザ光と青色レーザ光の両方を蛍光体110に入射させる。これにより、図19に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した特定光が発せられる。
 なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
 なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色~黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
 また、上記実施形態では、キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行うようにしてもよい。この場合には、図20に示すように、光源部20には、広帯域光源202と、回転フィルタ204と、フィルタ切替部206とが設けられている。また、広帯域光源202と回転フィルタ204との間には絞り203が設けられており、この絞り203は絞り制御部205によって開口部の面積が調整される。絞り制御部205は、プロセッサ装置16からの調光信号に基づいて絞り203の制御を行う。
 広帯域光源202はキセノンランプや白色LED等であり、波長域が青色から赤色に及ぶ広帯域光を発する。回転フィルタ204は、回転軸に一番近い内側に設けた通常モード用フィルタ210と、この通常モード用フィルタ210の外側に設けた特殊モード用フィルタ212とを備えている(図21参照)。
 フィルタ切替部206は、回転フィルタ204を径方向に移動する。具体的には、フィルタ切替部206は、モード切替部13cにより通常モードにセットした場合に、通常モード用フィルタ210を白色光の光路に挿入する。フィルタ切替部206は、特殊モードにセットした場合に、特殊モード用フィルタ212を白色光の光路に挿入する。
 図21に示すように、通常モード用フィルタ210には、周方向に沿って、Bフィルタ210aと、Gフィルタ210bと、Rフィルタ210cとが設けられている。Bフィルタ210aは、広帯域光のうち400~500nmの波長範囲を持つ広帯域の青色光Bを透過する。Gフィルタ210bは、広帯域光のうち緑色光Gを透過する。Rフィルタ210cは、広帯域光のうち赤色光Rを透過する。したがって、通常モード時には、回転フィルタ204が回転することで、
 特殊モード用フィルタ212には、周方向に沿って、Bフィルタ212aと、Gフィルタ212bと、Rフィルタ212cと、Bnフィルタ212aと、Gnフィルタ212bとが設けられている。Bフィルタ212aは、Bフィルタ210aと同様に、青色光Bを透過する。Gフィルタ212bは、Gフィルタ210aと同様に、緑色光Gを透過する。Rフィルタ212cは、Rフィルタ210cと同様に、赤色光Rを透過する。Bnフィルタ212dは、広帯域光のうち400~450nmの青色狭帯域光Bnを透過する。Gnフィルタ212eは、広帯域光のうち緑色光Gを透過する。
 したがって、特殊モード時には、回転フィルタ204が回転することで、白色光として、青色光B、緑色光G、赤色光Rが、観察対象に向けて、順次照射される。赤色光Rが照射された後は、特定光として、青色狭帯域光Bn、緑色光Gが、観察対象に向けて、順次照射される。
 キセノンランプ等の広帯域光源と回転フィルタを用いて、照明光の発光を行う場合には、通常モード時には、青色光B、緑色光G、赤色光Rで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像する。この観察対象の撮像により得られるB画像、G画像、R画像によって、白色光画像を生成する。
 また、特殊モード時には、白色光の照明時、即ち、青色光B、緑色光G、赤色光Rで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像し、この撮像により得られるB画像、G画像、R画像によって、白色光画像を生成する。また、特定光の照明時、即ち、青色狭帯域光Bn、緑色光Gで観察対象を照明する毎にモノクロのイメージセンサで観察対象を撮像し、この撮像により得られるBn画像、G画像によって、特定光画像を生成する。
 なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
 例えば、図22に示すように、診断支援装置600は、医療画像処理システム602などのモダリティやPACS(Picture Archiving and Communication Systems)604を組み合わせて使用される。また、図23に示すように、医療業務支援装置610は、第1医療画像処理システム621、第2医療画像処理システム622、…、第N医療画像処理システム623等の各種検査装置と任意のネットワーク626を介して接続する。医療業務支援装置610は、第1~第N医療画像処理システム621、622・・・、623からの医療画像を受信し、受信した医療画像に基づいて、医療業務の支援を行う。
 上記実施形態において、画像処理部61に含まれる白色光画像処理部70、移動速度算出部72、注目領域検出部74、特定光検出結果決定部76、鑑別部78、鑑別結果決定部80といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路、GPU(Graphical Processing Unit)などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ、CPUとGPUの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
12f 鉗子入口
13 ズーム操作部
13c モード切替部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V-LED(Violet Light Emitting Diode)
20b B-LED(Blue Light Emitting Diode)
20c G-LED(Green Light Emitting Diode)
20d R-LED(Red Light Emitting Diode)
21 発光量測定部
22 光源制御部
23 波長カットフィルタ
24 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
41 ライトガイド
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
49 ズーム情報出力部
52 中央制御部
54 画像取得部
56 DSP(Digital Signal Processor)
58 ノイズ低減部
59 変換部
61 画像処理部
66 表示制御部
70 白色光画像処理部
72 移動速度算出部
74 注目領域検出部
76 特定光検出結果決定部
78 鑑別部
80 鑑別結果決定部
104 青色レーザ光源
106 青紫色レーザ光源
110 蛍光体
202 広帯域光源
204 回転フィルタ
205 制御部
206 フィルタ切替部
210 通常モード用フィルタ
210a Bフィルタ
210b Gフィルタ
210c Rフィルタ
212 特殊モード用フィルタ
212a Bフィルタ
212b Gフィルタ
212c Rフィルタ
212d Bnフィルタ
212e Gnフィルタ
600 診断支援装置
602 医療画像処理システム
604 PACS
610 医療業務支援装置
621 第1医療画像処理システム
622 第2医療画像処理システム
623 第N医療画像処理システム
626 ネットワーク

Claims (18)

  1.  白色光、又は、前記白色光と異なるスペクトルを有する特定光を発光する光源部と、
     前記白色光によって照明中の観察対象を撮像して白色光画像を取得し、前記特定光によって照明中の前記観察対象を撮像して特定光画像を取得する撮像部と、
     前記撮像部の移動速度、前記観察対象を拡大するズームに関するズーム情報、又は、前記白色光又は前記特定光の発光量のうち少なくとも一つを取得する観察状況取得部と、
     前記撮像部の移動速度、前記ズーム情報、又は、前記白色光又は前記特定光の発光量のうち少なくとも一つに応じて、1発光サイクルにおける前記白色光の発光フレームの数と前記特定光の発光フレームの数を制御する光源制御部とを備える医療画像処理システム。
  2.  前記光源制御部は、前記ズーム使用時は、前記特定光の発光フレームの数を前記白色光の発光フレームの数よりも多くする制御を行い、前記ズーム不使用時は、前記白色光の発光フレームの数を前記特定光の発光フレームの数よりも多くする制御を行う請求項1記載の医療画像処理システム。
  3.  前記光源制御部は、前記撮像部の移動速度が速度用閾値を超える場合には、前記白色光の発光フレームの数を前記特定光の発光フレームの数よりも多くする制御を行い、前記撮像部の移動速度が前記速度用閾値以下になる場合には、前記特定光の発光フレームの数を前記白色光の発光フレームの数よりも多くする制御を行う請求項1または2記載の医療画像処理システム。
  4.  前記光源制御部は、前記白色光又は前記特定光の発光量が発光量用閾値を超える場合には、前記白色光の発光フレームの数を前記特定光の発光フレームの数よりも多くする制御を行い、前記白色光又は前記特定光の発光量が前記発光量用閾値以下になる場合には、前記特定光の発光フレームの数を前記白色光の発光フレームの数よりも多くする制御を行う請求項1ないし3いずれか1項記載の医療画像処理システム。
  5.  前記特定光画像から注目領域を検出する注目領域検出処理を行う注目領域検出部と、
     前記白色光画像に対して、前記注目領域検出部での検出結果を反映させた注目領域表示用画像を表示する表示部とを備える請求項1ないし4いずれか1項記載の医療画像処理システム。
  6.  複数の特定光の発光フレームから複数の前記特定光画像を取得し、各特定光画像に対して前記注目領域検出処理を行った場合には、前記各特定光画像に対する前記注目領域検出処理の検出結果に基づいて、前記白色光画像上に反映させるための特定光検出結果を決定する特定光検出結果決定部を有する請求項5記載の医療画像処理システム。
  7.  前記特定光検出結果決定部は、前記複数の特定光画像から、前記観察対象の同一領域に対して、注目領域検出有りの結果と、注目領域検出無しの結果が得られた場合には、前記注目領域検出有りの結果の数と前記注目領域検出無しの結果の数に基づく多数決により、前記特定光検出結果として、前記注目領域検出有りの結果又は前記注目領域検出無しの結果のいずれかを決定する請求項6記載の医療画像処理システム。
  8.  前記注目領域に含まれる観察対象を鑑別する鑑別処理を行う鑑別部を有し、
     前記鑑別処理の結果は前記表示部に表示される請求項5記載の医療画像処理システム。
  9.  複数の特定光の発光フレームから複数の前記特定光画像を取得し、各特定光画像に対して前記注目領域検出処理を行い、前記注目領域検出処理で検出された各注目領域に対して前記鑑別処理を行う場合には、前記各注目領域に対する鑑別処理の結果に基づいて、前記表示部に表示させるための特定光鑑別結果を決定する鑑別結果決定部を有する請求項8記載の医療画像処理システム。
  10.  前記鑑別処理の結果は、前記観察対象の状態に応じて定められるステージで表され、
     前記鑑別結果決定部は、同一の注目領域に対して、ステージが異なる複数の鑑別処理の結果が得られた場合は、前記複数の鑑別処理の結果に基づく多数決により、前記特定光鑑別結果としての前記ステージを決定する請求項9記載の医療画像処理システム。
  11.  前記鑑別処理の結果は、前記観察対象の状態に応じて定められるステージで表され、
     前記鑑別結果決定部は、同一の注目領域に対して、ステージが異なる複数の鑑別処理の結果が得られた場合は、前記複数の鑑別処理の結果の平均化を行うことにより、前記特定光鑑別結果としての前記ステージを決定する請求項9記載の医療画像処理システム。
  12.  前記光源部は、前記鑑別処理を行う場合には、前記特定光に代えて又は加えて、鑑別用照明光を発光する請求項8ないし11いずれか1項記載の医療画像処理システム。
  13.  前記鑑別用照明光のピーク波長には410nmが含まれる請求項12記載の医療画像処理システム。
  14.  前記特定光のピーク波長には450nmが含まれる請求項1ないし13いずれか1項記載の医療画像処理システム。
  15.  白色光、又は、前記白色光と異なるスペクトルを有する特定光を発光する光源部と、
     前記白色光によって照明中の観察対象を撮像して白色光画像を取得し、前記特定光によって照明中の前記観察対象を撮像して特定光画像を取得する撮像部を有する内視鏡と、
     前記内視鏡の移動速度、前記観察対象を拡大するズームに関するズーム情報、又は、前記白色光又は前記特定光の発光量のうち少なくとも一つを含む観察状況を取得する観察状況取得部と、
     前記内視鏡の移動速度、前記ズーム情報、又は、前記白色光又は前記特定光の発光量のうち少なくとも一つに応じて、前記白色光の発光フレームと前記特定光の発光フレームとの比率を制御する光源制御部とを備える内視鏡システム。
  16.  前記特定光画像から注目領域を検出する注目領域検出処理を行う注目領域検出部と、
     前記白色光画像に対して、前記注目領域検出部での検出結果を反映させた注目領域表示用画像を表示する表示部とを備える請求項15記載の内視鏡システム。
  17.  請求項1ないし14いずれか1項記載の医療画像処理システムを有する診断支援装置。
  18.  請求項1ないし14いずれか1項記載の医療画像処理システムを有する医療業務支援装置。
PCT/JP2018/033756 2017-09-22 2018-09-12 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置 WO2019059059A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18857613.6A EP3685731B1 (en) 2017-09-22 2018-09-12 Medical image processing system, endoscope system, diagnostic support device, and medical task support device
JP2019543581A JP6924837B2 (ja) 2017-09-22 2018-09-12 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
CN201880061401.4A CN111107778B (zh) 2017-09-22 2018-09-12 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置
US16/824,629 US11439297B2 (en) 2017-09-22 2020-03-19 Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-181906 2017-09-22
JP2017181906 2017-09-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/824,629 Continuation US11439297B2 (en) 2017-09-22 2020-03-19 Medical image processing system, endoscope system, diagnosis support apparatus, and medical service support apparatus

Publications (1)

Publication Number Publication Date
WO2019059059A1 true WO2019059059A1 (ja) 2019-03-28

Family

ID=65810254

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033756 WO2019059059A1 (ja) 2017-09-22 2018-09-12 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置

Country Status (5)

Country Link
US (1) US11439297B2 (ja)
EP (1) EP3685731B1 (ja)
JP (1) JP6924837B2 (ja)
CN (1) CN111107778B (ja)
WO (1) WO2019059059A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021205777A1 (ja) * 2020-04-08 2021-10-14
JP2022018842A (ja) * 2020-07-16 2022-01-27 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2022038803A1 (ja) * 2020-08-19 2022-02-24 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法
TWI784811B (zh) * 2021-11-25 2022-11-21 盟立自動化股份有限公司 腸道內視鏡移動速率監測方法及系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135983A (ja) 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法
JP2015054062A (ja) * 2013-09-11 2015-03-23 富士フイルム株式会社 内視鏡システム、プロセッサ装置及び光源装置並びに作動方法
WO2017085793A1 (ja) * 2015-11-17 2017-05-26 オリンパス株式会社 内視鏡システム、画像処理装置、画像処理方法およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5164473B2 (ja) * 2007-08-10 2013-03-21 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP5203861B2 (ja) * 2008-09-10 2013-06-05 富士フイルム株式会社 内視鏡システム、およびその作動方法
JP5591570B2 (ja) * 2010-03-23 2014-09-17 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
JP5707758B2 (ja) * 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
EP2514352B1 (en) * 2010-10-26 2018-03-28 Olympus Corporation Endoscope
WO2013115323A1 (ja) * 2012-01-31 2013-08-08 オリンパス株式会社 生体観察装置
JP6027803B2 (ja) * 2012-07-17 2016-11-16 Hoya株式会社 画像処理装置及び内視鏡装置
EP3011892A4 (en) 2013-08-01 2017-04-26 Olympus Corporation Endoscope system and endoscope system operation method
JP6392570B2 (ja) * 2014-07-11 2018-09-19 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム
US10039439B2 (en) * 2014-09-30 2018-08-07 Fujifilm Corporation Endoscope system and method for operating the same
CN106793932B (zh) * 2014-10-10 2019-06-18 奥林巴斯株式会社 摄像系统
CN107072518B (zh) * 2014-11-06 2019-01-08 奥林巴斯株式会社 观察装置和内窥镜系统
JP6243364B2 (ja) * 2015-01-26 2017-12-06 富士フイルム株式会社 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
JP6430880B2 (ja) * 2015-03-31 2018-11-28 富士フイルム株式会社 内視鏡システム、及び、内視鏡システムの作動方法
JP2016214594A (ja) * 2015-05-21 2016-12-22 Hoya株式会社 電子内視鏡システム
US20170280971A1 (en) * 2015-08-13 2017-10-05 Hoya Corporation Evaluation value calculation device and electronic endoscope system
WO2019016912A1 (ja) * 2017-07-20 2019-01-24 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011135983A (ja) 2009-12-28 2011-07-14 Olympus Corp 画像処理装置、電子機器、プログラム及び画像処理方法
JP2015054062A (ja) * 2013-09-11 2015-03-23 富士フイルム株式会社 内視鏡システム、プロセッサ装置及び光源装置並びに作動方法
WO2017085793A1 (ja) * 2015-11-17 2017-05-26 オリンパス株式会社 内視鏡システム、画像処理装置、画像処理方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3685731A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021205777A1 (ja) * 2020-04-08 2021-10-14
WO2021205777A1 (ja) * 2020-04-08 2021-10-14 富士フイルム株式会社 プロセッサ装置及びその作動方法
JP7447243B2 (ja) 2020-04-08 2024-03-11 富士フイルム株式会社 プロセッサ装置及びその作動方法
JP2022018842A (ja) * 2020-07-16 2022-01-27 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7411515B2 (ja) 2020-07-16 2024-01-11 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2022038803A1 (ja) * 2020-08-19 2022-02-24 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法
JP7447281B2 (ja) 2020-08-19 2024-03-11 富士フイルム株式会社 プロセッサ装置、プロセッサ装置の作動方法
TWI784811B (zh) * 2021-11-25 2022-11-21 盟立自動化股份有限公司 腸道內視鏡移動速率監測方法及系統

Also Published As

Publication number Publication date
EP3685731A4 (en) 2020-10-07
US20200214547A1 (en) 2020-07-09
JPWO2019059059A1 (ja) 2020-10-22
CN111107778A (zh) 2020-05-05
US11439297B2 (en) 2022-09-13
CN111107778B (zh) 2022-04-19
EP3685731A1 (en) 2020-07-29
JP6924837B2 (ja) 2021-08-25
EP3685731B1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
JP6785941B2 (ja) 内視鏡システム及びその作動方法
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP6924837B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP6243364B2 (ja) 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
JP6538634B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6724154B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP6796725B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
WO2018079205A1 (ja) プロセッサ装置及び内視鏡システム
JP2020065685A (ja) 内視鏡システム
JP7130043B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
US11627864B2 (en) Medical image processing apparatus, endoscope system, and method for emphasizing region of interest
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
JP7214886B2 (ja) 画像処理装置及びその作動方法
JP7217351B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JPWO2019082993A1 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18857613

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019543581

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018857613

Country of ref document: EP

Effective date: 20200422