JP6917518B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP6917518B2
JP6917518B2 JP2020501664A JP2020501664A JP6917518B2 JP 6917518 B2 JP6917518 B2 JP 6917518B2 JP 2020501664 A JP2020501664 A JP 2020501664A JP 2020501664 A JP2020501664 A JP 2020501664A JP 6917518 B2 JP6917518 B2 JP 6917518B2
Authority
JP
Japan
Prior art keywords
display
observation image
image
light
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020501664A
Other languages
English (en)
Other versions
JPWO2019163540A1 (ja
Inventor
弘亮 岩根
弘亮 岩根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019163540A1 publication Critical patent/JPWO2019163540A1/ja
Application granted granted Critical
Publication of JP6917518B2 publication Critical patent/JP6917518B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6867Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive specially adapted to be attached or implanted in a specific body part
    • A61B5/6876Blood vessel
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Description

本発明は、複数種類の画像を切り替えて表示する内視鏡システムに関する。
近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるRGB画像信号に基づいて、観察対象の画像をモニタ上に表示する。
また、近年では、診断の目的に応じて、表示内容が異なる複数の観察画像を同時に又は切り替えてモニタに表示することが行われている。例えば、特許文献1では、血管の太さや深さが異なる複数の画像を切り替えて表示することが行われている。また、特許文献2では、紫色光Vと青色光Bを切り替えて照明することにより、紫色光Vの画像と青色光Bの画像とを取得し、極表層血管を強調する場合には、紫色光Vの画像を輝度信号に割り当て、表層血管を強調する場合には、青色光Bの画像を輝度信号に割り当てている。
特開2017−60682号公報 特開2016−67780号公報
近年では、内視鏡分野においては、背景粘膜以外の情報、例えば、深さが異なる血管や深さ、高さが異なる腺管構造などに着目する診断が行われている。このような診断においては、ユーザーに対して、背景粘膜以外の複数の情報をそれぞれ把握できるように表示する必要がある。このような複数の情報をそれぞれ表示する方法として、特許文献1のように、複数の画像を切り替えて表示する方法が考えられる。このように複数の画像を切り替えて表示する場合には、背景粘膜の色調は画像毎に同じにして、背景粘膜各画像による背景粘膜以外の情報の違いが分かるように表示する必要がある。しかしながら、特許文献1では、画像毎に背景粘膜の色調を同じにすることについては記載及び示唆がないので、画像を切り替えて表示したとしても、血管の深さや太さの違いが分かりにくい場合がある。
本発明は、複数の観察画像を切り替えて表示する場合において、背景粘膜以外の情報の違いが分かるように表示することができる内視鏡システムを提供することを目的とする。
本発明の内視鏡システムは、第1分光情報を有する第1照明光と、第2分光情報を有する第2照明光とを発光する光源部と、第1照明光と第2照明光とを、それぞれ少なくとも2フレーム以上の発光期間にて発光させ、且つ、第1照明光と第2照明光とを自動的に切り替える光源制御部と、同一の観察対象が表示される少なくとも2つの第1表示用観察画像と第2表示用観察画像とを少なくとも2フレーム以上の表示期間にて自動的に切り替えて表示部に表示する表示制御部を有し、第1表示用観察画像が有する第1分光情報と第2表示用観察画像が有する第2分光情報とは異なっており、第1表示用観察画像と第2表示用観察画像とは、少なくとも背景粘膜の一部が同じ色調であり、第1表示用観察画像は、第1照明光により照明された観察対象を撮像することにより得られ、第2表示用観察画像は、第2照明光により照明された観察対象を撮像することにより得られる。
第1分光情報を有する第1照明光と、第2分光情報を有する第2照明光とを発光する光源部と、第1照明光と第2照明光とを、それぞれ少なくとも2フレーム以上の発光期間にて発光させ、且つ、第1照明光と第2照明光とを自動的に切り替える光源制御部を有し、第1表示用観察画像は、第1照明光により照明された観察対象を撮像することにより得られ、第2表示用観察画像は、第2照明光により照明された観察対象を撮像することにより得られることが好ましい。
表示制御部は、第1表示用観察画像と第2表示用観察画像とを切り替えるタイミングにおいて、第1表示用観察画像及び第2表示用観察画像とは異なる第3表示用観察画像を表示部に表示することが好ましい。光源制御部は、第1表示用観察画像と第2表示用観察画像とを切り替えるタイミングにおいて、第1照明光及び第2照明光とは異なる第3照明光を発光することが好ましい。
第1照明光は紫色光、緑色光、及び赤色光を含み、第2照明光は緑色光及び赤色光を含むことが好ましい。第1照明光は紫色光、緑色光、及び赤色光を含み、第2照明光は青色光、緑色光、及び赤色光を含むことが好ましい。
第1表示用観察画像において、背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報を有し、第2表示用観察画像において、背景粘膜以外の領域に、生体組織の第2深さに含まれる第2特定情報を有し、第2深さは第1深さよりも深いことが好ましい。第1照明光は第1深さまで深達する第1深さ深達光を含み、第2照明光は第2深さまで深達する第2深さ深達光を含むことが好ましい。
本発明の内視鏡システムは、観察画像を取得する画像取得部と、観察画像に基づいて、表示用観察画像を生成する表示用観察画像処理部と、同一の観察対象が表示される少なくとも2つの第1表示用観察画像と第2表示用観察画像とを少なくとも2フレーム以上の表示期間にて自動的に切り替えて表示部に表示する表示制御部を有し、第1表示用観察画像が有する第1分光情報と第2表示用観察画像が有する第2分光情報とは異なっており、第1表示用観察画像と第2表示用観察画像とは、少なくとも背景粘膜の一部が同じ色調であり、表示用観察画像処理部は、表示用観察画像として、観察画像の第1色信号を明るさ情報に割り当てて第1表示用観察画像を生成し、観察画像の第2色信号を明るさ情報に割り当てて第2表示用観察画像を生成する。観察画像は、紫色光、緑色光、及び赤色光を含む特殊光で照明された観察対象に撮像して得られることが好ましい。


表示制御部は、第1表示用観察画像と第2表示用観察画像とを切り替えるタイミングにおいて、第1表示用観察画像及び第2表示用観察画像とは異なる第3表示用観察画像を表示部に表示することが好ましい。表示用観察画像処理部は、第1表示用観察画像と第2表示用観察画像とを切り替えるタイミングにおいて、観察画像の第1色信号と第2色信号を合成した合成信号を明るさ情報に割り当てて第3表示用観察画像を生成することが好ましい。
第1表示用観察画像において、背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報を有し、第2表示用観察画像において、背景粘膜以外の領域に、生体組織の第2深さに含まれる第2特定情報を有し、第2深さは第1深さよりも深いことが好ましい。第1分光情報は、第1深さに対応する第1深さの分光情報を有し、第2分光情報は、第2深さに対応する第2深さの分光情報を有することが好ましい。
第1表示用観察画像と第2表示用観察画像との切替に合わせて、第1表示用観察画像の生成に用いる第1表示用観察画像用パラメータと第2表示用観察画像の生成に用いる第2表示用観察画像用パラメータとが切り替えられることが好ましい。
第1表示用観察画像と第2表示用観察画像において、背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報と、第1深さよりも深い生体組織の第2深さに含まれる第2特定情報とを有し、第1表示用観察画像から第2特定情報を少なくする第1低減処理、又は、第2表示用観察画像から第1特定情報を少なくする第2低減処理が行われることが好ましい。
表示制御部は、第1表示用観察画像の表示期間と第2表示用観察画像の表示期間を設定する表示期間設定部を有することが好ましい。静止画取得指示を行う静止画取得指示部と、静止画取得指示が行われた場合に、第1表示用観察画像と第2表示用観察画像とを含む1セットの表示用観察画像を静止画保存部に保存する制御を行う静止画保存制御部とを備えることが好ましい。
第1特定情報は第1深さに位置する第1深さの血管であり、第2特定情報は第2深さに位置する第2深さの血管であることが好ましい。第1表示用観察画像は、血管抽出処理によって抽出された第1深さ血管が表示され、第2表示用観察画像は、血管抽出処理によって抽出された第2深さ血管が表示されることが好ましい。第1特定情報は第1深さに位置する第1深さの腺管構造であり、第2特定情報は第2深さに位置する第2深さの腺管構造であることが好ましい。
本発明によれば、複数の観察画像を切り替えて表示する場合において、背景粘膜以外の情報の違いが分かるように表示することができる。
第1実施形態の内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。 紫色光V、緑色光G、及び赤色光Rを含む第1照明光の発光スペクトルを示すグラフである。 緑色光G及び赤色光Rを含む第2照明光の発光スペクトルを示すグラフである。 第1照明光の発光期間と第2照明光の発光期間を示す説明図である。 発光期間設定メニューを示す説明図である。 紫色光V、緑色光G、及び赤色光Rを含む第3照明光の発光スペクトルを示すグラフである。 第1実施形態の第1表示用観察画像を示す画像図である。 第1照明光と第1表示用観察画像で表示される被写体像(血管を含む)との関係を示す説明図である。 第1照明光と第1照明光の反射成分に含まれる被写体像(血管を含む)との関係を示す説明図である。 第1実施形態の第2表示用観察画像を示す画像図である。 緑色光G及び赤色光Rを含む第2照明光と第2表示用観察画像で表示される被写体像との関係を示す説明図である。 緑色光G及び赤色光Rを含む第2照明光と第2照明光の反射成分に含まれる被写体像との関係を示す説明図である。 カラーの第1表示用観察画像と第2表示用観察画像の切り替え表示を示す説明図である。 第1表示用観察画像と第2表示用観察画像の切り替え時に表示される第33表示用観察画像を示す説明図である。 モノクロの第1表示用観察画像と第2表示用観察画像の切り替え表示を示す説明図である。 表示期間設定メニューを示す説明図である。 青色光B、緑色光G、及び赤色光Rを含む第2照明光の発光スペクトルを示すグラフである。 青色光B、緑色光G、及び赤色光Rを含む第2照明光と第2照明光の反射成分に含まれる被写体像との関係を示す説明図である。 第1照明光と第1照明光の反射成分に含まれる被写体像(腺管構造を含む)との関係を示す説明図である。 第1深さの腺管構造と第2深さの腺管構造を表示する第1表示用観察画像の画像図である。 青色光B、緑色光G、及び赤色光Rを含む第2照明光と第2照明光の反射成分に含まれる被写体像(腺管構造を含む)との関係を示す説明図である。 第1深さの腺管構造と第2深さの腺管構造を表示する第2表示用観察画像の画像図である。 第1実施形態における別形態の内視鏡システムの機能を示すブロック図である。 第2実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、緑色光G、及び赤色光Rを含む特殊光の発光スペクトルを示すグラフである。 第1表示用観察画像生成処理を示す説明図である。 第2実施形態の第1表示用観察画像を示す画像図である。 第2表示用観察画像生成処理を示す説明図である。 第2実施形態の第2表示用観察画像を示す画像図である。 第3表示用観察画像生成処理を示す説明図である。 第2実施形態の第3表示用観察画像を示す画像図である。 特殊光のスペクトル、観察対象の反射率、及び撮像センサの各画素の透過率とBs画像信号、Gs画像信号、及びRs画像信号との関連性を示す説明図である。 特殊光の反射光の成分とBs画像信号及びGs画像信号との関連性を説明図である。 1フレームの特殊観察画像から第1表示用観察画像と第2表示用観察画像のいずれかを生成し、生成した表示用観察画像を表示することを示す説明図である。 1フレームの特殊観察画像から第1表示用観察画像と第2表示用観察画像の両方を生成し、生成したいずれかの表示用観察画像を表示することを示す説明図である。 第2実施形態の第1演算処理を行う場合の第1表示用観察画像生成処理を示す説明図である。 第2実施形態の第1演算処理を示す説明図である。 第1実施形態の第1演算処理を示す説明図である。 第1実施形態における血管抽出処理を示す説明図である。 第2実施形態における血管抽出処理を示す説明図である。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
また、操作部12bには、アングルノブ12eの他、モード切替SW13a、静止画取得指示部13bが設けられている。モード切替SW13aは、通常観察モードと、第1特殊観察モードと、第2特殊観察モードと、マルチ観察モードとの切替操作に用いられる。通常観察モードは、通常画像をモニタ18上に表示するモードである。第1特殊観察モードは、表層血管(第1深さの血管)を強調した第1表示用観察画像をモニタ18上に表示するモードである。第2特殊観察モードは、深層血管(第2深さの血管)を強調した第2表示用観察画像をモニタ18上に表示するモードである。マルチ観察モードは、第1表示用観察画像と第2表示用観察画像とを自動的に切り替えてモニタ18に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替SW13aの他に、フットスイッチを用いてもよい。
プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続される。モニタ18は、画像情報等を出力表示する。ユーザーインターフェース19は、機能設定等の入力操作を受け付けるUI(User Interface:ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、光源部20と、光源制御部21と、光路結合部23とを有している。光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20dを有している。光源制御部21は、LED20a〜20dの駆動を制御する。光路結合部23は、4色のLED20a〜20dから発せられる4色の光の光路を結合する。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380〜420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420〜500nmの青色光Bを発生する。G-LED20cは、波長範囲が480〜600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620〜630nmで、波長範囲が600〜650nmに及ぶ赤色光Rを発生する。波長が短いほど粘膜に深達する深さは浅く、波長が長くなるほど粘膜に深達する深さは深くなる。そのため波長が短い光で照明された画像ほど表層を強調し、波長が長い光で照明された画像ほど深層を強調する。
光源制御部21は、いずれの観察モードにおいても、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを点灯する制御を行う。また、光源制御部21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a〜20dを制御する。
また、光源制御部21は、第1特殊観察モード時には、第1分光情報として、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs1:Bs1:Gs1:Rs1となる第1照明光を発光するように、各LED20a〜20dを制御する。光源制御部21は、第2特殊観察モード時には、第2分光情報として、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs2:Bs2:Gs2:Rs2となる第2照明光を発光するように、各LED20a〜20dを制御する。
なお、本明細書において、光強度比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有するものとする。
第1照明光は、表層血管を強調し、第2照明光は、深層血管を強調する。そのため、例えば、図4、図5に示すように、第1照明光は第2照明光より表層を強調するV光比率が高いことが好ましい。
第1照明光は、第2照明光とともに、背景粘膜の色を正確に再現するために背景粘膜での反射が大きい、Gs2、Rs2>0とすることが好ましい。
また、光源制御部21は、プロセッサ装置16の明るさ情報算出部54から送られる明るさ情報に基づいて、各LED20a〜20dから発せられる照明光の発光量を制御する。
また、光源制御部21は、例えば、第1照明光の発光期間を2フレームとし、第2照明光の発光期間を3フレームとした場合には、図6に示すように、第1照明光が2フレーム続けて発光した後に、第2照明光が3フレーム続けて発光される。ここで、第1照明光の発光期間と第2照明光の発光期間は、少なくとも2フレーム以上の期間に設定されている。このように2フレーム以上の期間にするのは、光源装置14における照明光の切替は直ぐに行われるものの、プロセッサ装置16における画像処理の切替には少なくとも2フレーム以上を有するためである。加えて、照明光が切り替わることよって点滅が生ずる場合があるため、2フレーム以上の期間にすることによって、点滅による術者への負担を軽減する。
なお、「フレーム」とは、観察対象を撮像する撮像センサ48を制御するための単位をいい、例えば、「1フレーム」とは、観察対象からの光で撮像センサ48を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して発光期間が定められている。
第1照明光の発光期間と第2照明光の発光期間は、光源制御部21に接続された発光期間設定部24によって、適宜変更が可能である。ユーザーインターフェース19の操作により、発光期間の変更操作を受け付けると、発光期間設定部24は、図7に示す発光期間設定メニューをモニタ18上に表示する。第1照明光の発光期間は、例えば、2フレームから10フレームの間で変更可能である。各発光期間については、スライドバー26a上に割り当てられている。
第1照明光の発光期間を変更する場合には、ユーザーインターフェース19を操作して、スライドバー26a上の変更したい発光期間を示す位置にスライダ27aを合わせることで、第1の照明光の発光期間が変更される。第2照明光の発光期間についても、ユーザーインターフェース19を操作して、スライドバー26b(例えば、2フレームから10フレームの発光期間が割り当てられている)上の変更したい発光期間を示す位置にスライダ27bを合わせることで、第2の照明光の発光期間が変更される。
なお、光源制御部21は、マルチ観察モードに設定されている場合には、第1照明光から第2照明光に切り替える際、又は、第2照明光から第1照明光に切り替えるタイミングにおいて、第1照明光及び第2照明光と異なる第3照明光を発光するようにしてもよい。第3照明光は少なくとも1フレーム以上発光することが好ましい。
また、第3照明光の光強度比Vs3:Bs3:Gs3:Rs3は、第3分光情報として、第1照明光の光強度比Vs1:Bs1:Gs1:Rs1と第2照明光の光強度比Vs2:Bs2:Gs2:Rs2の間であることが好ましい。例えば、図8に示すように、第3照明光の光強度比は、第1照明光の光強度比と第2照明光の光強度比の平均であることが好ましい。即ち、Bs3は「0」であり、その他については、Vs3=(Vs1+Vs2)/2、Gs3=(Gs1+Gs2)/2、Rs3=(Rs1+Rs2)/2とする。以上のような第3照明光を、第1照明光と第2照明光とを切り替えるタイミングに発光することによって、照明光の切替時に生ずる色の変化などの違和感をユーザーに与えることがなくなる。
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、画像取得部53と、明るさ情報算出部54と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、信号切替部60と、通常観察画像処理部62と、第1特殊観察画像処理部63と、第2特殊観察画像処理部64と、表示制御部66と、静止画保存部67と、静止画保存制御部68とを備えている。
画像取得部53は、内視鏡12において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡12からのデジタルのカラー画像信号が画像取得部53に入力される。カラー画像信号は、撮像センサ48のR画素から出力されるR画像信号と、撮像センサ48のG画素から出力されるG画像信号と、撮像センサ48のB画素から出力されるB画像信号とから構成されるRGB画像信号である。明るさ情報算出部54は、画像取得部53から入力されるRGB画像信号に基づいて、観察対象の明るさを示す明るさ情報を算出する。算出した明るさ情報は光源制御部21に送られ、照明光の発光量の制御に用いられる。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のRGB画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のRGB画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
ノイズ除去部58は、DSP56でガンマ補正等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、信号切替部60に送信される。
信号切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、RGB画像信号を通常観察画像処理部62に送信する。また、第1特殊観察モードにセットされている場合には、RGB画像信号を第1特殊観察画像処理部63に送信する。また、第2特殊観察モードにセットされている場合には、RGB画像信号を第2特殊観察画像処理部64に送信する。また、マルチ観察モードにセットされている場合には、第1照明光の照明及び撮像で得られたRGB画像信号は第1特殊観察画像処理部63に送信され、第2照明光の照明及び撮像で得られたRGB画像信号は第2特殊観察画像処理部64に送信され、第3照明光の照明及び撮像で得られたRGB画像信号は第3特殊観察画像処理部65に送信される。
通常観察画像処理部62は、通常観察モード時に得られたRGB画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常観察画像処理部62では、通常画像用の画像処理を行うために、RGB画像信号に対して掛け合わされる通常画像用パラメータが設けられている。通常画像用の画像処理が施されたRGB画像信号は、通常画像として、通常観察画像処理部62から表示制御部66に入力される。
第1特殊観察画像処理部63は、第1照明光の照明及び撮像時に得られた第1観察画像のRGB画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理(第1表示用観察画像用画像処理)が行われた第1表示用観察画像を生成する。第1表示用観察画像では、表層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第1特殊観察画像処理部63では、第1表示用観察画像の画像処理を行うために、RGBの画像信号に対して掛け合わされる第1表示用観察画像用のパラメータが設けられている。なお、第1特殊観察画像処理部63では、第1表示用観察画像をできるだけモニタ18に表示するようにするために、表層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、表層血管強調処理を行うようにしてもよい。
第2特殊観察画像処理部64は、第2照明光の照明及び撮像時に得られた第2観察画像の第2RGB画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理(第2表示用観察画像用画像処理)が行われた第2表示用観察画像を生成する。第2表示用観察画像では、深層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。なお、マルチ観察モードでは、第1照明光の光強度比Gs1、Rs1と第2照明光の光強度比Gs2、Rs2とが同じであるため、上記したように、第1表示用観察画像と第2表示用観察画像において、少なくとも背景粘膜の一部の色調は同じになっている。
第2特殊観察画像処理部64では、第2表示用観察画像の画像処理を行うために、RGBの画像信号に対して掛け合わされる第2表示用観察画像用のパラメータが設けられている。第2特殊観察画像処理部64においては、第1特殊観察画像処理部63と同様の処理部を有しているが、処理の内容については、第1特殊観察画像処理部63と異なっている。なお、第2特殊観察画像処理部64では、第2表示用観察画像をできるだけモニタ18に表示するようにするために、深層血管を強調する深層血管強調処理は行わないが、処理負荷の状況によっては、深層血管強調処理を行うようにしてもよい。
第3特殊観察画像処理部65は、第3照明光の照明及び撮像時に得られた第3観察画像のRGB画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理が行われた第3表示用観察画像を生成する。第3表示用観察画像では、表層と深層の間の中間層の血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第3特殊観察画像処理部65では、第3表示用観察画像の画像処理を行うために、RGBの画像信号に対して掛け合わされる第3表示用観察画像用のパラメータが設けられている。第3特殊観察画像処理部65においても、第1特殊観察画像処理部63と同様の処理部を有しているが、処理の内容については、第1特殊観察画像処理部63と異なっている。
表示制御部66は、通常観察画像処理部62、第1特殊観察画像処理部63、第2特殊観察画像処理部64、又は第3特殊観察画像処理部65から入力された通常画像、第1表示用観察画像、第2表示用観察画像、又は第3表示用観察画像を、モニタ18で表示可能な画像として表示するための制御を行う。表示制御部の詳細については後述する。静止画保存制御部68は、静止画取得指示部13bの指示に従って、その静止画取得指示のタイミングで得られた画像を静止画として静止画保存部67に保存する制御を行う。通常観察モードの場合であれば、静止画取得指示のタイミングで得られた通常画像を静止画として静止画保存部67に保存する。第1特殊観察モードの場合であれば、静止画取得指示のタイミングで得られた第1表示用観察画像を静止画として静止画保存部67に保存する。第2特殊観察モードの場合であれば、静止画取得指示のタイミングで得られた第2表示用観察画像を静止画として静止画保存部67に保存する。また、マルチ観察モードの場合であれば、静止画取得指示のタイミングで得られた第1表示用観察画像と第2表示用観察画像の1セットの表示用観察画像を静止画保存部67に保存する。
以下、表示制御部66の詳細について説明を行う。表示制御部66による制御によって、各観察モードに応じた画像が表示される。通常観察モードの場合には、通常画像がモニタ18に表示される。また、第1特殊観察モードの場合には、図9に示すように、観察対象のうち背景粘膜、及び、生体組織の第1深さに含まれる第1特定情報として、表層血管が表された第1表示用観察画像が表示される。第1表示用観察画像では、図10に示すように、第1照明光に含まれる紫色光Vによって、表層血管のコントラストが高く表示されている。また、第1表示用観察画像では、第1照明光に含まれる緑色光G及び赤色光Rによって、背景粘膜の色調を維持し正確に表示している。
これは、図11に示すように、第1照明光が観察対象に照明されると、第1照明光のうち紫色光V(第1深さ深達光)は表層(第1深さ)にまで深達して、その反射光のV成分が撮像センサ48で受光される。したがって、第1表示用観察画像には、反射光のV成分を含むため、表層血管のコントラストが高くなっている。また、第1照明光のうち緑色光Gと赤色光Rは中層、深層にまで深達して、その反射光のG成分、R成分が撮像センサ48で受光される。したがって、第1表示用観察画像では、反射光のG成分、R成分を含むことから、背景粘膜の色調を正確に再現することが可能となっている。
また、第2特殊観察モードの場合には、図12に示すように、観察対象のうち背景粘膜、及び生体組織の第2深さ(第1深さよりも深い)に含まれる第2特定情報として、深層血管が表された第2表示用観察画像が表示される。第2表示用観察画像では、図13に示すように、第2照明光により、表層血管と深層血管を表示しているものの、第1表示用観察画像と比較すると、表層血管のコントラストは低く表示されている。また、第2表示用観察画像では、第1表示用観察画像と同様、第1照明光に含まれる緑色光G及び赤色光Rによって、背景粘膜の色調を維持し正確に表示している。
これは、図14に示すように、また、第2照明光のうち緑色光G(第2深さ深達光)と赤色光R(第2深さ深達光)は中層、深層(第2深さ)にまで深達して、その反射光のG成分、R成分が撮像センサ48で受光される。したがって、第2表示用観察画像では、反射光のG成分、R成分を含むことから、背景粘膜の色調を正確に再現することが可能となっている。なお、第2表示用観察画像では、反射光のG成分、R成分によって、表層血管と深層血管も表示されるようになっている。
また、マルチ観察モードの場合には、図15に示すように、第1照明光の発光期間と第2照明光の発光期間に合わせて、カラーの第1表示用観察画像と第2表示用観察画像が切り替えてモニタ18に表示される。即ち、第1照明光の発光期間が2フレームで、第2照明光の発光期間が3フレームである場合には、第1表示用観察画像が2フレーム続けて表示され、且つ、第2表示用観察画像が3フレーム続けて表示される。
以上のように、マルチ観察モードにおいては、ユーザーによるモード切替SW13aの操作を行うことなく、2種類の第1表示用観察画像と第2表示用観察画像を自動的に切り替えて表示することができる。このように自動的に切り替えて表示することで、観察対象に動き又は内視鏡12の先端部12dに動きが無い限り、第1表示用観察画像と第2表示用観察画像とでは同一の観察対象が表示される。ただし、第1表示用観察画像と第2表示用観察画像とでは同一の観察対象であっても、それぞれ分光情報が異なっているため、分光情報の違いにより観察対象の見え方は異なっている。即ち、第1分光情報を有する第1表示用観察画像では表層血管の視認性が高くなっている一方、第2分光情報を有する第2表示用観察画像では深層血管の視認性が高くなっている。したがって、第1表示用観察画像と第2表示用観察画像とを切り替えて表示することによって、深さが異なる複数の血管に対する視認性の向上を図ることができる。
また、第1表示用観察画像と第2表示用観察画像は、それぞれ赤色帯域を含む照明光に基づいて得られた画像であるため、背景粘膜の色調を再現することができる。したがって、マルチ観察モードで表示される第1表示用観察画像と第2表示用観察画像は、通常画像と背景粘膜の色調がほとんど変わらないため、ユーザーに違和感を与えることがない。その結果、マルチ観察モードに対するユーザーの学習を比較的短い期間で行うことができる。また、第1表示用観察画像と第2表示用観察画像を切り替えて表示することで、深層血管から表層血管までどのように血管が立ち上がっているかを把握することができる。また、第1表示用観察画像と第2表示用観察画像とでは、背景粘膜の色調が同じであるため、画像の切替によって、血管の違いだけを強調して表示することが可能となる。
また、マルチ観察モードにおいて、第1照明光と第2照明光の切替を行う際に、第3照明光の照明を行った場合には、図16に示すように、第1表示用観察画像から第2表示用観察画像に切り替わる際に、第3照明光の照明及び撮像により得られる第3表示用観察画像がモニタ18に表示される。この第3表示用観察画像においては、表層血管と深層血管の両方に加えて、表層と深層の間の中間層の血管が表示される。このように第3表示用観察画像の表示を行うことで、深層血管から表層血管への血管の立ち上がりをより明確に把握することができるようになる。また、第3表示用観察画像の表示により、色の変化が緩やかになるため、ユーザーに与える違和感を軽減することができる。
また、マルチ観察モードにおいては、第1表示用観察画像と第2表示用観察画像をカラーで表示しているが、これに代えて、図17に示すように、第1表示用観察画像と第2表示用観察画像をモノクロで表示するようにしてもよい。このようにモノクロの第1表示用観察画像と第2表示用観察画像を切り替えて表示することで、表層血管や深層血管などの血管以外部分の色の変化がほとんど生じない。これにより、ユーザーは、第1表示用観察画像と第2表示用観察画像の切替時に、違和感を感じることなく、表層血管や深層血管など異なる深さの血管に着目して観察することができるようになる。
なお、第1表示用観察画像の表示期間と第2表示用観察画像の表示期間は、表示制御部66に設けられた表示期間設定部66aによって、適宜変更が可能である。ユーザーインターフェース19の操作により、表示期間の変更操作を受け付けると、表示期間設定部66aは、図18に示す表示期間設定メニューをモニタ18上に表示する。第1表示用観察画像の表示期間は、例えば、2フレームから10フレームの間で変更可能である。各表示期間については、スライドバー70a上に割り当てられている。
第1表示用観察画像の表示期間を変更する場合には、ユーザーインターフェース19を操作して、スライドバー70a上の変更したい表示期間を示す位置にスライダ71aを合わせることで、第1表示用観察画像の表示期間が変更される。第2表示用観察画像の表示期間についても、ユーザーインターフェース19を操作して、スライドバー70b(例えば、2フレームから10フレームの表示期間が割り当てられている)上の変更したい表示期間を示す位置にスライダ71bを合わせることで、第2表示用観察画像の表示期間が変更される。
なお、第1照明光の発光期間が第1表示用観察画像の表示期間よりも短い場合には、第1表示用観察画像の表示期間分の表示が行われるように、補完処理等により、表示期間分の第1表示用観察画像を生成することが好ましい。これに対して、第2照明光の発光期間が第1表示用観察画像の表示期間よりも長い場合には、第1表示用観察画像の表示期間に合わせて、第1表示用観察画像を表示に使用しないようにしてもよい。また、第1表示用観察画像と第2表示用観察画像の表示期間は、少なくとも2フレーム以上とすることが好ましい。1フレームの場合には、画像の切り替わりが早いために、第1表示用観察画像と第2表示用観察画像の差を認識できないおそれがある。
なお、上記実施形態では、第2照明光として、緑色光G及び赤色光Rを含むようにしているが、図19に示すように、緑色光G及び赤色光Rに加えて、青色光Bも含むようにしてもよい。図20に示すように、また、第2照明光のうち青色光Bは、表層よりもやや深い位置にまで深達して、その反射光のB成分が撮像センサ48で受光される。したがって、第2表示用観察画像では、反射光のB成分により、表層血管のコントラストを上げて表示することが可能となる。なお、第2表示用観察画像では、上記に示したように、反射光のG成分、R成分を含むことから、背景粘膜の色調を正確に再現することが可能となっている。
なお、上記実施形態では、第1特定情報を表層血管とし、第2特定情報を深層血管としているが、その他の情報としてもよい。図21A及び図22Aに示すように、例えば、第1特定情報を第1深さの腺管構造とし、第2特定情報を第1深さよりも深い第2深さの腺管構造としてもよい。この場合には、図21Aに示すように、第1照明光のうち紫色光Vが第1深さの腺管構造まで深達するため、その反射光のV成分には第1深さの腺管構造と第2深さの腺管構造が含まれている。これにより、第1表示用観察画像には、図21Bに示すように、第1特定情報として、第1深さの腺管構造と第2深さの腺管構造が表示されることになる。また、第2照明光として、青色光B、緑色光G、赤色光Rを含めた場合には(図19参照)、図22Aに示すように、第2照明光のうち青色光Bが第2深さの腺管構造にまで深達するため、その反射光のB成分には、第1深さの腺管構造、第2深さの腺管構造、及び第1深さの腺管構造より下層にある粘膜の情報が含まれている。これにより、図22Bに示すように、第2表示用観察画像には、第2深さの腺管構造と、第2深さの腺管構造よりもコントラストが低い第1深さの腺管構造が表示される。第2表示用観察画像における第1深さの腺管構造は、その下層の粘膜が重畳されるため、第1表示用観察画像の場合と比較して、コントラストが低く(又は見えなく)表示される。以上から、第1表示用観察画像と第2表示用観察画像を切り替えてモニタ18に表示することにより、第1表示用観察画像と第2表示用観察画像の差から腺管構造に関する深さ(第1深さ、又は第2深さ)を認識することができる。
なお、癌又は非癌か否かを診断する方法として、微小血管構築像(microvascular pattern(V))と表面微細構造(microsurface pattern(S))に分けて解析し、一定の診断基準に照らし合わせて診断する方法(VS classification System)がある。このVS classification Systemによれば、VとSそれぞれについて、regular(整)/irregular(不整)/absent(消失)と分類し、これら分類した結果に基づいて、癌又は非癌を判別する。表面微細構造は、即ち腺管構造についても、上記したように、第1深さの腺管構造や第2深さの腺管構造のように、深さが異なるものが存在していることから、第2照明光で視認することができない腺管構造であっても、第1照明光で視認することができる場合がある。そこで、第1照明光に基づく第1表示用観察画像と第2照明光に基づく第2表示用観察画像を切り替えて表示するマルチ観察モードを用いることで、深さや高さが異なる血管や腺管構造を視認することができるようになるため、例えば、腺管構造の消失等を正確に判断することができるようになる。これにより、VS classification Systemの診断精度を向上させることができる。
なお、第1実施形態では、通常観察画像処理部62と、第1特殊観察画像処理部63と、第2特殊観察画像処理部64と、第3特殊観察画像処理部65とを設けて、観察モードに応じて、いずれの処理部で処理するかを信号切替部60によって決定するようにしているが、その他の方法で処理を行うようにしてもよい。例えば、通常観察画像処理部62と、第1特殊観察画像処理部63と、第2特殊観察画像処理部64と、第3特殊観察画像処理部65の代わりに、図23に示すように、それら処理部62、63、64、65とを一まとめにした特定の画像処理部80を設け、観察モードに対応するパラメータを用いて、各観察モードに対応する画像処理を行うようにしてもよい。
例えば、通常観察モードの場合であれば、特定の画像処理部80において、通常画像用パラメータに設定して画像処理を行うことにより、通常画像を生成する。第1特殊観察モードの場合であれば、特定の画像処理部80において、第1表示用観察画像用パラメータに設定して、第1表示用観察画像を生成する。第2特殊観察モードの場合であれば、特定の画像処理部80において、第2表示用観察画像用パラメータに設定して、第2表示用観察画像を生成する。マルチ観察モードの場合であれば、第1照明光と第2照明光との切替に合わせて、特定の画像処理部80において、第1表示用観察画像用パラメータと第2表示用観察画像用パラメータとの切替を行うことによって、第1表示用観察画像と第2表示用観察画像とがそれぞれ生成されるようにする。
[第2実施形態]
第1実施形態では、2種類の第1表示用観察画像と第2表示用観察画像を取得するために、第1表示用観察画像の取得に用いる第1照明光と第2表示用観察画像の取得に用いる第2照明光とを切り替えて発光を行っているが、第2実施形態では、1種類の特殊光によって得られた特殊観察画像から、第1分光情報を有する第1表示用観察画像と、第1分光情報と異なる第2分光情報を有する第2表示用観察画像を取得する。第2実施形態の第1表示用観察画像と第2表示用観察画像は、1フレームの特殊観察画像から生成されるため、観察対象は同一であり、且つ、画像間で位置ズレ等は生じていない。
第2実施形態の内視鏡システム100では、図24に示すように、プロセッサ装置16において、第1特殊観察画像処理部63、第2特殊観察画像処理部64、及び第3特殊観察画像処理部65に代えて、特殊観察画像処理部102、マルチ観察画像処理部104(表示用観察画像処理部)が設けられていること以外、及び、第1特殊観察モード、第2特殊観察モード、及び第3特殊観察モードに代えて、特殊観察モード及びマルチ観察モードが設けられている以外は、第1実施形態とほぼ同様である。
第2実施形態において、特殊観察モードは、特定深さの血管を強調した特殊観察画像をモニタ18上に表示するモードである。マルチ観察モードは、特殊観察画像から、表層血管(第1深さの血管)を強調した第1表示用観察画像、及び、深層血管(第2深さの血管)を強調した第2表示用観察画像を生成し、且つ、第1表示用観察画像と第2表示用観察画像とを自動的に切り替えてモニタ18に表示するモードである。
第2実施形態では、光源制御部21は、特殊観察モード又はマルチ観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs:Bs:Gs:Rsとなる特殊光を発光するように、各LED20a〜20dを制御する。特殊光は、特定深さの血管を強調するとともに、背景粘膜の色を正確に再現することができることが好ましい。例えば、特定深さの血管として、表層血管を強調する場合には、図25に示すように、Bsを「0」とし、その他のVs、Gs、Rs>0とすることが好ましい。この場合の第1照明光は、紫色光、緑色光、及び赤色光を含むため、上記のような表層血管を強調することができるとともに、背景粘膜の色を正確に再現でき、且つ、腺管構造や凹凸など各種構造も強調することができる。
第2実施形態においては、信号切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、ノイズ除去部58を経たRGB画像信号を通常観察画像処理部62に送信する。また、特殊観察モードにセットされている場合には、ノイズ除去部58を経たRGB画像信号を特殊観察画像処理部63に送信する。また、マルチ観察モードにセットされている場合には、ノイズ除去部58を経たRGB画像信号をマルチ観察画像処理部104に送信する。
特殊観察画像処理部63は、特殊観察モード時に得られたRs画像信号、Gs画像信号、Bs画像信号が入力される。この入力されたRs画像信号、Gs画像信号、Bs画像信号に対して、特殊観察モード用の画像処理を施す。特殊観察画像処理部63では、特殊観察モード用の画像処理を行うために、Rs画像信号、Gs画像信号、Bs画像信号に対して掛け合わされる特殊観察モード用のパラメータが設けられている。特殊観察モード用の画像処理には、特殊観察モード用の構造強調処理などが含まれる。特殊観察画像用の画像処理が施されたRGB画像信号は、特殊観察画像として、特殊観察画像処理部63から表示制御部66に入力される。
マルチ観察画像処理部104は、マルチ観察モード時に得られたRs画像信号、Gs画像信号、Bs画像信号が入力される。この入力されたRs画像信号、Gs画像信号、Bs画像信号に対して、マルチ観察モード用の画像処理を施す。マルチ観察モード用の画像処理は、1フレームの特殊観察画像から、互いに異なる深さの血管を強調した複数の表示用観察画像を生成する。本実施形態では、複数の表示用観察画像として、表層血管を強調した第1表示用観察画像と深層血管を強調した第2表示用観察画像とを生成する。マルチ観察モード用の画像処理の詳細については後述する。第1表示用観察画像と第2表示用観察画像とは、マルチ観察画像処理部104から表示制御部66に入力される。なお、マルチ観察画像処理部104においても、マルチ観察モード用の画像処理を行うために、Rs画像信号、Gs画像信号、Bs画像信号に掛け合わされるマルチ観察モード用のパラメータが設けられている。
次に、マルチ観察モード用の画像処理について説明する。マルチ観察モードの画像処理は、第1表示用観察画像を生成する第1表示用観察画像生成処理と、第2表示用観察画像を生成する第2表示用観察画像生成処理とを有する。第1表示用観察画像生成処理は、図26に示すように、マルチ観察モード時に得られるBs画像信号、Gs画像信号、Rs画像信号に対して、輝度色差信号変換処理を行って、輝度信号Y、色差信号Cr、Cbに変換する。次に、輝度信号YをBs画像信号(観察画像の第1色信号(青色信号))に割り当てる輝度信号割り当て処理を行うことによって、輝度信号Yを輝度信号Ymに変換する。Bs画像信号は、後述するように、表層血管の情報を含んでいることから、図27に示すように、第1表示用観察画像について、背景粘膜以外の領域に含まれる第1特定情報として、表層血管を強調した画像にすることができる。また、第1表示用観察画像は、特殊光のうち緑色光G及び赤色光Rの成分が含まれるGs画像信号、Rs画像信号に基づいて生成されるため、背景粘膜の色調も正確に表されている。
次に、輝度信号Yを輝度信号Ymに変換することに伴う色差信号Cr、Cbのずれを補正する色差信号補正処理を行う。具体的には、色差信号Crに対して、変換後の色差信号Ym/変換後の色差信号Yを掛け合わせる。同様にして、色差信号Cbに対して、変換後の色差信号Ym/変換後の色差信号Yを掛け合わせる。これにより、色差信号Cr、Cbのずれを補正することにより、色相を維持したまま、輝度の変換に応じて彩度のずれを補正することができる(輝度が小さくなる場合には彩度を小さくすることができ、輝度が大きくなる場合には彩度を大きくすることができる)。そして、輝度信号Ym、色差信号Cr×Ym/Y、色差信号Cb×Ym/Yに対して、RGB変換処理を行うことによって、B1画像信号、G1画像信号、R1画像信号に変換する。これらB1画像信号、G1画像信号、R1画像信号が、第1表示用観察画像となる。
第2表示用観察画像生成処理は、図28に示すように、第1表示用観察画像生成処理と同様、マルチ観察モード時に得られるBs画像信号、Gs画像信号、Rs画像信号に対して、輝度色差信号変換処理を行って、輝度信号Y、色差信号Cr、Cbに変換する。次に、輝度信号YをGs画像信号(観察画像の第2色信号(緑色信号))に割り当てる輝度信号割り当て処理を行うことによって、輝度信号Yを輝度信号Ynに変換する。Gs画像信号は、後述するように、深層血管の情報を含んでいることから、第2表示用観察画像について、図29に示すように、背景粘膜以外の領域に含まれる第2特定情報として、深層血管を強調した画像にすることができる。また、第2表示用観察画像は、特殊光のうち緑色光G及び赤色光Rの成分が含まれるGs画像信号、Rs画像信号に基づいて生成されるため、背景粘膜の色調も正確に表されている。
なお、観察画像の第2色信号は観察画像の第1色信号よりも長波の成分を持つ色信号である。本実施形態では、第1色信号を青色信号、第2色信号を緑色信号としているが、これに限られない。例えば、第1色信号を緑色信号とし、第2色信号をRs画像信号のような赤色信号としてもよい。
次に、輝度信号Yを輝度信号Ynに変換することに伴う色差信号Cr、Cbのずれを補正する色差信号補正処理を行う。具体的には、色差信号Crに対して、変換後の色差信号Yn/変換後の色差信号Yを掛け合わせる。同様にして、色差信号Cbに対して、変換後の色差信号Yn/変換後の色差信号Yを掛け合わせる。これにより、色差信号Cr、Cbのずれを補正することができる。そして、輝度信号Yn、色差信号Cr×Yn/Y、色差信号Cb×Yn/Yに対して、RGB変換処理を行うことによって、B2画像信号、G2画像信号、R2画像信号に変換する。これらB2画像信号、G2画像信号、R2画像信号が、第2表示用観察画像となる。
なお、第1表示用観察画像と第2表示用観察画像を切り替えるタイミングにおいて、第1表示用観察画像生成処理と第2表示用観察画像と異なる第3表示用観察画像をモニタ18に表示するようにしてもよい。この場合には、マルチ観察モードの画像処理として、第3表示用観察画像を生成する第3表示用観察画像生成処理が行われる。第3表示用観察画像生成処理は、図30に示すように、マルチ観察モード時に得られるBs画像信号、Gs画像信号、Rs画像信号に対して、輝度色差信号変換処理を行って、輝度信号Y、色差信号Cr、Cbに変換する。次に、輝度信号Yに対して、Bs画像信号とGs画像信号を合成した合成信号を割り当てる輝度信号割り当て処理を行うことによって、輝度信号Yを輝度信号Ypに変換する。合成信号は、例えば、Bs画像信号とGs画像信号とを平均化した信号((Bs画像信号+Gs画像信号)/2)であることが好ましい。
合成信号は、表層血管と深層血管の情報を含んでいることから、図31に示すように、第3表示用観察画像について、背景粘膜以外の領域に含まれる第3特定情報として、表層血管と深層血管を強調した画像にすることができる。また、第3表示用観察画像は、特殊光のうち緑色光G及び赤色光Rの成分が含まれるGs画像信号、Rs画像信号に基づいて生成されるため、背景粘膜の色調も正確に表されている。
次に、輝度信号Yを輝度信号Ypに変換することに伴う色差信号Cr、Cbのずれを補正する色差信号補正処理を行う。具体的には、色差信号Crに対して、変換後の色差信号Yp/変換後の色差信号Yを掛け合わせる。同様にして、色差信号Cbに対して、変換後の色差信号Yp/変換後の色差信号Yを掛け合わせる。これにより、色差信号Cr、Cbのずれを補正することができる。そして、輝度信号Yn、色差信号Cr×Yp/Y、色差信号Cb×Yp/Yに対して、RGB変換処理を行うことによって、B3画像信号、G3画像信号、R3画像信号に変換する。これらB3画像信号、G3画像信号、R3画像信号が、第3表示用観察画像となる。
なお、本実施形態においては、Bs画像信号、Gs画像信号、又は合成信号を割り当てる信号を、輝度信号Yとするが、その他の明るさ情報に割り当てるようにしてもよい。例えば、第1表示用観察画像を明度、彩度、色相で構成する場合には、明るさ情報に対応する明度にBs画像信号又はGs画像信号を割り当てるようにしてもよい。
以上のように、Bs画像信号が表層血管の情報を含み、Gs画像信号が深層血管の情報を含んでいるのは以下の理由からである。図32に示すように、Bs画像信号は、特殊光の光強度と観察対象の反射率と撮像センサ48のB画素の光透過率とを掛け合わせて得られる光強度に対応する信号値を有している。Bs画像信号には、特殊光の短波成分を多く含んでいる。Gs画像信号は、特殊光の光強度と観察対象の反射率と撮像センサ48のG画素の光透過率とを掛け合わせて得られる光強度に対応する信号値を有している。Gs画像信号には、特殊光の中波成分を多く含んでいる。なお、Rs画像信号は、特殊光の光強度と観察対象の反射率と撮像センサ48のR画素の光透過率とを掛け合わせて得られる光強度に対応する信号値を有している。このRs画像信号には、特殊光の長波成分を多く含んでいる。
図33に示すように、Bs画像信号に多く含まれる特殊光の短波成分(第1深さの分光情報)は、粘膜の表層(第1深さ)まで深達した光の反射光の成分に相当する。したがって、Bs画像信号には、粘膜の表層に含まれる表層血管(第1特定情報)の情報が含まれている。一方、Gs画像信号に多く含まれる特殊光の中波成分(第2深さの分光情報)は、粘膜の中層付近(第2深さ)にまで深達した光の反射光の成分に相当する。したがって、Gs画像信号には、粘膜の表層又は中層に含まれる表層血管(第1特定情報)、又は深層血管(第2特定情報)の情報が含まれている。なお、Rs画像信号に含まれる特殊光の長波成分は、血管など構造物以外の粘膜の情報を含まれている。したがって、Rs画像信号によって、粘膜の情報を表示することが可能となる。
表示制御部66は、通常観察画像処理部62、特殊観察画像処理部102、マルチ観察画像処理部104から入力された通常観察画像、特殊観察画像、又は、第1表示用観察画像又は第2表示用観察画像を、モニタ18上に表示させる制御を行う。モニタ18には、表示制御部66の制御に従って、各観察モードに対応する画像が表示される。通常観察モード時には、モニタ18は通常観察画像を表示する。特殊観察モード時には、モニタ18は特殊観察画像を表示する。マルチ観察モード時には、モニタ18は、特定の表示パターンに従って、第1表示用観察画像又は第2表示用観察画像を自動的に切り替えて表示する。また、第1表示用観察画像と第2表示用観察画像を切り替えるタイミングにおいては、第3表示用観察画像を表示するようにしてもよい。第3表示用観察画像を表示することにより、画像の切替えに伴って、観察対象が急激に変化することなく、スムーズに変化する。
例えば、特定の表示パターンを、1表示サイクルにおいて、第1表示用観察画像を2フレーム分表示、第2表示用観察画像を3フレーム分表示するパターンとする場合には、以下のようなパターンが考えられる。図34に示すように、2フレームの特殊観察画像を入力画像としてマルチ観察画像処理部104に入力した場合には、マルチ観察画像処理部104において、2フレーム分の第1表示用観察画像を生成画像として生成する。この生成した2フレーム分の第1表示用観察画像を順に表示画像としてモニタ18に表示する。次に、3フレームの特殊観察画像を入力画像としてマルチ観察画像処理部104に入力した場合には、マルチ観察画像処理部104において、3フレーム分の第2表示用観察画像を生成画像として生成する。この生成した3フレーム分の第2表示用観察画像を順に表示画像としてモニタ18に表示する。
他のパターンとしては、図35に示すように、2フレームの特殊観察画像を入力画像としてマルチ観察画像処理部104に入力した場合には、マルチ観察画像処理部104において、2フレーム分の第1表示用観察画像及び第2表示用観察画像を生成画像として生成する。この生成した2フレーム分の第1表示用観察画像及び第2表示用観察画像のうち2フレーム分の第1表示用観察画像を順に表示画像としてモニタ18に表示する。次に、3フレームの特殊観察画像を入力画像としてマルチ観察画像処理部104に入力した場合には、マルチ観察画像処理部104において、3フレーム分の第1表示用観察画像及び第2表示用観察画像を生成画像として生成する。この生成した3フレーム分の第1表示用観察画像及び第2表示用観察画像のうち3フレーム分の第2表示用観察画像を順に表示画像としてモニタ18に表示する。
第2実施形態では、マルチ観察モードにおいて、静止画取得指示部13bによって静止画取得指示が行われた場合、静止画取得指示のタイミングに得られた特殊観察画像から、第1表示用観察画像と第2表示用観察画像を生成し、それら2種類の第1表示用観察画像と第2表示用観察画像を静止画保存部67に保存する。これにより、第1表示用観察画像と第2表示用観察画像に位置ズレのない画像が一度の静止画取得指示により保存することができる。
なお、第1表示用観察画像と第2表示用観察画像とは、2フレーム以上の表示期間で切り替えて表示することが好ましい。1フレームの場合には、上記したように、画像の切り替わりが早いために、第1表示用観察画像と第2表示用観察画像の差を認識できないおそれがある。
なお、撮像センサ48のB画素の感度特性とG画素の感度特性がそれぞれ一部重なり合っている場合は、Bs画像信号とGs画像信号の違いが小さい場合がある。この場合には、第1表示用観察画像と第2表示用観察画像との差が小さくなる場合がある。この第1表示用観察画像と第2表示用観察画像との差を大きくする方法の一つとして、図36に示すように、Bs画像信号から、係数αを掛け合わせたGs画像信号を差し引く第1演算処理(Bs−α×Gs)を行う。これにより、図37に示すように、Bs画像信号から、Gs画像信号が持つ中波成分(観察画像の第2色信号(緑色信号)の成分)を除くことができる。これにより、(Bs−α×Gs)画像信号においては、深層血管の情報を少なくなることから、この(Bs−α×Gs)画像信号を輝度信号Yに割り当てた第1表示用観察画像は、深層血管が少なくなることにより、第2表示用観察画像との差を大きくすることができる。なお、第1演算処理は、表層血管(第1特定情報)と深層血管(第2特定情報)を含む第1表示用観察画像から、深層血管を少なくすることから、第1演算処理は、本発明の「第1低減処理」に対応する。
また、Gs画像信号から、係数βを掛け合わせたBs画像信号を差し引く第2演算処理(Gs−β×Bs)を行ってもよい。これにより、Gs画像信号から、Bs画像信号が持つ短波成分(観察画像の第1色信号(青色信号)の成分)を除くことができる。これにより、(Gs−β×Bs)画像信号を輝度信号Yに割り当てた第2表示用観察画像は、表層血管が少なくなくなることにより、第1表示用観察画像との差を大きくすることができる。なお、第2演算処理は、表層血管と深層血管を含む第2表示用観察画像から、表層血管を少なくすることから、第2演算処理は、本発明の「第2低減処理」に対応する。
なお、第1実施形態においても、上記第1演算処理と同様の方法により、第1表示用観察画像から深層血管を少なくする第1低減処理を行い、又は、上記第2演算処理と同様の方法により、第2表示用観察画像から表層血管を少なくする処理を行ってもよい。例えば、図38に示すように、第1実施形態の第1低減処理として、第1観察画像のB画像信号から、係数αを掛け合わせた第1観察画像のG画像信号を差し引く第1演算処理により行われる。そして、第1演算処理済みの第1観察画像のB画像信号、第1観察画像のG画像信号、及び第1観察画像のR画像信号に基づいて、第1表示用観察画像が生成される。第1表示用観察画像は、第1演算処理済みのB画像信号を用いずに生成した場合と比較して、深層血管の情報が少なくなっているため、表層血管の視認性が向上している。
また、第2実施形態の第2低減処理として、第2観察画像のG画像信号から、係数βを掛け合わせた第2観察画像のB画像信号を差し引く第2演算処理により行われる。そして、第2観察画像のB画像信号、第2演算処理済みの第2観察画像のG画像信号、及び第2観察画像のR画像信号に基づいて、第2表示用観察画像が生成される。第2表示用観察画像は、第2演算処理済みのG画像信号を用いずに生成した場合と比較して、表層血管の情報が少なくなっているため、深層血管の視認性が向上している。
なお、第2実施形態では、通常観察画像処理部62と、特殊観察画像処理部102と、マルチ観察画像処理部104とを設けて、観察モードに応じて、いずれの処理部で処理するかを信号切替部60によって決定するようにしているが、その他の方法で処理を行うようにしてもよい。例えば、通常観察画像処理部62と、特殊観察画像処理部102と、マルチ観察画像処理部104との代わりに、それら処理部62、102、104を一まとめにした特定の画像処理部(特定の画像処理部80(図23参照)と同様。図示しない。)を設け、観察モードに対応するパラメータを用いて、各観察モードに対応する画像処理を行うようにしてもよい。
例えば、通常観察モードの場合であれば、特定の画像処理部において、通常画像用パラメータに設定して画像処理を行うことにより、通常画像を生成する。第1特殊観察モードの場合であれば、特定の画像処理部において、第1表示用観察画像用パラメータに設定して、第1表示用観察画像を生成する。第2特殊観察モードの場合であれば、特定の画像処理部において、第2表示用観察画像用パラメータに設定して、第2表示用観察画像を生成する。マルチ観察モードの場合であれば、予め定められた第1表示用観察画像と第2表示用観察画像との表示切替に合わせて、特定の画像処理部において、第1表示用観察画像用パラメータと第2表示用観察画像用パラメータとの切替を行うことによって、第1表示用観察画像と第2表示用観察画像とがそれぞれ生成されるようにする。
なお、上記第1及び第2実施形態では、プロセッサ装置16の処理負荷を軽減するために、第1表示用観察画像又は第2表示用観察画像に対して、表層血管や深層血管など血管の視認性を向上させるための特別の処理は行っていないが、状況に応じて、そのような血管の視認性を向上させる特別の処理を行うようにしてもよい。
例えば、第1実施形態の場合であれば、図39に示すように、第1特殊観察画像処理部63は、第1観察画像に対して、表層血管を抽出する血管抽出処理を行う。この血管抽出処理で抽出された表層血管を第1表示用観察画像で重ね合わせて表示するようにする。同様にして、第2特殊観察画像処理部64において、第2観察画像に対して、深層血管を抽出する血管抽出処理を行う。この血管抽出処理で抽出された深層血管を第2表示用観察画像で重ね合わせて表示するようにする。以上のように、血管抽出処理で抽出された血管を表示することで、血管抽出した血管の表示を使用しない場合と比較して、画像上での血管の視認性は向上する。なお、第3表示用観察画像を表示する場合には、第3特殊観察画像処理部65において、第3表示用観察画像に対して、表層血管又は深層血管を抽出する血管抽出処理を行う。この血管抽出処理で抽出された表層血管又は深層血管を第3表示用観察画像で表示するようにする。
また、第2実施形態の場合であれば、図40に示すように、マルチ観察画像処理部104は、特殊観察画像に対して、表層血管を抽出する血管抽出処理を行い、また、深層血管を抽出する血管抽出処理を行う。そして、血管抽出処理で抽出された表層血管は、第1表示用観察画像において、重ね合わせて表示するようにする。また、血管抽出処理で抽出された深層血管は、第2表示用観察画像において、重ね合わせて表示するようにする。以上のように、血管抽出処理で抽出された血管を表示することで、血管抽出した血管の表示を使用しない場合と比較して、画像上での血管の視認性は向上する。なお、第3表示用観察画像を表示する場合には、マルチ観察画像処理部104において、第3表示用観察画像に対して、表層血管又は深層血管を抽出する血管抽出処理を行う。この血管抽出処理で抽出された表層血管又は深層血管を第3表示用観察画像で表示するようにする。
上記第1及び第2実施形態において、画像取得部53、明るさ情報算出部54、DSP56、ノイズ除去部58、通常観察画像処理部62第1特殊観察画像処理部63、第2特殊観察画像処理部64、第3特殊観察画像処理部65、静止画保存部67、表示制御部66、表示期間設定部66a、静止画保存制御部68、特定の画像処理部80、特殊観察画像処理部102、マルチ観察画像処理部104など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
なお、本発明は、第1、第2実施形態のような内視鏡システム他、各種の医用画像処理装置に対して適用することが可能である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13b 静止画取得指示部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V−LED(Violet Light Emitting Diode)
20b B−LED(Blue Light Emitting Diode)
20c G−LED(Green Light Emitting Diode)
20d R−LED(Red Light Emitting Diode)
21 光源制御部
23 光路結合部
24 発光期間設定部
26a スライドバー
26b スライドバー
27a スライダ
27b スライダ
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
50 CDS/AGC回路
53 画像取得部
54 明るさ情報算出部
56 DSP(Digital Signal Processor)
58 ノイズ除去部
60 信号切替部
62 通常観察画像処理部
63 第1特殊観察画像処理部
64 第2特殊観察画像処理部
65 第3特殊観察画像処理部
66 表示制御部
66a 表示期間設定部
67 静止画保存部
68 静止画保存制御部
70a スライドバー
70b スライドバー
71a スライダ
71b スライダ
80 特定の画像処理部
100 内視鏡システム
102 特殊観察画像処理部
104 マルチ観察画像処理部

Claims (20)

  1. 前記第1分光情報を有する第1照明光と、前記第2分光情報を有する第2照明光とを発光する光源部と、
    前記第1照明光と前記第2照明光とを、それぞれ少なくとも2フレーム以上の発光期間にて発光させ、且つ、前記第1照明光と前記第2照明光とを自動的に切り替える光源制御部と、
    同一の観察対象が表示される少なくとも2つの第1表示用観察画像と第2表示用観察画像とを少なくとも2フレーム以上の表示期間にて自動的に切り替えて表示部に表示する表示制御部を有し、
    前記第1表示用観察画像が有する第1分光情報と前記第2表示用観察画像が有する第2分光情報とは異なっており、
    前記第1表示用観察画像と前記第2表示用観察画像とは、少なくとも背景粘膜の一部が同じ色調であり、
    前記第1表示用観察画像は、前記第1照明光により照明された前記観察対象を撮像することにより得られ、
    前記第2表示用観察画像は、前記第2照明光により照明された前記観察対象を撮像することにより得られる内視鏡システム。
  2. 前記表示制御部は、前記第1表示用観察画像と前記第2表示用観察画像とを切り替えるタイミングにおいて、前記第1表示用観察画像及び前記第2表示用観察画像とは異なる第3表示用観察画像を前記表示部に表示する請求項記載の内視鏡システム。
  3. 前記光源制御部は、前記第1表示用観察画像と前記第2表示用観察画像とを切り替えるタイミングにおいて、記第1照明光及び前記第2照明光とは異なる第3照明光を発光する請求項記載の内視鏡システム。
  4. 前記第1照明光は紫色光、緑色光、及び赤色光を含み、
    前記第2照明光は緑色光及び赤色光を含む請求項ないしいずれか1項記載の内視鏡システム。
  5. 前記第1照明光は紫色光、緑色光、及び赤色光を含み、
    前記第2照明光は青色光、緑色光、及び赤色光を含む請求項ないしいずれか1項記載の内視鏡システム。
  6. 前記第1表示用観察画像において、前記背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報を有し、前記第2表示用観察画像において、前記背景粘膜以外の領域に、前記生体組織の第2深さに含まれる第2特定情報を有し、前記第2深さは前記第1深さよりも深い請求項ないしいずれか1項記載の内視鏡システム。
  7. 前記第1照明光は前記第1深さまで深達する第1深さ深達光を含み、前記第2照明光は前記第2深さまで深達する第2深さ深達光を含む請求項記載の内視鏡システム。
  8. 観察画像を取得する画像取得部と、
    前記観察画像に基づいて、表示用観察画像を生成する表示用観察画像処理部と、
    同一の観察対象が表示される少なくとも2つの第1表示用観察画像と第2表示用観察画像とを少なくとも2フレーム以上の表示期間にて自動的に切り替えて表示部に表示する表示制御部を有し、
    前記第1表示用観察画像が有する第1分光情報と前記第2表示用観察画像が有する第2分光情報とは異なっており、
    前記第1表示用観察画像と前記第2表示用観察画像とは、少なくとも背景粘膜の一部が同じ色調であり、
    前記表示用観察画像処理部は、前記表示用観察画像として、前記観察画像の第1色信号を明るさ情報に割り当てて前記第1表示用観察画像を生成し、前記観察画像の第2色信号を明るさ情報に割り当てて第2表示用観察画像を生成する内視鏡システム。
  9. 前記観察画像は、紫色光、緑色光、及び赤色光を含む特殊光で照明された前記観察対象に撮像して得られる請求項記載の内視鏡システム。
  10. 前記表示制御部は、前記第1表示用観察画像と前記第2表示用観察画像とを切り替えるタイミングにおいて、前記第1表示用観察画像及び前記第2表示用観察画像とは異なる第3表示用観察画像を前記表示部に表示する請求項又は記載の内視鏡システム。
  11. 前記表示用観察画像処理部は、前記第1表示用観察画像と前記第2表示用観察画像とを切り替えるタイミングにおいて、前記観察画像の第1色信号と前記第2色信号を合成した合成信号を明るさ情報に割り当てて前記第3表示用観察画像を生成する請求項10記載の内視鏡システム。
  12. 前記第1表示用観察画像において、前記背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報を有し、前記第2表示用観察画像において、前記背景粘膜以外の領域に、前記生体組織の第2深さに含まれる第2特定情報を有し、前記第2深さは前記第1深さよりも深い請求項ないし11いずれか1項記載の内視鏡システム。
  13. 前記第1分光情報は、前記第1深さに対応する第1深さの分光情報を有し、前記第2分光情報は、前記第2深さに対応する第2深さの分光情報を有する請求項12記載の内視鏡システム。
  14. 前記第1表示用観察画像と前記第2表示用観察画像との切替に合わせて、前記第1表示用観察画像の生成に用いる第1表示用観察画像用パラメータと前記第2表示用観察画像の生成に用いる第2表示用観察画像用パラメータとが切り替えられる請求項1ないし13いずれか1項記載の内視鏡システム。
  15. 前記第1表示用観察画像と前記第2表示用観察画像において、前記背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報と、前記第1深さよりも深い前記生体組織の第2深さに含まれる第2特定情報とを有し、
    前記第1表示用観察画像から前記第2特定情報を少なくする第1低減処理、又は、前記第2表示用観察画像から前記第1特定情報を少なくする第2低減処理が行われる請求項1〜1114のうちいずれか1項記載の内視鏡システム。
  16. 前記表示制御部は、
    前記第1表示用観察画像の表示期間と前記第2表示用観察画像の表示期間を設定する表示期間設定部を有する請求項1ないし15のうちいずれか1項記載の内視鏡システム。
  17. 静止画取得指示を行う静止画取得指示部と、
    前記静止画取得指示が行われた場合に、前記第1表示用観察画像と前記第2表示用観察画像とを含む1セットの表示用観察画像を静止画保存部に保存する制御を行う静止画保存制御部とを備える請求項1ないし16いずれか1項記載の内視鏡システム。
  18. 前記第1特定情報は前記第1深さに位置する第1深さの血管であり、前記第2特定情報は前記第2深さに位置する第2深さの血管である請求項121315のうちいずれか1項記載の内視鏡システム。
  19. 前記第1表示用観察画像は、血管抽出処理によって抽出された前記第1深さ血管が表示され、前記第2表示用観察画像は、前記血管抽出処理によって抽出された前記第2深さ血管が表示される請求項18記載の内視鏡システム。
  20. 前記第1特定情報は前記第1深さに位置する第1深さの腺管構造であり、前記第2特定情報は前記第2深さに位置する第2深さの腺管構造である請求項121315のうちいずれか1項記載の内視鏡システム。
JP2020501664A 2018-02-20 2019-02-07 内視鏡システム Active JP6917518B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018027748 2018-02-20
JP2018027748 2018-02-20
PCT/JP2019/004486 WO2019163540A1 (ja) 2018-02-20 2019-02-07 内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2019163540A1 JPWO2019163540A1 (ja) 2021-02-04
JP6917518B2 true JP6917518B2 (ja) 2021-08-11

Family

ID=67687086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020501664A Active JP6917518B2 (ja) 2018-02-20 2019-02-07 内視鏡システム

Country Status (4)

Country Link
EP (1) EP3756532B1 (ja)
JP (1) JP6917518B2 (ja)
CN (1) CN111770717B (ja)
WO (1) WO2019163540A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114929091A (zh) * 2020-01-09 2022-08-19 富士胶片株式会社 内窥镜系统及其工作方法
CN115209778A (zh) * 2020-02-28 2022-10-18 富士胶片株式会社 内窥镜系统及内窥镜系统的工作方法
CN115135225A (zh) * 2020-03-06 2022-09-30 富士胶片株式会社 内窥镜系统、控制方法及控制程序
CN115697179A (zh) * 2020-06-08 2023-02-03 富士胶片株式会社 内窥镜系统及其工作方法
WO2022083522A1 (zh) * 2020-10-19 2022-04-28 夏林嘉 用于全彩 led 显示屏的三基色发光器件
CN113837973B (zh) * 2021-11-29 2022-02-18 中国科学院苏州生物医学工程技术研究所 基于光纤探头的共聚焦内窥镜图像校正方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06109424A (ja) * 1992-09-24 1994-04-19 Central Japan Railway Co 計測対象物撮像装置
KR100411631B1 (ko) * 2001-10-18 2003-12-18 주식회사 메디미르 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
JP5504990B2 (ja) * 2010-03-12 2014-05-28 カシオ計算機株式会社 撮像装置、画像処理装置及びプログラム
JP5550574B2 (ja) * 2011-01-27 2014-07-16 富士フイルム株式会社 電子内視鏡システム
JP5794475B2 (ja) * 2011-09-27 2015-10-14 株式会社リコー 撮像装置
TW201322070A (zh) * 2011-11-21 2013-06-01 Novatek Microelectronics Corp 雜訊過濾方法
JP6253230B2 (ja) * 2012-12-25 2017-12-27 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
JP6392570B2 (ja) * 2014-07-11 2018-09-19 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理プログラム、及び内視鏡システム
JP6196598B2 (ja) 2014-09-30 2017-09-13 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6597635B2 (ja) * 2014-12-09 2019-10-30 ソニー株式会社 照明装置及び照明装置の作動方法並びに画像取得システム
JP6285370B2 (ja) * 2015-01-22 2018-02-28 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP6461760B2 (ja) 2015-09-25 2019-01-30 富士フイルム株式会社 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム
WO2017057574A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
EP3711652A4 (en) * 2017-11-13 2021-01-06 Fujifilm Corporation ENDOSCOPIC SYSTEM AND METHOD OF OPERATING IT

Also Published As

Publication number Publication date
JPWO2019163540A1 (ja) 2021-02-04
EP3756532A1 (en) 2020-12-30
CN111770717A (zh) 2020-10-13
EP3756532B1 (en) 2024-04-17
CN111770717B (zh) 2023-11-07
WO2019163540A1 (ja) 2019-08-29
EP3756532A4 (en) 2021-03-10

Similar Documents

Publication Publication Date Title
US11062442B2 (en) Vascular information acquisition device, endoscope system, and vascular information acquisition method
JP6917518B2 (ja) 内視鏡システム
WO2019093355A1 (ja) 内視鏡システム及びその作動方法
JP7146925B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP2020065685A (ja) 内視鏡システム
JP6909856B2 (ja) 内視鏡システム
JP7080195B2 (ja) 内視鏡システム
JP2017184861A (ja) 画像処理装置及びその作動方法並びに内視鏡用プロセッサ装置及びその作動方法
JP7136933B2 (ja) 内視鏡システム
WO2020039932A1 (ja) 内視鏡システム
US20230029239A1 (en) Medical image processing system and method for operating medical image processing system
US11744437B2 (en) Medical image processing system
JP6378140B2 (ja) 内視鏡システム及びその作動方法
JP6522457B2 (ja) 内視鏡システム及びその作動方法
JP7163243B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP7171885B2 (ja) 内視鏡システム
WO2021250952A1 (ja) 内視鏡システム及びその作動方法
JP7273988B2 (ja) 内視鏡システム
JP7015384B2 (ja) 医療画像処理システム
WO2020121868A1 (ja) 内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210719

R150 Certificate of patent or registration of utility model

Ref document number: 6917518

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150