JP6866531B2 - 医療画像処理システム及び内視鏡システム - Google Patents

医療画像処理システム及び内視鏡システム Download PDF

Info

Publication number
JP6866531B2
JP6866531B2 JP2020505039A JP2020505039A JP6866531B2 JP 6866531 B2 JP6866531 B2 JP 6866531B2 JP 2020505039 A JP2020505039 A JP 2020505039A JP 2020505039 A JP2020505039 A JP 2020505039A JP 6866531 B2 JP6866531 B2 JP 6866531B2
Authority
JP
Japan
Prior art keywords
reference value
unit
value
biological information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020505039A
Other languages
English (en)
Other versions
JPWO2019172231A1 (ja
Inventor
典雅 繁田
典雅 繁田
孝明 齋藤
孝明 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019172231A1 publication Critical patent/JPWO2019172231A1/ja
Application granted granted Critical
Publication of JP6866531B2 publication Critical patent/JP6866531B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Description

本発明は、血中ヘモグロビンの酸素飽和度などの生体情報を求める医療画像処理システム及び内視鏡システムに関する。
医療分野においては、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。また、近年においては、生体情報の中でも血中ヘモグロビンの酸素飽和度を用いた病変部の診断が行われつつある(特許文献1、2、3)。
特開2012−213550号公報 特開2012−125402号公報 特開2011−194028号公報
観察対象においては正常部と異常部(ガンなどの病変部)とで生体情報(例えば、酸素飽和度)に違いがあることが知られている。ユーザーは、正常部と異常部との酸素飽和度による違いを把握することにより、異常部の発見を容易に行うことができる。これに関して、特許文献3では、生体情報の一つである酸素飽和度の基準値を設定し、基準値と各位置における酸素飽和度と差分値を疑似カラーで表示している。この特許文献3において、基準値を正常部に設定することで、差分値の疑似カラー画像から、正常部と異常部の酸素飽和度の違いを把握することができるようになる。
しかしながら、観察対象においてハレーションなどが生じている領域においては、算出される生体情報の信頼度が低くなっている。このような生体情報の信頼度が低い領域に対して、基準値を設定した場合には、基準値との差分値の信頼度も低くなる。
本発明は、生体情報に関する信頼度が低い領域が存在する場合であっても、生体情報の測定値に対する基準となる基準値を適切に設定することができる医療画像処理システム及び内視鏡システムを提供することを目的とする。
本発明の医療画像処理システムは、画像取得部と、生体情報算出部と、信頼度算出部と、基準値処理部と、差分画像生成部とを備える。画像取得部は、観察対象を撮像して得られる観察画像を取得する。生体情報算出部は、観察画像に基づいて、観察対象に含まれる生体情報を算出する。信頼度算出部は、観察画像に基づいて、生体情報に関する信頼度を算出する。基準値処理部は、観察対象のうち測定対象の生体情報を示す測定値に対して、信頼度を用いて生体情報の基準となる基準値を設定する。差分画像生成部は、測定値と基準値との差分値を算出し、差分値に基づいて差分画像を生成する。
本発明は、生体情報画像生成部と、基準値算出領域設定部とを含むことが好ましい。生体情報画像生成部は、生体情報に基づいて、生体情報を画像化した生体情報画像を生成する。基準値算出領域設定部は、観察画像又は生体情報画像において、基準値の算出対象となる基準値算出領域を設定する。基準値処理部は、基準値算出領域に含まれる生体情報に基づいて、基準値を算出する第1基準値算出部を含むことが好ましい。基準値算出領域設定部は、信頼度に基づいて、基準値算出領域を自動的に設定することが好ましい。
本発明は、領域適正判定部と、エラー発生部とを備えることが好ましい。領域適正判定部は、基準値算出領域に含まれる信頼度の代表値が領域判定用閾値以上の場合には、基準値算出領域において基準値の設定を適正に行えると判定し、信頼度の代表値が領域判定用閾値を下回る場合には、基準値算出領域において基準値の設定を適正に行えないと判定する。エラー発生部は、基準値算出領域において基準値の設定が正確に行えないと判定された場合に、基準値の算出を正確に算出できないことを報知するエラーを発する。
基準値処理部は、観察画像又は生体情報画像のうち、信頼度が第1信頼度用閾値を下回る低信頼度領域については、基準値算出領域の設定を禁止する領域設定禁止制御を行う領域設定禁止制御部を含むことが好ましい。低信頼度領域を表示部に表示する表示制御部を備えることが好ましい。基準値は、基準値算出領域に含まれる生体情報の代表値であることが好ましい。
第1基準値算出部は、基準値算出領域に含まれる生体情報に対して、信頼度に基づく重み付け係数を掛け合わせて加算することにより、基準値を算出することが好ましい。基準値処理部は、生体情報に対して、信頼度に基づく重み付け係数を掛け合わせて加算することにより、基準値を算出する第2基準値算出部を含むことが好ましい。
基準値処理部は、互いに異なる複数の第2信頼度用閾値が予め設定されており、信頼度が各第2信頼度用閾値以上の高信頼度領域を複数設定する高信頼度領域設定部と、各高信頼度領域に含まれる生体情報から、基準値の候補となる基準候補値を算出する第1基準候補値算出部とを備えることが好ましい。
高信頼度領域と高信頼度領域に対応する基準候補値とを表示部に表示する表示制御部と、表示部に表示された基準候補値の中から基準値を選択する第1基準値選択部とを備えることが好ましい。
本発明の医療画像処理システムは、画像取得部と、生体情報算出部と、基準値処理部と、差分画像生成部と、生体情報頻度分布算出部とを備える。画像取得部は、観察対象を撮像して得られる観察画像を取得する。生体情報算出部は、観察画像に基づいて、観察対象に含まれる生体情報を算出する。基準値処理部は、観察対象のうち測定対象の生体情報を示す測定値に対して、生体情報の基準となる基準値を設定する。差分画像生成部は、測定値と基準値との差分値を算出し、差分値に基づいて差分画像を生成する。生体情報頻度分布算出部は、生体情報の頻度分布を算出する。基準値処理部は、生体情報の頻度分布のうち生体情報の信頼度が低い第1分布領域を除いた第1領域除外分布に基づいて、基準値を算出する第3基準値算出部とを備える。
基準値処理部は、生体情報の頻度分布において生体情報の信頼度が低い第1分布領域が複数設定されており、生体情報の頻度分布のうち各第1分布領域を除いた第1領域除外分布を複数設定する第1領域除外分布設定部と、各第1領域除外分布に基づいて、基準値の候補となる基準候補値を算出する第2基準候補値算出部とを備えることが好ましい。
第1領域除外分布と第1領域除外分布に対応する基準候補値とを表示部に表示する表示制御部と、表示部に表示された基準候補値の中から基準値を選択する第2基準値選択部とを備えることが好ましい。
本発明の医療画像処理システムは、画像取得部と、生体情報算出部と、基準値処理部と、差分画像生成部と、演算値頻度分布算出部とを備える。画像取得部は、観察対象を異なるフレームにて撮像して得られる複数フレームの観察画像を取得する。生体情報算出部は、複数フレームの観察画像に基づく演算処理によって演算値を算出し、算出した演算値から、観察対象に含まれる生体情報を算出する。基準値処理部は、観察対象のうち測定対象の生体情報を示す測定値に対して、生体情報の信頼度を用いて生体情報の基準となる基準値を設定する。差分画像生成部は、測定値と基準値との差分値を算出し、差分値に基づいて差分画像を生成する。演算値頻度分布算出部は、演算値の頻度分布を算出する。基準値処理部は、演算値を信頼度として利用し、演算値の頻度分布のうち特定演算値を有する第2分布領域を除いた第2領域除外分布に基づいて、基準値を算出する第4基準値算出部とを備える。
基準値処理部は、演算値の頻度分布において特定演算値を有する第2分布領域が複数設定されており、生体情報の頻度分布のうち各第2分布領域を除いた第2領域除外分布を複数設定する第2領域除外分布設定部と、各第2領域除外分布に基づいて、基準値の候補となる基準候補値を算出する第3基準候補値算出部とを備えることが好ましい。
第2領域除外分布と第2領域除外分布に対応する基準候補値とを表示部に表示する表示制御部と、表示部に表示された基準候補値の中から基準値を選択する第3基準値選択部とを備えることが好ましい。
基準値処理部は、ユーザーインターフェースによって、基準値を設定するユーザー設定部を含み、ユーザー設定部によって設定された基準値は、信頼度によって調整される。
生体情報に基づいて、生体情報を画像化した生体情報画像を生成する生体情報画像生成部と、観察画像又は生体情報画像において、測定対象の領域を測定対象領域として設定する測定領域設定部と、測定対象領域に含まれる生体情報に基づいて、測定値を算出する測定値算出部とを備えることが好ましい。
本発明の内視鏡システムは、内視鏡と、画像取得部と、生体情報算出部と、信頼度算出部と、基準値処理部と、差分画像生成部とを備える。内視鏡は、観察対象を撮像して観察画像を得る。画像取得部は、観察対象を撮像して得られる観察画像を取得する。生体情報算出部は、観察画像に基づいて、観察対象に含まれる生体情報を算出する。信頼度算出部は、観察画像に基づいて、生体情報に関する信頼度を算出する。基準値処理部は、観察対象のうち測定対象の生体情報を示す測定値に対して、信頼度を用いて生体情報の基準となる基準値を設定する。差分画像生成部は、測定値と基準値との差分値を算出し、差分値に基づいて差分画像を生成する。
本発明によれば、生体情報に関する信頼度が低い領域が存在する場合であっても、生体情報の測定値に対する基準となる基準値を適切に設定することができる。
内視鏡システムの外観図である。 レーザ光源を有する光源装置を備える内視鏡システムのブロック図である。 通常観察モード時に発光する光のスペクトルを示すグラフである。 生体情報測定モード時に発光する光のスペクトルを示すグラフである。 RGBカラーフィルタの分光透過率を示すグラフである。 レーザ光源を有する光源装置を使用する場合における通常観察モード時の撮像制御を示す説明図である。 レーザ光源を有する光源装置を使用する場合における生体情報測定モード時の撮像制御を示す説明図である。 酸素飽和度処理部のブロック図である。 信号比B1/G2,R2/G2と酸素飽和度の相関関係を示すグラフである。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 酸素飽和度を算出する方法を示す説明図である。 差分値に応じた疑似カラー画像を示す画像図である。 等高線の差分画像を示す画像図である。 基準値算出領域RSと測定対象領域RMを示す画像図である。 基準値算出領域RSと複数の測定対象領域RMを示す画像図である。 第1実施形態の基準値処理部の機能を示すブロック図である。 基準値算出領域RSと基準値算出候補領域CRSを示す画像図である。 正常部設定用領域を示す画像図である。 基準値算出領域RSに含まれる酸素飽和度に対して、信頼度に基づく重み付け係数を掛け合わせて加算して得られる基準値の算出方法を示す説明図である。 エラー情報を示す画像図である。 低信頼度領域を示す画像図である。 第2実施形態の基準値処理部の機能を示すブロック図である。 酸素飽和度に対して、信頼度に基づく重み付け係数を掛け合わせて加算して得られる基準値の算出方法を示す説明図である。 高信頼度領域とこの高信頼度領域に対応する基準候補値を示す画像図である。 第2実施形態における基準値の選択方法を示す説明図である。 第3実施形態の基準値処理部の機能を示すブロック図である。 酸素飽和度の頻度分布に基づく基準値の算出方法を示す説明図である。 複数の第1領域除外分布に基づく基準値の算出方法を示す説明図である。 第3実施形態における基準値の選択方法を示す説明図である。 第4実施形態の基準値処理部の機能を示すブロック図である。 信号比B1/G2の頻度分布に基づく基準値の算出方法を示す説明図である。 複数の第2領域除外分布に基づく基準値の算出方法を示す説明図である。 第5実施形態の基準値処理部の機能を示すブロック図である。 基準値を設定するための数値を直接入力する基準値入力画面を示す画像図である。 基準値を設定するための数値を段階的に増減させる基準値入力画面を示す画像図である。 スライドバーとスライダを用いて、基準値を設定するための数値を段階的に増減させる基準値入力画面を示す画像図である。 複数のLEDを有する光源装置を備える内視鏡システムのブロック図である。 LEDの発光帯域とHPFの特性を示すグラフである。 複数のLEDを有する光源装置を使用する場合における通常観察モード時の撮像制御を示す説明図である。 複数のLEDを有する光源装置を使用する場合における生体情報測定モード時の撮像制御を示す説明図である。 回転フィルタを有する光源装置を備える内視鏡システムのブロック図である。 回転フィルタの平面図である。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16、モニタ18(表示部)と、ユーザーインターフェース20とを有する。内視鏡12は、光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部21と、挿入部21の基端部分に設けられた操作部22と、挿入部21の先端側に設けられた湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作にともなって、先端部24が所望の方向に向けられる。
また、操作部22には、アングルノブ22aの他、モード切替SW(モード切替スイッチ)22bと、ズーム操作部22cと、静止画像を保存するためのフリーズボタン(図示しない)と、が設けられている。モード切替SW22bは、通常観察モードと、生体情報測定モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、被検体内の観察対象をフルカラー画像化した通常光画像をモニタ18に表示するモードである。生体情報測定モードは、観察対象に含まれる生体情報の一つである血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像をモニタ18に表示するモードである。ズーム操作部22cは、内視鏡12内のズームレンズ47(図2参照)を駆動させて、観察対象を拡大させるズーム操作に用いられる。
なお、生体情報測定モードでは、酸素飽和度を算出するが、酸素飽和度以外の生体情報を算出するようにしてもよい。例えば、生体情報測定モード時に得られる観察画像から特定深さの血管を抽出し、特定の関心領域内における特定深さの血管が占める割合を血管密度として算出することが考えられる。この血管密度は生体情報の一種であり、観察対象の診断に有効である。血管密度は数値としてモニタ18に表示する他に、血管密度の大きさに合わせて疑似カラー画像化した血管密度画像(生体情報画像)をモニタ18に表示するようにしてもよい。
プロセッサ装置16は、モニタ18及びユーザーインターフェース20と電気的に接続される。モニタ18は、通常光画像や酸素飽和度画像等の画像、及びこれらの画像に関する情報(以下、画像情報等という)を表示する。ユーザーインターフェース20は、機能設定等の入力操作を受け付ける機能を有し、具体的には、キーボードやマウスなどから構成される。なお、プロセッサ装置16には、画像情報等を記録する記録部(図示省略)を接続しても良い。
図2に示すように、光源装置14は、中心波長473nmの第1青色レーザ光を発する第1青色レーザ光源(473LD(レーザダイオード))34と、中心波長445nmの第2青色レーザ光を発する第2青色レーザ光源(445LD)36とを発光源として備えている。これらの半導体発光素子からなる各光源34,36の発光は、光源制御部40により個別に制御される。このため、第1青色レーザ光源34の出射光と、第2青色レーザ光源36の出射光の光量比は変更自在になっている。
光源制御部40は、通常観察モードの場合には、第2青色レーザ光源36を点灯させる。これに対して、生体情報測定モードの場合には、1フレーム間隔で、第1青色レーザ光源34と第2青色レーザ光源36を交互に点灯させる。なお、第1,第2青色レーザ光の半値幅は±10nm程度にすることが好ましい。また、第1青色レーザ光源34と第2青色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としても良い。
各光源34,36から出射される第1,第2青色レーザ光は、集光レンズ、光ファイバ、合波器等の光学部材(いずれも図示せず)を介してライトガイド(LG)41に入射する。ライトガイド41は、光源装置14と内視鏡12を接続するユニバーサルコード17(図1参照)と、内視鏡12に内蔵されている。ライトガイド41は、各光源34,36からの第1,第2青色レーザ光を、内視鏡12の先端部24まで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部24は、照明光学系24aと撮像光学系24bを有している。照明光学系24aには、蛍光体44と、照明レンズ45が設けられている。蛍光体44には、ライトガイド41から第1,第2青色レーザ光が入射する。蛍光体44は、第1または第2青色レーザ光が照射されることで蛍光を発する。また、一部の第1または第2青色レーザ光は、そのまま蛍光体44を透過する。蛍光体44を出射した光は、照明レンズ45を介して観察対象に照射される。
通常観察モードにおいては、第2青色レーザ光が蛍光体44に入射するため、図3に示すスペクトルの通常光が観察対象に照射される。この通常光は、第2青色レーザ光と、この第2青色レーザ光により蛍光体44から励起発光する緑色〜赤色の第2蛍光とから構成される。したがって、通常光は、波長範囲が可視光全域に及んでいる。
一方、生体情報測定モードにおいては、第1青色レーザ光と第2青色レーザ光が蛍光体44に交互に入射することにより、図4に示すスペクトルの測定光と通常光が交互に観察対象に照射される。測定光は、酸素飽和度を測定するために用いられ、第1青色レーザ光と、この第1青色レーザ光により蛍光体44から励起発光する緑色〜赤色の第1蛍光とから構成される。したがって、測定光は、波長範囲が可視光全域に及んでいる。通常光は、通常観察モード時に照射される通常光と同様である。
第1蛍光と第2蛍光は、波形(スペクトルの形状)がほぼ同じであり、第1蛍光の強度(I1(λ))と第2蛍光の強度(I2(λ))の比(以下、フレーム間強度比という)は、何れの波長λにおいても同じである。例えば、I2(λ1)/I1(λ1)=I2(λ2)/I1(λ2)である。このフレーム間強度比I2(λ)/I1(λ)は、酸素飽和度の算出精度に影響を与えるものであるため、光源制御部40により、予め設定された基準フレーム間強度比を維持するように高精度に制御されている。
なお、蛍光体44は、第1及び第2青色レーザ光の一部を吸収して、緑色〜赤色に励起発光する複数種類の蛍光体(例えばYAG系蛍光体、あるいはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。また、本実施形態のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の測定光及び通常光が得られる。また、各白色光の強度を容易に調整できる上に、色温度、色度の変化を小さく抑えることができる。
図2に示すように、内視鏡12の撮像光学系24bは、撮像レンズ46、ズームレンズ47、センサ48を有している(図2参照)。観察対象からの反射光は、撮像レンズ46及びズームレンズ47を介してセンサ48に入射する。これにより、センサ48に観察対象の反射像が結像される。ズームレンズ47は、ズーム操作部22cを操作することでテレ端とワイド端との間を移動する。ズームレンズ47がテレ端とワイド端との間で移動することにより、観察対象の反射像が拡大又は縮小する。
センサ48は、カラーの撮像素子であり、観察対象の反射像を撮像して画像信号を出力する。センサ48は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサである。また、センサ48は、撮像面にRGBカラーフィルタが設けられたRGB画素を有しており、RGBの各色の画素で光電変換をすることによってR,G,Bの三色の画像信号を出力する。
図5に示すように、Bカラーフィルタは380〜560nmの分光透過率を有しており、Gカラーフィルタは450〜630nmの分光透過率を有しており、Rカラーフィルタ580〜760nmの分光透過率を有している。したがって、通常観察モード時に通常光が観察対象に照射された場合には、B画素には第2青色レーザ光と第2蛍光の緑色成分の一部が入射し、G画素には第2蛍光の緑色成分の一部が入射し、R画素には第2蛍光の赤色成分が入射する。但し、第2青色レーザ光は第2蛍光よりも発光強度が極めて大きいのでB画素から出力するB画像信号の大部分は第2青色レーザ光の反射光成分で占められている。
一方、生体情報測定モード時に測定光が観察対象に照射された場合には、B画素には第1青色レーザ光と第1蛍光の緑色成分の一部が入射し、G画素には第1蛍光の緑色成分の一部が入射し、R画素には第1蛍光の赤色成分が入射する。但し、第1青色レーザ光は第1蛍光よりも発光強度が極めて大きいので、B画像信号の大部分は第1青色レーザ光の反射光成分で占められている。なお、生体情報測定モード時に通常光が観察対象に照射されたときのRGB各画素での光入射成分は、通常観察モードの場合と同様である。
なお、センサ48としては、撮像面にC(シアン),M(マゼンタ),Y(イエロー)及びG(グリーン)の補色フィルタを備えた、いわゆる補色イメージセンサを用いても良い。センサ48として補色イメージセンサを用いる場合は、CMYGの四色の画像信号からRGBの三色の画像信号に色変換する色変換部を、内視鏡12、光源装置14またはプロセッサ装置16のいずれかに設けておけば良い。こうすれば補色イメージセンサを用いる場合でも、CMYGの4色の画像信号から色変換によってRGB3色の画像信号を得ることができる。
撮像制御部49はセンサ48の撮像制御を行う。図6に示すように、通常観察モード時には、1フレームの期間毎に、通常光で照明された観察対象をセンサ48で撮像する。これにより、1フレーム毎にセンサ48からRGBの各画像信号が出力される。
撮像制御部49は、生体情報測定モード時も、通常観察モード時と同様にしてセンサ48の撮像制御を行う。但し、生体情報測定モード下ではセンサ48の撮像のフレームに同期して測定光と通常光が交互に観察対象に照射されるので、図7に示すように、センサ48は、1フレーム目に測定光で観察対象を撮像し、次の2フレーム目では通常光で観察対象を撮像する。センサ48は、1フレーム目,2フレーム目ともRGBの各色の画像信号を出力するが、依拠する白色光のスペクトルが異なるので、以下では区別のために、1フレーム目に測定光で撮像して得られるRGB各色の画像信号をそれぞれR1画像信号,G1画像信号,B1画像信号といい、2フレーム目に通常光で撮像して得られるRGB各色の画像信号をR2画像信号,G2画像信号,B2画像信号という。
センサ48から出力される各色の画像信号は、CDS(correlated double sampling)/AGC(automatic gain control)回路50送信される(図2参照)。CDS/AGC回路50は、センサ48から出力されるアナログの画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS/AGC回路50を経た画像信号は、A/D変換器52によってデジタル画像信号に変換される。こうしてデジタル化された画像信号はプロセッサ装置16に入力される。
プロセッサ装置16は、画像取得部54と、画像処理切替部60と、通常モード処理部62と、生体情報測定モード処理部64と、表示制御部66とを備えている。画像取得部54は、内視鏡12から入力される画像信号を観察対象の画像として取得する。DSP(Digital Signal Processor)56とノイズ除去部58を備えており、DSP56は、受信した画像信号に対して色補正処理等のデジタル信号処理を行う。ノイズ除去部58は、DSP56で色補正処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ除去処理を施す。ノイズが除去された画像信号は、画像処理切替部60に入力される。
画像処理切替部60は、モード切替SW22bが通常観察モードにセットされている場合には、画像信号を通常モード処理部62に入力する。一方、モード切替SW22bが生体情報測定モードに設定されている場合、画像処理切替部60は、画像信号を生体情報測定モード処理部64に入力する。
通常モード処理部62は、入力した画像信号に対して、色変換処理と、色彩強調処理、構造強調処理などの通常モード用の画像処理を施す。この通常モード用の画像処理が施された画像信号は、通常観察画像として表示制御部66に入力される。
生体情報測定モード処理部64は、入力された画像信号に基づいて、酸素飽和度を算出し、算出した酸素飽和度を画像化した酸素飽和度画像を生成する酸素飽和度処理部70と、生体情報測定モードにおいて画像生成モードが差分画像生成モードに設定されている場合には、観察対象のうち測定対象の酸素飽和度を示す測定値に対して、酸素飽和度の基準となる基準値を設定するための基準値処理部72とを備えている。酸素飽和度処理部70と基準値処理部72の詳細については後述する。なお、酸素飽和度処理部70と基準値処理部72との間は、各種情報を交換できるようにするために、双方向の通信が可能となっている。
表示制御部66は、通常モード処理部62または生体情報測定モード処理部から入力される画像信号や各種情報などをモニタ18に表示するための制御を行う。この表示制御部66の制御に従って、モニタ18には、通常光画像や酸素飽和度画像の各種画像が表示される他、各種画像に各種情報が重畳されて表示される
図8に示すように、酸素飽和度処理部70は、位置合わせ処理部74と、光量比補正部76と、信号比算出部78と、相関関係記憶部80と、酸素飽和度算出部82(生体情報算出部)と、酸素飽和度画像生成部83(生体情報画像生成部)と、測定領域設定部84と、測定値算出部85とを備えている。
位置合わせ処理部74は、酸素飽和度処理部70に入力される2フレーム分の画像信号のうち、酸素飽和度の算出に用いるB1画像信号、G2画像信号、R2画像信号の位置合わせ処理を行う。このように位置合わせ処理を行うのは、観察対象や内視鏡12に動きが生ずることで、フレーム間で位置ズレが発生することがあるためである。具体的には、1フレーム目のB1画像信号を2フレーム目のG2画像信号、R2画像信号に位置合わせする。位置合わせ処理は、1フレーム目のB1画像信号と2フレーム目のB2画像信号とを比較して、観察対象の移動量を算出する。算出した観察対象の移動量に基づいて、B1画像信号に含まれる観察対象を移動させる。これにより、位置合わせ処理が完了する。なお、1フレーム目のB1画像信号と2フレーム目のB2画像信号から移動量を算出するのは、それらB1画像信号とB2画像信号に含まれる波長成分が同じであり、同じような観察対象が写り込んでいるため、移動量の算出を正確に行えるためである。
光量比補正部76は、フレーム間での光量比の変動に合わせて、B1画像信号、G2画像信号、R2画像信号に対して、光量比補正処理を行う。光量比補正処理では、フレーム間の光量比の変動を反映している画像信号は、R1画像信号とR2画像信号であるため、これらR1画像信号とR2画像信号から光量比補正係数Ck(R2画像信号の平均値/R1画像信号の平均値)を算出する。そして、下記式により、G2画像信号、R2画像信号の光量比補正処理を行うことにより、光量比補正処理済みのG2画像信号とR2画像信号を得る。なお、係数kは、光源制御部40による光量制御が理想的に動作している場合に得られるR2画像信号の平均値/R1画像信号の平均値を表している。
式)光量比補正処理済みのG2画像信号=G2画像信号/Ck×k
光量比補正処理済みのR2画像信号=R2画像信号/Ck×k
信号比算出部78には、位置合わせ処理及び光量比補正処理済みの2フレーム分の画像信号のうち、B1画像信号、G2画像信号、R2画像信号が入力される。信号比算出部78は、B1画像信号とG2画像信号の信号比B1/G2と、G2画像信号とR2画像信号の信号比R2/G2とを、画素毎に算出する。
相関関係記憶部80は、信号比B1/G2及び信号比R2/G2と、酸素飽和度の相関関係を記憶している。この相関関係は、図9に示す二次元空間上に酸素飽和度の等値線を定義した2次元テーブルで記憶されている。信号比B1/G2及び信号比R2/G2に対する等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られ、各等値線の間隔は、血液量(信号比R2/G2)に応じて変化する。なお、信号比B1/G2及び信号比R2/G2と、酸素飽和度との相関関係はlogスケールで記憶されている。
なお、上記相関関係は、図10に示すように、酸化ヘモグロビン(グラフ86)や還元ヘモグロビン(グラフ87)の吸光特性や光散乱特性と密接に関連し合っている。例えば、第1青色レーザ光の中心波長473nmのように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい波長では、酸素飽和度の情報を取り扱いやすい。しかしながら、473nmの光に対応する信号を含むB1画像信号は、酸素飽和度だけでなく、血液量にも依存度が高い。そこで、B1画像信号に加え、主として血液量に依存して変化する光に対応するR2画像信号と、B1画像信号とR2画像信号のリファレンス信号となるG2画像信号から得られる信号比B1/G2及びR2/G2を用いることで血液量に依存することなく、酸素飽和度を正確に求めることができる。
酸素飽和度算出部82は、相関関係記憶部80に記憶された相関関係を参照し、信号比算出部78で算出された信号比B1/G2及び信号比R2/G2に対応する酸素飽和度を画素毎に算出する。例えば、特定画素における信号比B1/G2及び信号比R2/G2がそれぞれB1*/G2*及びR2*/G2*である場合、図11に示すように、相関関係を参照すると、信号比B1*/G2*及び信号比R2*/G2*に対応する酸素飽和度は「60%」である。したがって、酸素飽和度算出部82は、この画素の酸素飽和度を「60%」と算出する。
なお、信号比B1/G2及び信号比R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、信号比B1/G2や信号比R2/G2の値が、酸素飽和度0%の下限ライン88を上回ったり、反対に酸素飽和度100%の上限ライン89を下回ったりすることはほとんどない。但し、算出する酸素飽和度が下限ライン88を下回ってしまった場合には酸素飽和度算出部82は酸素飽和度を0%とし、上限ライン89を上回ってしまった場合には酸素飽和度を100%とする。また、信号比B1/G2及び信号比R2/G2に対応する点が下限ライン88と上限ライン89の間から外れた場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示をしたり、酸素飽和度を算出しないようにしても良い。
酸素飽和度画像生成部83は、酸素飽和度算出部82で算出された酸素飽和度のデータと、B2画像信号、G2画像信号、R2画像信号を用いて、生体情報画像として、酸素飽和度を画像化した酸素飽和度画像を生成する。生成した酸素飽和度画像は表示制御部66に送信され、また、キャプチャー指示があった場合には、酸素飽和度画像が画像保存部73(図2参照)に保存される。なお、酸素飽和度画像を画像保存部73に保存する場合には、酸素飽和度の数値データも合わせて保存することが好ましい。この場合、酸素飽和度の数値データ全体を保存すると膨大なデータ量になるため、酸素飽和度の代表値(例えば、平均値、最大値、最小値、中央値)などを保存することが好ましい。また、酸素飽和度画像だけでなく、通常光画像についても、キャプチャー指示に従って、画像保存部73に保存することが好ましい。
酸素飽和度画像生成部83には、疑似カラー画像生成モード、合成画像生成モード、差分画像生成モードの3種類の画像生成モードが設けられている。疑似カラー画像生成モードでは、酸素飽和度のデータに対応する疑似カラーで酸素飽和度を画像化した疑似カラー画像を生成する。合成画像生成モードでは、通常光画像において酸素飽和度が一定値以下の低酸素領域において、酸素飽和度に対応する疑似カラーで酸素飽和度を画像化した合成画像を生成する。差分画像生成モードでは、測定対象の酸素飽和度を示す測定値と、この測定値に対して基準となる酸素飽和度の基準値との差分値に対応する疑似カラーによって、酸素飽和度を画像化した差分画像を生成する。なお、上記3種類の画像生成モードは、ユーザーインターフェース20によって、適宜、切り替えることが可能である。また、差分画像生成モードに設定されている場合の酸素飽和度画像生成部が、本発明の「差分画像生成部」に対応する。
疑似カラー画像生成モードでは、輝度信号Yと色差信号Cr、Cbを有する疑似カラー画像を生成する。疑似カラー画像の輝度信号Yには、血管など観察対象の構造の視認性が高くなっているG2画像信号を割り当てる。一方、色差信号Cr、Cbについては、酸素飽和度との対応関係を記憶した疑似カラー画像用カラーテーブル(図示しない)が用いられる。したがって、疑似カラー画像用カラーテーブルを参照して、色差信号Cr、Cbには、酸素飽和度に対応する信号値がそれぞれ割り当てられる。例えば、疑似カラー画像用カラーテーブルにおいて、酸素飽和度が高い場合にはCrの信号値をCbよりも高くすることで、赤みが強くなるようにする。一方、酸素飽和度が低い場合にはCbの信号値をCrよりも高くすることで、青みが強くなるようにする。
合成画像生成モードでは、B2画像信号,G2画像信号,R2画像信号に対して、酸素飽和度に応じたゲインを画素毎に施し、ゲインを施したB2画像信号,G2画像信号,R2画像信号によって、合成画像を生成する。例えば、酸素飽和度が60%以上の高酸素領域の画素ではB2画像信号,G2画像信号,R2画像信号のいずれにも同じゲイン「1」を乗じる。これに対して、酸素飽和度が60%未満の低酸素領域の画素では、B2画像信号に対して「1」未満のゲインを乗じ、G2画像信号及びR2画像信号に対しては「1」以上のゲインを乗じる。これにより、高酸素領域では通常光画像と同様の色で表される一方、低酸素領域では酸素飽和度に応じた疑似カラーで表される合成画像が得られる。
差分画像生成モードでは、酸素飽和度算出部82において算出された酸素飽和度を測定値とし、その測定値と基準値処理部72で設定された基準値との差分値から、差分画像を生成する。差分画像については、各画素における測定値と基準値との差分値の代表値(例えば、平均値、最大値、最小値)を数値として表示するようにしてもよい。また、差分画像については、例えば、図12に示すように、各画素における酸素飽和度の測定値と基準値との差分値に応じた疑似カラーで表示する疑似カラーの差分画像としてもよい。また、差分画像については、図13に示すように、各画素における酸素飽和度の測定値と基準値との差分値に対応する等高線で表示する等高線の差分画像としてもよい。この等高線の差分画像では、等高線X1は基準値との差分値が「−20%」であることを、等高線X2は基準値との差分値が「−40%」であることを、等高線X3は基準値との差分値が「−50%」であることを示している。なお、差分値は、測定値−基準値とすることが好ましい。例えば、測定値が「60%」で、基準値が「80%」の場合には、差分値は「−20%」となる。
また、図14に示すように、測定領域設定部84において、後述する基準値算出領域RSとは別の領域に、測定対象の領域を測定対象領域RMとして設定し、測定値算出部85において、測定対象領域に含まれる酸素飽和度の代表値(例えば、平均値、最大値、最小値等)と基準値との差分値を算出する。そして、算出した差分値を数値等で表示した画像を、測定対象領域の差分画像としてもよい。測定対象領域の差分画像では、測定対象領域RMの差分値は「−30%」であることを示している。なお、測定対象領域RMは、基準値算出領域RSを設定した画像と同じ画像内で設定してもよく、基準値算出領域RSを設定した画像と異なるタイミングで得られた画像内で設定してもよい。また、基準値算出領域RS又は測定対象領域RMについては、それら領域を設定した画像と異なるタイミングで得られた画像において、領域の位置を追従するようにすることが好ましい。
測定対象領域の差分画像では、ユーザーインターフェース20によって、測定対象領域RMの設定が可能である。また、測定対象領域RMは複数設定可能であり、測定対象領域RMを増やす場合には、図15に示すように、画面右側の「+」ボタン90をポインタPtでクリックすると、画面内に測定対象領域RMが追加される。この追加された測定対象領域RMを測定対象にまで動かすことで、測定対象領域RMが設定される。一方、測定対象領域RMを減らす場合には、画面右側の「−」ボタン91をポインタPtでクリックすると、画面内から測定対象領域RMが削除される。
図16に示すように、基準値処理部72は、基準値算出領域設定部92と、信頼度算出部94と、領域適正判定部95と、第1基準値算出部96と、エラー発生部97と、領域設定禁止制御部98とを備えている。生体情報測定モードでは、画像生成モードとして、差分画像生成モードに設定されている場合には、図17Aに示すように、基準値の算出対象となる基準値算出領域RSを設定するための基準値算出領域設定用画像をモニタ18に表示するとともに、基準値算出領域設定部92を起動し、ユーザーに対して基準値算出領域RSを設定するように促す。基準値算出領域設定用画像では、基準値算出領域RSの候補となる基準値算出候補領域CRSが表示される。ユーザーは、ユーザーインターフェース20によって、観察対象のうち基準対象としたい領域にまで、基準値算出候補領域CRSを動かす。基準値算出候補領域CRSが基準対象に到達したら、ユーザーインターフェース20によって、領域確定処理を行う。これにより、基準値算出領域RSの設定が完了する。
なお、基準値算出領域設定用画像は、観察画像の一つである通常光画像の他、生体情報画像である疑似カラー画像や合成画像でもよい。また、基準値算出領域設定用画像として、それら通常光画像、疑似カラー画像、及び合成画像のうち2以上を並列して表示した場合には、いずれかの画像で基準値算出領域RSを設定した場合には、その他の画像にも連動して基準値算出領域RSを表示するようにしてもよい。また、基準値算出領域RSの形状は、矩形の他、円、楕円等、又は、ユーザーインターフェース20によるフリーハンドに基づく形状であってもよい。また、基準値算出領域RSの大きさは、例えば、ユーザーインターフェース20のうちマウスを長押しすることによって、領域を拡大又は縮小できるようにすることが好ましい。
また、基準値算出領域設定部92は、後述する信頼度を用いて、ユーザーを介することなく、自動的に基準値算出領域RSを設定するようにしてもよい。例えば、信頼度が「1」の領域については、基準値算出領域設定部92によって、基準値算出領域RSを自動的に設定するようにする。
また、特定タイミングで得られた画像において、基準値算出領域RSを設定した場合であっても、その特定タイミングと異なるタイミングで得られた画像に対しても基準値算出領域RSを設定してもよい。この場合には、時間的に最新の基準地算出領域RSが採用される。また、異なるタイミングで得られる複数の画像において基準値算出領域RSを設定する場合には、設定した基準値算出領域RSの画像については、モニタ18上の特定位置に、サムネイルを表示するようにしてもよい。また、1フレームの基準値算出領域設定用画像において、基準値算出領域RSを複数設定した場合には、複数の基準値算出領域RSのうち後述する信頼度が最も高い基準値算出領域RSを採用することが好ましい。
また、基準値算出領域RSの設定は、内視鏡12の体腔内への挿入中に得られる画像に対して行うことが好ましい。この場合には、基準値算出領域RSは、観察対象のうち正常部に設定する(デフォルトの領域とすることが好ましい)。正常部を設定する方法としては、図17Bに示すように、画面中央に正常部設定用領域を設け、正常部が正常部設定用領域に入るように、内視鏡12を操作する。正常部が正常部設定用領域に入ったら、ユーザーインターフェース20を操作することにより、その正常部を含む領域を基準値算出領域RSとして確定する。この基準地算出領域RSについても、後述と同様の手順によって、基準値が算出される。なお、後述の信頼度算出部94において、正常部らしさの信頼度を算出することが好ましい。この場合、正常部らしさの信頼度に基づいて酸素飽和度を算出し、算出した酸素飽和度に基づいて基準値を設定するようにしてもよい。
信頼度算出部94は、酸素飽和度に関する信頼度を算出する。信頼度は、例えば、「0」〜「1」の間の数値で表し、数値が大きいほど、信頼度が高いとすることが好ましい。信頼度としては、例えば、酸素飽和度の算出に用いるB1画像信号、G2画像信号、R2画像信号のいずれもが適正画素値の範囲内に入っている場合には、信頼度を「1」とすることが好ましい。これに対して、B1画像信号、G2画像信号、R2画像信号のうちのいずれかの画素値が適正画素値の範囲外となる場合(下限値を下回るような場合や上限値を上回るような場合)には、信頼度を「0」とすることが好ましい。また、B1画像信号、G2画像信号、R2画像信号のうちのいずれかの画素値が適正画素値の範囲外となった場合には、画素値の大きさに合わせて、信頼度を徐々に「0」に近づけていくことが好ましい。また、生体情報測定モード時に得られる画像信号のいずれかに基づいて得られる生体情報測定モード時の演算値が、黄色色素など残渣や残液が存在することを示している場合には、その領域の信頼度を低くすること(例えば、信頼度を「1」よりも小さくし、残渣、残液の量が大きくなる程、信頼度を低くする)が好ましい。また、生体情報測定モード時の演算値が深層血管の存在を示している場合には、信頼度を変化させることが好ましい。また、
領域適正判定部95は、基準値算出領域設定部92において基準値算出領域RSの設定が行われた場合、基準値算出領域RSに含まれる信頼度に基づいて、設定された基準値算出領域RSにおいて基準値の設定を適正に行えるか否かの判定を行う。具体的には、基準値算出領域RSに含まれる信頼度の代表値(例えば、平均値、最大値、最小値)が領域判定用閾値以上の場合には、基準値算出領域RSにおいて基準値の設定を適正に行えると判定する。この場合には、第1基準値算出部96において、基準値算出領域RSに含まれる酸素飽和度から、基準値の算出を行う。
第1基準値算出部96は、基準値の算出方法としては、基準値算出領域RSに含まれる酸素飽和度の代表値(例えば、平均値、最大値、最小値)を基準値として算出することが好ましい。また、第1基準値算出部96では、基準値算出領域RSに含まれる酸素飽和度に対して、信頼度に基づく重み付け係数を掛け合わせて加算することによって、基準値を算出するようにしてもよい。例えば、図18に示すように、基準値算出領域RSのうち、内側の領域RSIについては信頼度に基づく重み付け係数を「1」とし、外側の領域RSOについては信頼度に基づく重み付け係数を「0」とした場合には、内側の領域RSIに含まれる酸素飽和度に対して「1」を掛け合わせた値と、外側の領域RSOに含まれる酸素飽和度に対して「0」を掛け合わせた値を加算したものが基準値となる。
一方、基準値算出領域RSに含まれる信頼度の代表値(例えば、平均値、最大値、最小値)が領域判定用閾値を下回る場合には、基準値算出領域RSにおいて基準値の設定が適正に行えないと判定する。この場合には、エラー発生部97が、基準値算出領域RSにおいて基準値の設定を適正に行えないことを報知するためのエラー情報を表示制御部66に送信する。表示制御部66は、エラー情報に従って、図19に示すように、基準値算出領域RSとともに、エラー情報をモニタ18に表示する制御を行う。これに従って、ユーザーは、ユーザーインターフェース20によって、基準値算出領域RSを再設定する。
なお、基準値算出領域RSを設定する前に信頼度を算出した場合には、領域設定禁止制御部98によって、信頼度が第1信頼度用閾値を下回る低信頼度領域を設定し、低信頼度領域については基準値算出領域RSの設定を禁止する制御を行うようにしてもよい。ユーザーが、低信頼度領域において基準値算出領域RSの設定を行おうとした場合には、設定禁止である旨のアラートを行うようにすることが好ましい。なお、図20に示すように、
基準値算出領域設定用画像において低信頼度領域を重畳表示することで、ユーザーは、低信頼度領域を避けて、基準値算出領域RSを設定することができるようになる。
[第2実施形態]
第1実施形態では、基準値算出領域設定用画像において、基準値算出領域RSを設定し、設定した基準値算出領域RSに含まれる酸素飽和度に基づいて、基準値を算出するようにしているが、第2実施形態では、酸素飽和度算出部82で算出された各画素の酸素飽和度に対して、信頼度に基づく重み付け係数を掛け合わせて加算することにより、基準値を算出する。
第2実施形態では、第1実施形態の基準値処理部72に代えて、基準値処理部110が用いられる。それ以外については、第1実施形態とほぼ同様である。基準値処理部110は、図21に示すように、信頼度算出部111と、第2基準値算出部112と、高信頼度領域設定部114と、第1基準候補値算出部116と、第1基準値選択部118とを備えている。信頼度算出部111は、第1実施形態の信頼度算出部94と同様である。
第2基準値算出部112は、信頼度算出部111で算出した信頼度に基づいて、信頼度に基づく重み付け係数の設定を行う。例えば、信頼度と重み付け係数とは同じでも良い(即ち、信頼度が「1」の場合は重み付け係数を「1」とし、信頼度が「0」の場合は重み付け係数を「0」とする)。また、信頼度に対する閾値として第2信頼度用閾値を予め定めておき、信頼度が第2信頼度用閾値以上の場合に、重み付け係数を「1」とし、信頼度が第2信頼度用閾値を下回る場合に、重み付け係数を「0」としてもよい。そして、第2基準値算出部112は、図22に示すように、酸素飽和度算出部82で算出された各画素の酸素飽和度に対して、信頼度に基づく重み付け係数を掛け合わせて加算することにより、基準値が算出される。
なお、互いに異なる第2信頼度用閾値を複数設定する場合には、高信頼度領域設定部114において、信頼度が各第2信頼度用閾値以上となる高信頼度領域を複数設定する。高信頼度領域を設定した場合には、第1基準候補値算出部116において、各高信頼度領域に含まれる酸素飽和度から、各高信頼度領域に対応する基準候補値を算出する。これら高信頼度領域と基準候補値はそれぞれ、表示制御部66に送られる。表示制御部66は、図23に示すように、各高信頼度領域と基準候補値をモニタ18に表示する制御を行う。図23では、基準値選択用画像(基準値算出領域設定用画像と同じであることが好ましい)において、3つの高信頼度領域が表示され、且つ、各高信頼度領域に対応する基準候補値が「80%」、「90%」、「85%」と表示されている。
ユーザーは、モニタ18に表示されている各高信頼度領域内の基準候補値の中から、適正と考える基準候補値を選択する。基準候補値の選択は、ユーザーインターフェース20により行われる。図24に示すように、ユーザーが、ユーザーインターフェース20によってポインタPt操作して、例えば、基準候補値「80%」を選択した場合には、第1基準値選択部118は、3つの基準候補値の中から、基準候補値「80%」を基準値として選択する。
[第3実施形態]
第1実施形態では、基準値算出領域設定用画像において、基準値算出領域RSを設定し、設定した基準値算出領域RSに含まれる酸素飽和度に基づいて、基準値を算出するようにしているが、第3実施形態では、酸素飽和度算出部82で算出された各画素の酸素飽和度から酸素飽和度の頻度分布を算出し、酸素飽和度の頻度分布から基準値を算出するようにする。
第3実施形態では、第1実施形態の基準値処理部72に代えて、基準値処理部130が用いられる。それ以外については、第1実施形態とほぼ同様である。基準値処理部130は、図25に示すように、生体情報頻度分布算出部132と、第3基準値算出部134と、第1領域除外分布設定部136と、第2基準候補値算出部138と、第2基準値選択部140とを備えている。
生体情報頻度分布算出部132は、図26に示すように、酸素飽和度算出部82で算出された各画素の酸素飽和度から、酸素飽和度の頻度分布を算出する。この酸素飽和度の頻度分布では、酸素飽和度が極めて低い分布領域Rlow(第1分布領域)において一定の頻度を有している。これは、観察対象の実際の酸素飽和度を示しているものではなく、観察条件の影響を受けて、酸素飽和度の算出に用いる画像信号の画素値が異常値を示していることに基づくものであると考えられる。そのため、分布領域Rlowに含まれる酸素飽和度は、算出精度が低く、適正値でないと考えられる。即ち、酸素飽和度については、それ自体が酸素飽和度の信頼度を図る指標として用いることができることから、適正な基準値を算出するためには、第1領域除外分布設定部136は、酸素飽和度の頻度分布から、領域Rlowの分布を除外することによって、第1領域除外分布を得る。そして、第3基準値算出部134は、第1領域除外分布に含まれる酸素飽和度の代表値(例えば、平均値、最大値、最小値など)を求めることによって、基準値を算出する。なお、酸素飽和度の頻度分布から除外する領域としては、分布領域Rlowの他、酸素飽和度が極めて高い分布領域Rhigh(第1分布領域)としてもよい。
なお、複数の分布領域を除外する場合には、図27に示すように、第1領域除外分布設定部136において、各分布領域を除外した第1領域除外分布を複数設定する。図27では、酸素飽和度の頻度分布から分布領域Rlowのみを除外した第1領域除外分布142と、酸素飽和度の頻度分布から分布領域Rhighのみを除外した第1領域除外分布144と、酸素飽和度の頻度分布から分布領域Rlow及び分布領域Rhighを除外した第1領域除外分布146が設定されている。そして、第2基準候補値算出部138は、各第1領域除外分布142,144,146に含まれる酸素飽和度から、それぞれ基準候補値を算出する。算出された複数の基準候補値は、表示制御部66に送られる。表示制御部66は、基準値選択用画像において、複数の基準候補値をモニタ18に表示する。ここでは、基準候補値として、「80%」、「90%」、「85%」が表示される。
ユーザーは、モニタ18に表示されている基準候補値の中から、適正と考える基準候補値を選択する。基準候補値の選択は、ユーザーインターフェース20により行われる。図28に示すように、ユーザーが、ユーザーインターフェース20によってポインタPt操作して、例えば、基準候補値「80%」を選択した場合には、第2基準値選択部140は、3つの基準候補値の中から、基準候補値「80%」を基準値として選択する。
[第4実施形態]
第1実施形態では、基準値算出領域設定用画像において、基準値算出領域RSを設定し、設定した基準値算出領域RSに含まれる酸素飽和度に基づいて、基準値を算出するようにしているが、第4実施形態では、酸素飽和度の算出に用いる信号比(演算値)から酸素飽和度の頻度分布を算出し、酸素飽和度の頻度分布から基準値を算出するようにする。なお、信号比は、異なる画像信号間(例えば、B1画像信号とG2画像信号、又はG2画像信号とR2画像信号)の演算処理によって得られることから、演算値に相当する。
第4実施形態では、第1実施形態の基準値処理部72に代えて、基準値処理部150が用いられる。それ以外については、第1実施形態とほぼ同様である。基準値処理部150は、図29に示すように、演算値頻度分布算出部152と、第4基準値算出部154と、第2領域除外分布設定部156と、第3基準候補値算出部158と、第3基準値選択部160とを備えている。
演算値頻度分布算出部152は、図30に示すように、信号比算出部78で得られた信号比、例えばB1/G2から、信号比B1/G2の頻度分布を算出する。この信号比B1/G2の頻度分布では、信号値B1/G2が極めて低い分布領域Rlowにおいて一定の頻度を有している。これは、観察条件の影響を受けて、酸素飽和度の算出に用いる画像信号の画素値が異常値を示していることに基づくものであると考えられる。そのため、分布領域Rlowに含まれる信号比B1/G2は、酸素飽和度の算出精度が低く、適正値でないと考えられる。なお、演算値頻度分布算出部152では、信号比B1/G2に代えて又は加えて、信号比R2/G2の頻度分布を算出するようにしてもよい。
したがって、信号比B1/G2については、酸素飽和度の信頼度を図る指標として用いることができる。そこで、信号比B1/G2が、低信頼度の酸素飽和度の算出に用いた特定信号比(特定演算値)である場合には、第2領域除外分布設定部156は、信号比B1/G2の頻度分布から、特定信号比を有する第2分布領域の一つである分布領域Rlowの分布を除外することによって、第2領域除外分布を得る。そして、第4基準値算出部154は、第2領域除外分布に含まれる信号比B1/G2の代表値(例えば、平均値、最大値、最小値など)を求める。この信号比B1/G2の代表値と信号比R2/G2に基づいて、酸素飽和度算出部82により酸素飽和度を算出する。この算出した酸素飽和度を基準値として算出する。なお、第2分布領域については、分布領域Rlowの他、信号比B1/G2が極めて高い分布領域Rhighとしてもよい。
なお、複数の分布領域を除外する場合には、図31に示すように、第2領域除外分布設定部156において、各分布領域を除外した第2領域除外分布を複数設定する。図31では、信号比B1/G2の頻度分布から分布領域Rlowのみを除外した第2領域除外分布162と、信号比B1/G2の頻度分布から分布領域Rhighのみを除外した第2領域除外分布164と、信号比B1/G2の頻度分布から分布領域Rlow及び分布領域Rhighを除外した第2領域除外分布166が設定されている。そして、第3基準候補値算出部158は、各第2領域除外分布162,164,166に含まれる信号比B1/G2の代表値から、それぞれ酸素飽和度を算出する。これら第2領域除外分布162,164,166に対応する酸素飽和度を基準候補値として算出する。算出された複数の基準候補値は、表示制御部66に送られる。表示制御部66は、基準値選択用画像において、複数の基準候補値をモニタ18に表示する。ここでは、基準候補値として、「80%」、「90%」、「85%」が表示される。
ユーザーは、モニタ18に表示されている基準候補値の中から、適正と考える基準候補値を選択する。基準候補値の選択は、ユーザーインターフェース20により行われる。ユーザーが、ユーザーインターフェース20によってポインタPt操作して、例えば、基準候補値「80%」を選択した場合には、第3基準値選択部160は、3つの基準候補値の中から、基準候補値「80%」を基準値として選択する(図28参照)。
なお、第4実施形態では、信号比の頻度分布として、信号比B1/G2の頻度分布を算出しているが、分母分子で波長成分を揃えた信号比B1/(a×B2+b×G2)の頻度分布を算出するようにしてもよい。信号比B1/G2は、分母と分子で波長成分が異なっているため、適切に酸素飽和度を算出することができない場合がある。そこで、信号比B1/(a×B2+b×G2)(a、bは分母用の重み付け係数)においては、分子はB1画像信号そのままで、分母を、短波の成分を有する「B2画像信号」を重み付けして、G2画像信号に加算したものとすることで、分母と分子で波長成分を揃えることができる。これにより、適切に酸素飽和度を算出することができるようになる。
[第5実施形態]
第1実施形態では、基準値算出領域設定用画像において、基準値算出領域RSを設定し、設定した基準値算出領域RSに含まれる酸素飽和度に基づいて、基準値を算出するようにしているが、第5実施形態では、ユーザーによって、適宜、基準値を設定できるようにする。
第5実施形態では、第1実施形態の基準値処理部72に代えて、基準値処理部180が用いられる。基準値処理部180には、図32に示すように、ユーザー設定部182が設けられている。ユーザーインターフェース20によって、基準値ユーザー設定モードにセットされた場合には、表示制御部66は、図33に示すように、基準値を入力するための基準値入力画面184をモニタ18に表示する制御を行う。ユーザーは、ユーザーインターフェース20によって、入力画面に数値(例えば、酸素飽和度の「80%」)を入力する。数値を入力して特定時間経過したら、ユーザー設定部182は、入力された数値を基準値として設定する。設定された基準値は、後述の信頼度算出部183において算出される信頼度によって、適宜調整される。信頼度が正常の場合には、設定された基準値をそのまま用い、信頼度が異常の場合には、信頼度に応じて、設定された基準値を調整する。
信頼度算出部183は、酸素飽和度の算出に用いるB1画像信号、G2画像信号、R2画像信号の平均画素値を算出し、平均画素値に応じて、信頼度を算出する。B1画像信号、G2画像信号、R2画像信号のいずれもが適正画素値の範囲内に入っている場合には、信頼度を正常とすることが好ましい。また、B1画像信号、G2画像信号、R2画像信号のいずれかが適正画素値の範囲から外れている場合には、信頼度を異常とする。信頼度が異常である場合には、信頼度を正常にするための補正係数を、設定された基準値に掛け合わせることによって、基準値の調整を行う。
なお、数値そのものを入力する基準値入力画面184に代えて、図34に示すように、数値を段階的に増減させる基準値入力画面186を用いてもよい。この基準値入力画面186には、特定数値刻みで数値を増加させる「+」ボタン187と、特定数値刻みで数値を減少させる「−」ボタン188が設けられている。ユーザーは、ユーザーインターフェース20によって移動可能なポインタPtによって、「+」ボタン187と「−」ボタン188を操作することにより、特定値にセットする。特定値にセットして特定時間経過したら、ユーザー設定部182は、セットされた特定値を基準値として確定する。
また、数値を段階的に増減させる方法としては、基準値入力画面186を用いる他に、図35に示すように、「0%」〜「100%」の範囲で数値が割り当てられたスライドバー190と、このスライドバー上で移動可能なスライダ192が設けられた基準値入力画面194を用いるようにしてもよい。ユーザーは、ユーザーインターフェース20によって移動可能なポインタPtによって、スライドバー190のうちセットしたい数値が割り当てられた部分に、スライダ192を移動させる。スライダ192がセットしたい数値の部分にセットされて特定時間経過したら、ユーザー設定部182は、スライドバー190のうちスライダ192が位置する部分の数値を基準値として確定する。
なお、ユーザーによる基準値の設定方法としては、内視鏡の操作部に、基準値設定用のボタン(図示しない)を設け、この基準地設定用のボタンを押圧操作する毎に、基準値を特定値だけ増加又は減少させる方法がある。この場合には、基準値設定用のボタンを長押しすることで、基準値を連続的に増加又は減少させるようにしてもよい。
なお、上記実施形態において、光源装置14と異なる光源装置を用いるようにしてもよい。内視鏡システム300の光源装置14には、第1及び第2青色レーザ光源34,36と光源制御部40の代わりに、図36に示すように、LED(Light Emitting Diode)光源ユニット301と、LED光源制御部304が設けられている。また、内視鏡システム300の照明光学系24aには蛍光体44が設けられていない。それ以外については、第1実施形態の内視鏡システム10と同様である。
LED光源ユニット301は、特定の波長帯域に制限された光を発光する光源として、R−LED301a,G−LED301b,B−LED301cを有する。図37に示すように、R−LED301aは、600〜720nmの赤色領域の赤色帯域光(以下、単に赤色光という)し、G−LED301bは、480〜620nmの緑色領域の緑色帯域光(以下、単に緑色光)を発光する。また、B−LED301cは、400〜500nmの青色領域の青色帯域光(以下、単に青色光という)を発光する。
また、LED光源ユニット301は、B−LED301cが発する青色光の光路上に挿抜されるハイパスフィルタ(HPF)302を有する。ハイパスフィルタ302は、450nm以下の波長帯域の青色光をカットし、450nmより長波長帯域の光を透過する。
ハイパスフィルタ302のカットオフ波長(450nm)は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数がほぼ等しい波長であり(図10参照)、この波長を境に酸化ヘモグロビンと還元ヘモグロビンの吸光係数が逆転する。本実施形態の場合、相関関係記憶部80に記憶された相関関係は、酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数よりも大きい場合のものなので、カットオフ波長以下の波長帯域に基づくシグナルは、信号比B1/G2が473nmで測定する本来の値よりも低下し、不正確な酸素飽和度が算出される原因になる。このため、ハイパスフィルタ302は、酸素飽和度を算出するためのB1画像信号を取得する時に、カットオフ波長以下の波長帯域の光が観察対象に照射されないようにする。
したがって、ハイパスフィルタ302は、生体情報測定モード時にB−LED301cの前に挿入され、通常観察モード時には退避位置に退避される。ハイパスフィルタ302の挿抜は、LED光源制御部304の制御の下、HPF挿抜部303によって行われる。
LED光源制御部304は、LED光源ユニット301の各LED301a〜301cの点灯/消灯、及びハイパスフィルタ302の挿抜を制御する。具体的には、図38に示すように、通常観察モードの場合、LED光源制御部304は、各LED301a〜301cを全て点灯させ、ハイパスフィルタ302はB−LED301cの光路上から退避させる。
一方、図39に示すように、生体情報測定モードの場合、LED光源制御部304は、ハイパスフィルタ302をB−LED301cの光路上に挿入する。そして、1フレーム目は、B−LED301cを点灯させ、R−LED301a及びG−LED301bを消灯させることにより、450nm以下の波長帯域がカットされた青色光を観察対象に照射させる。そして、2フレーム目は、R−LED301a、G−LED301b、B−LED301cを全て点灯させ、B−LED301cが発する青色光のうち450nm以下の波長帯域がカットされた青色光と、R−LED301aが発する赤色光と、G−LED301bが発する緑色光からなる白色光を観察対象に照射させる。これにより、センサ48は、1フレーム目には、B1画像信号を出力し、2フレーム目にはR2画像信号,G2画像信号,B2画像信号をそれぞれ出力する。したがって、その後の処理は第1実施形態の内視鏡システム10と同様に行うことができる。
なお、第7実施形態では、生体情報測定モード時の1フレーム目、2フレーム目ともハイパスフィルタ402を挿入したまま観察対象を撮像しているが、1フレーム目だけハイパスフィルタ402を挿入し、2フレーム目にはハイパスフィルタ402を退避させても良い。また、生体情報測定モード時の1フレーム目では、B−LED301cだけを点灯させ、青色光だけを観察対象に照射しているが、1フレーム目でもR−LED301a及びG−LED301bを点灯させ、R1画像信号及びG1画像信号をセンサ48に出力させても良い。
図40に示すように、内視鏡システム400の光源装置14には、第1及び第2青色レーザ光源34,36と光源制御部40の代わりに、広帯域光源401と、回転フィルタ402と、回転フィルタ制御部403が設けられている。また、内視鏡システム400のセンサ405は、カラーフィルタが設けられていないモノクロの撮像素子である。それ以外については、第1実施形態の内視鏡システム10と同じである。
広帯域光源401は、例えばキセノンランプ、白色LED等からなり、波長帯域が青色から赤色に及ぶ白色光を発する。回転フィルタ402は、通常観察モード用フィルタ410と生体情報測定モード用フィルタ411とを備えており(図41参照)、広帯域光源401から発せられる白色光がライトガイド41に入射される光路上に、通常観察モード用フィルタ410を配置する通常観察モード用の第1位置と、生体情報測定モード用フィルタ411を配置する生体情報測定モード用の第2位置との間で径方向に移動可能である。この第1位置と第2位置への回転フィルタ402の相互移動は、選択された観察モードに応じて回転フィルタ制御部403によって制御される。また、回転フィルタ402は、第1位置または第2位置に配置された状態で、センサ405の撮像フレームに応じて回転する。回転フィルタ402の回転速度は、選択された観察モードに応じて回転フィルタ制御部403によって制御される。
図41に示すように、通常観察モード用フィルタ410は、回転フィルタ402の内周部に設けられている。通常観察モード用フィルタ410は、赤色光を透過するRフィルタ410aと、緑色光を透過するGフィルタ410bと、青色光を透過するBフィルタ410cと有する。したがって、回転フィルタ402を通常光観察モード用の第1位置に配置すると、広帯域光源401からの白色光は、回転フィルタ402の回転に応じてRフィルタ410a、Gフィルタ410b、Bフィルタ410cのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光が順次照射され、センサ405は、これらの反射光によりそれぞれ観察対象を撮像することにより、R画像信号、G画像信号、B画像信号を順次出力する。
また、生体情報測定モード用フィルタ411は、回転フィルタ402の外周部に設けられている。生体情報測定モード用フィルタ411は、赤色光を透過するRフィルタ411aと、緑色光を透過するGフィルタ411bと、青色光を透過するBフィルタ411cと、473±10nmの狭帯域光を透過する狭帯域フィルタ411dとを有する。したがって、回転フィルタ402を通常光観察モード用の第2位置に配置すると、広帯域光源401からの白色光は、回転フィルタ402の回転に応じてRフィルタ411a、Gフィルタ411b、Bフィルタ411c、狭帯域フィルタ411dのいずれかに入射する。このため、観察対象には、透過したフィルタに応じて、赤色光、緑色光、青色光,狭帯域光(473nm)が順次照射され、センサ405は、これらの反射光によりそれぞれ観察対象を撮像することにより、R画像信号、G画像信号、B画像信号、及び狭帯域画像信号を順次出力する。
生体情報測定モードで得られるR画像信号とG画像信号は、第1実施形態のR1(またはR2)画像信号とG1(またはG2)画像信号に対応する。また、生体情報測定モードで得られるB画像信号は、第1実施形態のB2画像信号に対応し、狭帯域画像信号はB1画像信号に対応する。したがって、その後の処理は第1実施形態の内視鏡システム10と同様に行うことができる。
なお、上記実施形態では、医療画像の一つである内視鏡画像の処理を行う内視鏡システムに対して、本発明の適用を行っているが、内視鏡画像以外の医療画像を処理する医療画像処理システムに対しても本発明の適用は可能である。また、医療画像を用いてユーザーに診断支援を行うための診断支援装置に対しても本発明の適用は可能である。また、医療画像を用いて、診断レポートなどの医療業務を支援するための医療業務支援装置に対しても本発明の適用は可能である。
上記実施形態において、通常モード処理部62、生体情報測定モード処理部64、酸素飽和度処理部70、基準値処理部72、基準値処理部130、基準値処理部150、基準値処理部180といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
14 光源装置
16 プロセッサ装置
17 ユニバーサルコード
18 モニタ
20 ユーザーインターフェース
21 挿入部
22 操作部
22a アングルノブ
22b モード切替SW
22c ズーム操作部
23 湾曲部
24 先端部
24a 照明光学系
24b 撮像光学系
34 第1青色レーザ光源
36 第2青色レーザ光源
40 光源制御部
41 ライトガイド
44 蛍光体
45 照明レンズ
46 撮像レンズ
47 ズームレンズ
48 センサ
49 撮像制御部
50 CDS/AGC回路
52 A/D変換器
54 画像取得部
56 DSP(Digital Signal Processor)
58 ノイズ除去部
60 画像処理切替部
62 通常モード処理部
64 生体情報測定モード処理部
66 表示制御部
70 酸素飽和度処理部
72 基準値処理部
73 画像保存部
74 処理部
76 光量比補正部
78 信号比算出部
80 相関関係記憶部
82 酸素飽和度算出部
84 酸素飽和度画像生成部
86 グラフ
87 グラフ
88 下限ライン
89 上限ライン
90 「+」ボタン
91 「−」ボタン
92 基準値算出領域設定部
94 信頼度算出部
95 領域適正判定部
96 第1基準値算出部
97 エラー発生部
98 領域設定禁止制御部
110 基準値処理部
111 信頼度算出部
112 第2基準値算出部
114 高信頼度領域設定部
116 第1基準候補値算出部
118 第1基準値選択部
130 基準値処理部
132 生体情報頻度分布算出部
134 第3基準値算出部
136 第1領域除外分布設定部
138 第2基準候補値算出部
140 第2基準値選択部
142,144,146 第1領域除外分布
146 第1領域除外分布
150 基準値処理部
152 演算値頻度分布算出部
154 第4基準値算出部
156 第2領域除外分布設定部
158 第3基準候補値算出部
160 第3基準値選択部
162,164,166 第2領域除外分布
166 第2領域除外分布
180 基準値処理部
182 ユーザー設定部
184 基準値入力画面
186 基準値入力画面
187 「+」ボタン
188 「−」ボタン
190 スライドバー
192 スライダ
194 基準値入力画面
300 内視鏡システム
301 LED(Light Emitting Diode)光源ユニット
302 ハイパスフィルタ(HPF)
303 挿抜部
304 光源制御部
400 内視鏡システム
401 広帯域光源
402 ハイパスフィルタ
402 回転フィルタ
403 回転フィルタ制御部
405 センサ
410 通常観察モード用フィルタ
410a Rフィルタ
410b Gフィルタ
410c Bフィルタ
411 生体情報測定モード用フィルタ
411a Rフィルタ
411b Gフィルタ
411c Bフィルタ
411d 狭帯域フィルタ

Claims (20)

  1. 観察対象を撮像して得られる観察画像を取得する画像取得部と、
    前記観察画像に基づいて、前記観察対象に含まれる生体情報を算出する生体情報算出部と、
    前記観察画像に基づいて、前記生体情報に関する信頼度を算出する信頼度算出部と、
    前記観察対象のうち測定対象の生体情報を示す測定値に対して、前記信頼度を用いて前記生体情報の基準となる基準値を設定する基準値処理部と、
    前記測定値と前記基準値との差分値を算出し、前記差分値に基づいて差分画像を生成する差分画像生成部とを備える医療画像処理システム。
  2. 前記生体情報に基づいて、前記生体情報を画像化した生体情報画像を生成する生体情報画像生成部と、
    前記観察画像又は前記生体情報画像において、前記基準値の算出対象となる基準値算出領域を設定する基準値算出領域設定部とを備え、
    前記基準値処理部は、前記基準値算出領域に含まれる生体情報に基づいて、前記基準値を算出する第1基準値算出部を含む請求項1記載の医療画像処理システム。
  3. 前記基準値算出領域設定部は、前記信頼度に基づいて、前記基準値算出領域を自動的に設定する請求項2記載の医療画像処理システム。
  4. 前記基準値算出領域に含まれる信頼度の代表値が領域判定用閾値以上の場合には、前記基準値算出領域において基準値の設定を適正に行えると判定し、前記信頼度の代表値が前記領域判定用閾値を下回る場合には、前記基準値算出領域において基準値の設定を適正に行えないと判定する領域適正判定部と、
    前記基準値算出領域において基準値の設定が正確に行えないと判定された場合に、前記基準値の算出を正確に算出できないことを報知するエラーを発するエラー発生部とを備える請求項2記載の医療画像処理システム。
  5. 前記基準値処理部は、
    前記観察画像又は前記生体情報画像のうち、前記信頼度が第1信頼度用閾値を下回る低信頼度領域については、前記基準値算出領域の設定を禁止する領域設定禁止制御を行う領域設定禁止制御部を含む請求項2記載の医療画像処理システム。
  6. 前記低信頼度領域を表示部に表示する表示制御部を備える請求項5記載の医療画像処理システム。
  7. 前記基準値は、前記基準値算出領域に含まれる生体情報の代表値である請求項2ないし6いずれか1項記載の医療画像処理システム。
  8. 前記第1基準値算出部は、前記基準値算出領域に含まれる生体情報に対して、前記信頼度に基づく重み付け係数を掛け合わせて加算することにより、前記基準値を算出する請求項2ないし6いずれか1項記載の医療画像処理システム。
  9. 前記基準値処理部は、
    前記生体情報に対して、前記信頼度に基づく重み付け係数を掛け合わせて加算することにより、前記基準値を算出する第2基準値算出部を含む請求項1記載の医療画像処理システム。
  10. 前記基準値処理部は、
    互いに異なる複数の第2信頼度用閾値が予め設定されており、前記信頼度が各第2信頼度用閾値以上の高信頼度領域を複数設定する高信頼度領域設定部と、
    各高信頼度領域に含まれる生体情報から、前記基準値の候補となる基準候補値を算出する第1基準候補値算出部とを備える請求項1記載の医療画像処理システム。
  11. 前記高信頼度領域と前記高信頼度領域に対応する基準候補値とを表示部に表示する表示制御部と、
    前記表示部に表示された前記基準候補値の中から前記基準値を選択する第1基準値選択部とを備える請求項10記載の医療画像処理システム。
  12. 観察対象を撮像して得られる観察画像を取得する画像取得部と、
    前記観察画像に基づいて、前記観察対象に含まれる生体情報を算出する生体情報算出部と、
    前記観察対象のうち測定対象の生体情報を示す測定値に対して、前記生体情報の基準となる基準値を設定する基準値処理部と、
    前記測定値と前記基準値との差分値を算出し、前記差分値に基づいて差分画像を生成する差分画像生成部と、
    前記生体情報の頻度分布を算出する生体情報頻度分布算出部とを備え、
    前記基準値処理部は、
    前記生体情報の頻度分布のうち前記生体情報の信頼度が低い第1分布領域を除いた第1領域除外分布に基づいて、前記基準値を算出する第3基準値算出部とを備える医療画像処理システム。
  13. 前記基準値処理部は、
    前記生体情報の頻度分布において前記生体情報の信頼度が低い第1分布領域が複数設定されており、前記生体情報の頻度分布のうち各第1分布領域を除いた第1領域除外分布を複数設定する第1領域除外分布設定部と、
    各第1領域除外分布に基づいて、前記基準値の候補となる基準候補値を算出する第2基準候補値算出部とを備える請求項12記載の医療画像処理システム。
  14. 前記第1領域除外分布と前記第1領域除外分布に対応する基準候補値とを表示部に表示する表示制御部と、
    前記表示部に表示された前記基準候補値の中から前記基準値を選択する第2基準値選択部とを備える請求項13記載の医療画像処理システム。
  15. 観察対象を異なるフレームにて撮像して得られる複数フレームの観察画像を取得する画像取得部と、
    前記複数フレームの観察画像に基づく演算処理によって演算値を算出し、算出した演算値から、前記観察対象に含まれる生体情報を算出する生体情報算出部と、
    前記観察対象のうち測定対象の生体情報を示す測定値に対して、前記生体情報の信頼度を用いて前記生体情報の基準となる基準値を設定する基準値処理部と、
    前記測定値と前記基準値との差分値を算出し、前記差分値に基づいて差分画像を生成する差分画像生成部と、
    前記演算値の頻度分布を算出する演算値頻度分布算出部とを備え、
    前記基準値処理部は、
    前記演算値を前記信頼度として利用し、
    前記演算値の頻度分布のうち特定演算値を有する第2分布領域を除いた第2領域除外分布に基づいて、前記基準値を算出する第4基準値算出部とを備える医療画像処理システム。
  16. 前記基準値処理部は、
    前記演算値の頻度分布において前記特定演算値を有する第2分布領域が複数設定されており、前記生体情報の頻度分布のうち各第2分布領域を除いた第2領域除外分布を複数設定する第2領域除外分布設定部と、
    各第2領域除外分布に基づいて、前記基準値の候補となる基準候補値を算出する第3基準候補値算出部とを備える請求項15記載の医療画像処理システム。
  17. 前記第2領域除外分布と前記第2領域除外分布に対応する基準候補値とを表示部に表示する表示制御部と、
    前記表示部に表示された前記基準候補値の中から前記基準値を選択する第3基準値選択部とを備える請求項16記載の医療画像処理システム。
  18. 前記基準値処理部は、
    ユーザーインターフェースによって、前記基準値を設定するユーザー設定部を含み、
    前記ユーザー設定部によって設定された基準値は、前記信頼度によって調整される請求項1記載の医療画像処理システム。
  19. 前記生体情報に基づいて、前記生体情報を画像化した生体情報画像を生成する生体情報画像生成部と、
    前記観察画像又は前記生体情報画像において、前記測定対象の領域を測定対象領域として設定する測定領域設定部と、
    前記測定対象領域に含まれる生体情報に基づいて、前記測定値を算出する測定値算出部とを備える請求項1、12、15、18のうちいずれか1項記載の医療画像処理システム。
  20. 観察対象を撮像して観察画像を得る内視鏡と、
    観察対象を撮像して得られる観察画像を取得する画像取得部と、
    前記観察画像に基づいて、前記観察対象に含まれる生体情報を算出する生体情報算出部と、
    前記観察画像に基づいて、前記生体情報に関する信頼度を算出する信頼度算出部と、
    前記観察対象のうち測定対象の生体情報を示す測定値に対して、前記信頼度を用いて前記生体情報の基準となる基準値を設定する基準値処理部と、
    前記測定値と前記基準値との差分値を算出し、前記差分値に基づいて差分画像を生成する差分画像生成部とを備える内視鏡システム。
JP2020505039A 2018-03-06 2019-03-05 医療画像処理システム及び内視鏡システム Active JP6866531B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018040248 2018-03-06
JP2018040248 2018-03-06
PCT/JP2019/008567 WO2019172231A1 (ja) 2018-03-06 2019-03-05 医療画像処理システム及び内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2019172231A1 JPWO2019172231A1 (ja) 2021-02-12
JP6866531B2 true JP6866531B2 (ja) 2021-04-28

Family

ID=67845556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020505039A Active JP6866531B2 (ja) 2018-03-06 2019-03-05 医療画像処理システム及び内視鏡システム

Country Status (3)

Country Link
US (1) US11386558B2 (ja)
JP (1) JP6866531B2 (ja)
WO (1) WO2019172231A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019172231A1 (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
JP2021049270A (ja) * 2019-09-26 2021-04-01 株式会社コンピュータマインド 情報処理装置、情報処理方法及びプログラム
EP4137035A4 (en) 2020-04-17 2023-11-15 FUJIFILM Corporation IMAGE PROCESSING DEVICE AND ITS OPERATING METHOD
CA3218508A1 (en) * 2021-05-25 2022-12-01 C.R. Bard, Inc. Endoscope imaging system
WO2023119795A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2023132138A1 (ja) * 2022-01-07 2023-07-13 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム
WO2024034253A1 (ja) * 2022-08-12 2024-02-15 富士フイルム株式会社 内視鏡システム及びその作動方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4563130B2 (ja) * 2004-10-04 2010-10-13 株式会社トプコン 光画像計測装置
JP5452300B2 (ja) 2010-03-19 2014-03-26 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP5395725B2 (ja) * 2010-04-05 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5616304B2 (ja) * 2010-08-24 2014-10-29 富士フイルム株式会社 電子内視鏡システム及び電子内視鏡システムの作動方法
JP2012110400A (ja) * 2010-11-22 2012-06-14 Konica Minolta Medical & Graphic Inc 動態診断支援情報生成システム
JP5558331B2 (ja) 2010-12-15 2014-07-23 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5351924B2 (ja) 2011-04-01 2013-11-27 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP5502812B2 (ja) * 2011-07-14 2014-05-28 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP6101048B2 (ja) * 2012-02-20 2017-03-22 キヤノン株式会社 画像処理装置及び画像処理方法
JP6109695B2 (ja) * 2013-09-27 2017-04-05 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置
JP6030035B2 (ja) * 2013-09-27 2016-11-24 富士フイルム株式会社 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法
JP5887367B2 (ja) * 2014-01-30 2016-03-16 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP6336949B2 (ja) * 2015-01-29 2018-06-06 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム
WO2016158276A1 (ja) * 2015-04-02 2016-10-06 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム及びその作動方法
WO2016162925A1 (ja) * 2015-04-06 2016-10-13 オリンパス株式会社 画像処理装置、生体観察装置および画像処理方法
JP6408457B2 (ja) * 2015-12-22 2018-10-17 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
US20190208985A1 (en) * 2016-09-02 2019-07-11 Hoya Corporation Electronic endoscope system
EP3590402A4 (en) * 2017-03-03 2020-03-11 Fujifilm Corporation ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD OF ENDOSCOPE SYSTEM
JP6731110B2 (ja) * 2017-03-06 2020-07-29 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2019172231A1 (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
JP7229676B2 (ja) * 2018-05-21 2023-02-28 株式会社日立製作所 生体情報検出装置および生体情報検出方法
JP7301595B2 (ja) * 2019-05-09 2023-07-03 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
EP3884840A1 (de) * 2020-03-27 2021-09-29 Diaspective Vision GmbH Medizinische bildgebungsvorrichtung zur ortsaufgelösten aufnahme multispektraler videodaten

Also Published As

Publication number Publication date
WO2019172231A1 (ja) 2019-09-12
US20200402235A1 (en) 2020-12-24
JPWO2019172231A1 (ja) 2021-02-12
US11386558B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
JP6866531B2 (ja) 医療画像処理システム及び内視鏡システム
US10231658B2 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
US9629555B2 (en) Endoscope system, endoscope system processor device, operation method for endoscope system, and operation method for endoscope system processor device
US10022074B2 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
US9907493B2 (en) Endoscope system processor device, endoscope system, operation method for endoscope system processor device, and operation method for endoscope system
US10463240B2 (en) Endoscope system, processor device, operation method, and distance measurement device
US20190183315A1 (en) Processor device, endoscope system, and method of operating processor device
US10986980B2 (en) Image processing device, method for operating same, endoscope processor device, and method for operating same
WO2019065111A1 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
JP7080195B2 (ja) 内視鏡システム
JP6129686B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法並びにテーブル作成方法
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
JPWO2019208235A1 (ja) 医療画像処理システム
WO2015025595A1 (ja) 内視鏡システム及び作動方法
JPWO2019082993A1 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210407

R150 Certificate of patent or registration of utility model

Ref document number: 6866531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250