JP7057381B2 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP7057381B2
JP7057381B2 JP2019570627A JP2019570627A JP7057381B2 JP 7057381 B2 JP7057381 B2 JP 7057381B2 JP 2019570627 A JP2019570627 A JP 2019570627A JP 2019570627 A JP2019570627 A JP 2019570627A JP 7057381 B2 JP7057381 B2 JP 7057381B2
Authority
JP
Japan
Prior art keywords
image
illumination light
pixel value
light
oxygen saturation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019570627A
Other languages
English (en)
Other versions
JPWO2019155815A1 (ja
Inventor
孝明 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019155815A1 publication Critical patent/JPWO2019155815A1/ja
Application granted granted Critical
Publication of JP7057381B2 publication Critical patent/JP7057381B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Description

本発明は、酸素飽和度を算出する内視鏡システムに関する。
医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムが普及している。特に近年においては、観察対象である被写体の外観を撮影して観察するだけでなく、被写体を撮影した画像を用いて、酸素飽和度等の生体情報を算出する内視鏡システムが知られている。酸素飽和度は、ヘモグロビンの酸素飽和度に応じて吸光係数が変化する照明光を用いて撮影した画像を用いて演算等することにより算出する(特許文献1)。
特許第5914496号
酸素飽和度の算出には、通常、ヘモグロビンの酸素飽和度に応じて吸光係数が変化する照明光(以下、第1照明光という)を用いて被写体を撮影した画像(以下、第1画像という)の他に、第1照明光よりも酸素飽和度に応じた吸光係数が小さい照明光(以下、第2照明光という)を用いて被写体を撮影した画像(以下、第2画像という)を用いる。具体的には、酸素飽和度と一定の相関がある「第1画像の画素値と、第2画像の画素値と、の比(以下、「第1画像と第2画像の比」という)」を算出し、その値から酸素飽和度を算出する。
しかし、上記のように第1画像と第2画像の比を用いて酸素飽和度を算出する場合、第1画像と第2画像の比と酸素飽和度との相関が崩れ、算出する酸素飽和度の誤差(以下、アーチファクトという)が生じる場合がある。例えば、ヘモグロビンの酸素飽和度が一定の血液が流れていても、血管の深さが変化している部分においては、第1画像の撮影に使用する第1照明光の深達度(光が到達する深さ)と、第2画像の撮影に使用する第2照明光の深達度の違い起因したアーチファクトが生じる場合がある。
本発明は、上記のように、照明光の深達度によって生じる生体情報への影響を低減できる内視鏡システムを提供することを目的とする。
本発明の内視鏡システムは、各々異なる波長帯域を有する照明光を用いて被写体を撮影した複数種類の画像を取得する画像取得部と、複数種類の画像のうち複数の画像の対応する画素の値を加算した加算画素値を1または複数種類算出する加算画素値算出部と、分母または分子の少なくともいずれか一方に加算画素値を使用した信号比を算出する信号比算出部と、信号比を用いて酸素飽和度を算出する酸素飽和度算出部とを備え、画像取得部は、酸素飽和度に応じて吸光係数が変化する第1照明光を用いて被写体を撮影した第1画像と、第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光を用いて被写体を撮影した第2画像と、第2照明光よりも短波長の第3照明光を用いて被写体を撮影した第3画像と、を取得し、加算画素値算出部は、第2画像と第3画像の対応する画素の値とを加算して第1加算画素値を生成し、かつ、信号比算出部は、第1画像の画素値と第1加算画素値との信号比を算出し、第1画像はB1画像、第2画像はG2画像、第3画像はB2画像である場合、又は、第1画像はR1画像、第2画像はR2画像、第3画像はG2画像である場合のいずれかである。
画像取得部は、酸素飽和度に応じて吸光係数が変化する第1照明光を用いて被写体を撮影した第1画像と、第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光を用いて被写体を撮影した第2画像と、第2照明光よりも短波長の第3照明光を用いて被写体を撮影した第3画像と、を取得し、加算画素値算出部は、第2画像と第3画像の対応する画素の値を加算して第1加算画素値を生成し、かつ、信号比算出部は、第1画像の画素値と第1加算画素値との信号比を算出することが好ましい。
第3画像の撮影に使用する第3照明光は、少なくとも第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さいことが好ましい。
第3画像の撮影に使用する第3照明光は、第1照明光よりも短波長であることが好ましい。
加算画素値算出部は、第2画像と第3画像の対応する画素の値に重み付けをして加算することが好ましい。
画像取得部は、第1画像と、第2画像とに加えて、第1照明光よりも長波長の第4照明光を用いて被写体を撮影した第4画像と、を取得し、加算画素値算出部は、第1画像と第4画像の対応する画素の値を加算して第2加算画素値を生成し、かつ、信号比算出部は、第2像の画素値と第2加算画素値との信号比を算出することが好ましい。
第4画像の撮影に使用する第4照明光は、少なくとも第2照明光よりも酸素飽和度に応じた吸光係数の変化が大きいことが好ましい。
第4画像の撮影に使用する第4照明光は、第2照明光よりも長波長であることが好ましい。
加算画素値算出部は、第1画像と第4画像の対応する画素の値に重み付けをして加算することが好ましい。
画像取得部は、酸素飽和度に応じて吸光係数が変化する第1照明光を用いて被写体を撮影した第1画像と、第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光を用いて被写体を撮影した第2画像と、第2照明光よりも短波長の第3照明光を用いて被写体を撮影した第3画像と、第1照明光よりも長波長の第4照明光を用いて被写体を撮影した第4画像と、を取得し、加算画素値算出部は、第2画像と第3画像の対応する画素の値を加算した第1加算画素値と、第1画像と第4画像の対応する画素の値を加算した第2加算画素値と、を生成し、かつ、信号比算出部は、第2加算画素値と第1加算画素値との信号比を算出することが好ましい。
本発明の内視鏡システムによれば、照明光の深達度によって生じる生体情報への影響を低減できる。
内視鏡システムの外観図である。 内視鏡システムのブロック図である。 撮影フレームごとの照明光と取得画像を示す表である。 ヘモグロビン及び酸化ヘモグロビンの吸光係数を示すグラフである。 画像処理部の構成を示すブロック図である。 光の深達度を示す説明図である。 加算の作用を示す説明図である。 画素値の比と酸素飽和度の相関関係を示すグラフである。 酸素飽和度を算出する流れを示すフローチャートである。 生体内での深さが変化する血管を示す説明図である。 血管の位置(深さ)とB1画素値の関係を示すグラフである。 血管の位置(深さ)とG2画素値の関係を示すグラフである。 血管の位置(深さ)と、信号比B1/G2の関係を示すグラフである。 血管の位置(深さ)と、Cy画素値の関係を示すグラフである。 血管の位置(深さ)と、信号比B1/Cyの関係を示すグラフである。 第2実施形態の光源の構成を示すブロック図である。 第2実施形態における撮影フレームごとの照明光と取得画像を示す表である。 第3実施形態の光源の構成を示すブロック図である。 第3実施形態における撮影フレームごとの照明光と取得画像を示す表である。 第4実施形態の光源の構成を示すブロック図である。 第4実施形態における撮影フレームごとの照明光と取得画像を示す表である。 内視鏡システムと画像処理装置の関係を示す説明図である。 内視鏡システム及びPACSと診断支援装置の関係を示す説明図である。 各種検査装置と医療業務支援装置の関係を示す説明図である。
[第1実施形態]
図1に示すように、内視鏡システム10(内視鏡装置)は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19と、を備える。内視鏡12は、被写体を撮影する。光源装置14は、照明光を発生する。プロセッサ装置16は、内視鏡システム10のシステム制御及び画像処理等を行う。モニタ18は、内視鏡12で撮影した画像(内視鏡画像)を表示する表示部である。コンソール19は、プロセッサ装置16等への設定入力等を行う入力デバイスである。
内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12cと、先端部12dと、を有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cが湾曲する。その結果、先端部12dが所望の方向に向く。また、操作部12bには、アングルノブ12eの他、ズーム操作部13が設けられている。ズーム操作部13を操作することによって、被写体を拡大または縮小して撮影できる。
図2に示すように、光源装置14は、照明光を発光する光源部20と、光源部20の動作を制御する光源制御部22と、を備える。
光源部20は、被写体を照明する照明光、または、照明光を発光するために使用する励起光等を発光する。光源部20は、例えば、レーザーダイオード(以下、LDという)、LED(Light Emitting Diode)、キセノンランプ、または、ハロゲンランプの光源を含み、少なくとも、白色の照明光、または、白色の照明光を発光するために使用する励起光を発光する。白色には、内視鏡12を用いた被写体の撮影において実質的に白色と同等な、いわゆる擬似白色を含む。光源部20は、必要に応じて、励起光の照射を受けて発光する蛍光体、または、照明光または励起光の波長帯域、スペクトル、もしくは光量等を調節する光学フィルタ等を含む。この他、光源部20は、被写体が含むヘモグロビンの酸素飽和度等の生体情報を算出するために使用する画像の撮影に必要な、特定の波長帯域を有する光を発光できる。
本実施形態においては、光源部20は、中心波長が約473nmの第1励起光を発光する第1LD(Laser Diode)と、中心波長が約445nmの第2励起光を発光する第2LDと、を含む。光源部20が発光した照明光は、ライトガイド41に入射する。ライトガイド41は、内視鏡12及びユニバーサルコード内に内蔵されており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。
光源制御部22は、光源部20を構成する各光源の点灯または消灯もしくは遮蔽のタイミング、及び、発光量等を制御する。その結果、光源部20は、スペクトルが異なる複数種類の照明光を発光できる。また、光源制御部22は、撮影のタイミング(いわゆるフレーム)に合わせて光源部20を制御する。
内視鏡12の先端部12dには、照明光学系30aと撮影光学系30bが設けられている。照明光学系30aは、照明レンズ45を有しており、この照明レンズ45を介して照明光が被写体に向けて出射する。本実施形態においては、照明光学系30aは、照明レンズ45の他に、第1励起光または第2励起光の照射を受けて発光する蛍光体42を有する。蛍光体42は、第1励起光または第2励起光の一部を透過し、かつ、概ね緑色から赤色の蛍光を発光する。このため、蛍光体42を透過した第1励起光または第2励起光と、蛍光体42が発光する蛍光と、照明光学系30aは全体として白色の照明光を被写体に向けて出射する。以下、第1励起光を用いた場合に出射する白色の照明光を第1白色光W1といい、かつ、第2励起光を用いた場合に出射する白色の照明光を第2白色光W2という。また、第1白色光W1が含む青色成分の光を青色光B1、第1白色光W1が含む緑色成分の光を緑色光G1、第1白色光W1が含む赤色成分の光を赤色光R1、第2白色光W2が含む青色成分の光を青色光B2、第2白色光W2が含む緑色成分の光を緑色光G2、第2白色光W2が含む赤色成分の光を赤色光R2という。
撮影光学系30bは、対物レンズ46、ズームレンズ47、及びイメージセンサ48を有する。イメージセンサ48は、対物レンズ46及びズームレンズ47を介して、被写体から戻る照明光の反射光等(反射光の他、散乱光、被写体が発する蛍光、または、被写体に投与等した薬剤に起因した蛍光等を含む)を用いて被写体を撮影する。ズームレンズ47は、ズーム操作部13の操作をすることで移動し、イメージセンサ48を用いて撮影する被写体を拡大または縮小する。
イメージセンサ48は、例えば原色系のカラーフィルタを有するカラーセンサであり、青色カラーフィルタを有するB画素(青色画素)、緑色カラーフィルタを有するG画素(緑色画素)、及び、赤色カラーフィルタを有するR画素(赤色画素)の3種類の画素を備える。青色カラーフィルタは、主として紫色から青色の光を透過する。緑色カラーフィルタは、主として緑色の光を透過する。赤色カラーフィルタは、主として赤色の光を透過する。このため、1回の撮影において、B画像(青色画像)と、G画像(緑色画像)と、R画像(赤色画像)の3種類の画像を同時に得ることができる。
イメージセンサ48としては、CCD(Charge Coupled Device)センサや、CMOS(Complementary Metal Oxide Semiconductor)センサを利用可能である。また、本実施形態のイメージセンサ48は、原色系のカラーセンサであるが、補色系のカラーセンサを用いることもできる。補色系のカラーセンサは、例えば、シアンカラーフィルタが設けられたシアン画素、マゼンタカラーフィルタが設けられたマゼンタ画素、イエローカラーフィルタが設けられたイエロー画素、及び、グリーンカラーフィルタが設けられたグリーン画素を有する。補色系カラーセンサを用いる場合に上記各色の画素から得る画像は、補色-原色色変換をすれば、B画像、G画像、及びR画像に変換できる。また、カラーセンサの代わりに、カラーフィルタを設けていないモノクロセンサをイメージセンサ48として使用できる。この場合、BGR等各色の照明光を用いて被写体を順次撮影することにより、上記各色の画像を得ることができる。
プロセッサ装置16は、制御部52と、画像取得部54と、画像処理部61と、表示制御部66と、を有する(図2参照)。
制御部52は、照明光の照射タイミングと撮影のタイミングの同期制御等の内視鏡システム10の統括的な制御を行う。また、コンソール19等を用いて、各種設定の入力等をした場合には、制御部52は、その設定を、光源制御部22、イメージセンサ48、または画像処理部61等の内視鏡システム10の各部に入力する。
画像取得部54は、各々異なる波長帯域を有する照明光を用いて被写体を撮影した複数種類の画像を取得する。特に、本実施形態においては、画像取得部54は、酸素飽和度に応じて吸光係数が変化する第1照明光を用いて被写体を撮影した第1画像と、第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光を用いて被写体を撮影した第2画像と、第2照明光よりも短波長の第3照明光を用いて被写体を撮影した第3画像と、を取得する。
より具体的には、イメージセンサ48がカラーフィルタを有するので、画像取得部54は、照明光ごとに、かつ、カラーフィルタごとに画像を取得する。すなわち、図3に示すように、第1フレームにおいては第1白色光W1を用いて被写体を撮影して各色の画像を取得し、かつ、第1フレームとは別の第2フレームにおいては第2白色光W2を用いて被写体を撮影して各色の画像を取得する。第2フレームは、例えば第1フレームよりも時間的に後(または前)の撮影フレームである。第1フレームと第2フレームは連続していなくても良い。
第1フレーム及び第2フレームのいずれにおいても、画像取得部54は、B画像、G画像、及びR画像を取得する。第1フレームと第2フレームにおいてそれぞれ使用する照明光が異なるので、以下では区別のために、第1フレームにおいて取得するB画像をB1画像といい、第1フレームにおいて取得するG画像をG1画像といい、かつ、第1フレームにおいて取得するR画像をR1画像という。同様に、第2フレームにおいて取得するB画像をB2画像といい、第2フレームにおいて取得するG画像をG2画像といい、かつ、第2フレームにおいて取得するR画像をR2画像という。
第1白色光W1が含む青色光B1は第1励起光を多く含み、かつ、第1励起光の中心波長である約473nmは、図4に示すように、酸化ヘモグロビン(HbO)と還元ヘモグロビン(Hb)とで吸光係数の差が概ね極大になる波長である。第2白色光W2が含む青色光B2は第2励起光を多く含み、かつ、第2励起光の中心波長である約445nmは、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数の変化がほとんどない波長である。また、励起光に第1励起光と第2励起光の違いがあっても、蛍光体42が発光する蛍光のスペクトルの差は小さい。そして、第1白色光W1が含む緑色光G1及び赤色光R1、並びに、第2白色光W2が含む緑色光G2及び赤色光R2は、第1白色光W1が含む青色光B1と比較する場合、酸素飽和度に応じた吸光係数の変化はほぼない。
したがって、本実施形態において「酸素飽和度に応じて吸光係数が変化する第1照明光」とは第1白色光W1が含む青色光B1であり、かつ、「第1照明光を用いて被写体を撮影した第1画像」とは“B1画像”である。また、酸素飽和度算出部73が酸素飽和度の算出に使用する信号比の都合により、本実施形態においては、「第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光」とは第2白色光W2が含む緑色光G2であり、かつ、「第2照明光を用いて被写体を撮影した第2画像」とは“G2画像”である。そして、「第2照明光よりも短波長の第3照明光」とは、第2白色光W2が含む青色光B2であり、かつ、「第3照明光を用いて被写体を撮影した第3画像」とは“B2画像”である。また、B2画像(第3画像)の撮影に使用する青色光B2(第3照明光)は、少なくとも青色光B1(第1照明光)よりも酸素飽和度に応じた吸光係数の変化が小さい。また、B2画像(第3画像)の撮影に使用する青色光B2(第3照明光)は、青色光B1(第1照明光)よりも短波長である。
画像取得部54は、DSP(Digital Signal Processor)56と、ノイズ低減部58と、変換部59と、を有し、これらを用いて、取得した画像に必要に応じて各種処理を施す。
DSP56は、取得した画像に対し、必要に応じて欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びYC変換処理等の各種処理を施す。
欠陥補正処理は、イメージセンサ48の欠陥画素に対応する画素の画素値を補正する処理である。オフセット処理は、欠陥補正処理を施した画像から暗電流成分を低減し、正確な零レベルを設定する処理である。ゲイン補正処理は、オフセット処理をした画像にゲインを乗じることにより各画像の信号レベルを整える処理である。リニアマトリクス処理は、オフセット処理をした画像の色再現性を高める処理であり、ガンマ変換処理は、リニアマトリクス処理後の画像の明るさや彩度を整える処理である。デモザイク処理(等方化処理または同時化処理とも言う)は、欠落した画素の画素値を補間する処理であり、ガンマ変換処理後の画像に対して施す。欠落した画素とは、カラーフィルタの配列に起因して(イメージセンサ48において他の色の画素を配置しているため)、画素値がない画素である。例えば、デモザイク処理は、B画素の画素値を用いて補間することにより、G画素及びR画素の位置におけるB画素の画素値を生成する。他の色も同様である。YC変換処理は、デモザイク処理後の画像を、輝度チャンネルYと色差チャンネルCb及び色差チャンネルCrに変換する処理である。
ノイズ低減部58は、輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrに対して、例えば、移動平均法またはメディアンフィルタ法等を用いてノイズ低減処理を施す。変換部59は、ノイズ低減処理後の輝度チャンネルY、色差チャンネルCb及び色差チャンネルCrを再びBGRの各色の画像に再変換する。
画像処理部61は、画像取得部54が取得した画像を用いて表示用の画像を生成する。本実施形態においては、画像処理部61は、画像取得部54が取得した画像を用いて、酸素飽和度を算出し、酸素飽和度を表す酸素飽和度画像を表示表画像として生成する。図5に示すように、画像処理部61は、加算画素値算出部71と、信号比算出部72と、相関関係記憶部74と、酸素飽和度算出部73と、画像生成部75と、を備える。
加算画素値算出部71は、画像取得部54が取得した複数種類の画像のうち、複数の画像の対応する画素の値を加算した加算画素値を1または複数種類算出する。加算画素値算出部71が算出する加算画素値は、画素ごとに、または、複数の画素を1単位とする場合にはその単位ごとに、算出する。「対応する画素」とは、加算画素値の算出に用いる複数の画像において同じ位置(座標)にある画素をいう。また、加算画素値を複数の画素を1単位として加算画素値を算出する場合には、「対応する画素」とは、加算画素値の算出に用いる複数の画像において同じ位置(座標)にあるその単位をいう。加算画素値算出部71は、加算画素値を算出する際に、必要に応じて、加算する画像の対応する画素の値にそれぞれ重み付けをして加算できる。
本実施形態においては、加算画素値算出部71は、G2画像(第2画像)とB2画像(第3画像)の対応する画素の値をそれぞれ重み付け加算して加算画素値(第1加算画素値)を算出する。G2画像の画素値に対する重み付け係数を「α1」、B2画像の画素値に対する重み付け係数を「β1」とし、かつ、α1+β1=1、α1>0、及びβ1>0の条件のもとで、加算画素値算出部71は、α1×G2画像値+β1×B2画像値により加算画素値を算出する。なお、重み付け係数「α1」及び「β1」は、例えば、α1=0.5、かつ、β1=0.5である。以下においては、加算画素値算出部71が算出する加算画素値を画素の値とする画像を加算画像という。本明細書においては、加算画素値算出部71は、加算画素値を算出した結果、加算画素値を画素の値とする加算画像を生成及び出力する。但し、必ずしも加算画像の形式で出力する必要はなく、加算画素値算出部71は加算画像を生成せずに、加算画素値をそのまま出力できる。
図6に示すように、青色光B2と、緑色光G2と、赤色光R2と、を比較すると、一般に、粘膜91への深達度は、R2>G2>B2の順に大きい。深達度が小さい青色光B2は、概ね粘膜91の表面または表層にある血管等の組織またはピットパターン等の構造に反射または吸収されやすい。このため、B2画像は粘膜91の表面または表層にある血管等を表す画像になる。また、深達度が中程度の緑色光G2は中層程度の深さある血管等に反射または吸収されやすいので、G2画像は粘膜91の中層程度の深さにある血管等を表す画像になる。同様に、深達度が大きい赤色光R2は、粘膜91の深層程度まで到達するので、R2画像は比較的深い位置にある血管等を表す画像になる。
したがって、G2画像とB1画像を加算すると、G2画像にだけ写る血管等の像とB1画像にだけ写る血管等の像は平均化されて見えにくくなり、かつ、G2画像とB1画像に共通して写る血管等の像が残るので、G2画像とB1画像に共通して写る血管等の像が相対的に強調する結果となる。G2画像とB1画像に共通に写る血管等とは、粘膜91の表層と中層の中間程度にある血管等であり、図7に示すように、例えばシアン色光Cyが到達する深さ程度にある血管等に相当する。すなわち、G2画像とB2画像とを加算した加算画像の血管等の像は、重み付けの比率にも依るが、例えば、緑色光G2と青色光B2を混色したシアン色光Cyを用いて被写体を撮影した画像に近い。このため、以下においては、G2画像とB2画像の対応する画素の値を加算した加算画素値(第1加算画素値)を画素の値とする加算画像(第1加算画像)をCy画像という。
信号比算出部72は、酸素飽和度算出部73が酸素飽和度の算出に使用する信号比を算出する。その際、信号比算出部72は、画像取得部54が取得する画像と、加算画素値算出部71が算出した加算画素値を用いて、分母または分子の少なくともいずれか一方に加算画像の画素値を使用した信号比を、少なくとも1つ算出する。本実施形態においては、信号比算出部72は、B1画像(第1画像)の画素値を分子に使用し、かつ、加算画像(第1加算画像)であるCy画像の画素値(加算画素値(第1加算画素値))を分母に使用した信号比B1/Cyを生成する。また、信号比算出部72は、R2画像の画素値を分子に使用し、かつ、G2画像の画素値を分母に使用した信号比R2/G2を算出する。信号比B1/Cyの値は、酸素飽和度と血液量に依存する。また、信号比R2/G2の値は、血液量に依存する。なお、信号比算出部72が算出する各信号比は、画素ごとに、または、複数の画素を1単位とする場合にはその単位ごとに、算出する。
酸素飽和度算出部73は、信号比算出部72が算出する信号比と、相関関係記憶部74が記憶する相関関係と、を用いて酸素飽和度を算出する。相関関係記憶部74が記憶する相関関係は、図8に示すように、例えば、信号比B1/Cyの対数(log(B1/Cy))及び信号比R2/G2の対数(log(R2/G2))と、酸素飽和度の値と、を対応付ける。酸素飽和度算出部73は、この相関関係を参照することにより、血液量の影響を除いて、酸素飽和度を算出できる。特定の画素において信号比B1/Cyの値が「B1*/Cy*」であり、かつ、信号比R2/G2の値が「R2*/G2*」である場合、酸素飽和度算出部73は、この特定の画素における酸素飽和度を「40%」と算出する。なお、酸素飽和度算出部73は、画素ごとに、または、複数の画素を1単位とする場合にはその単位ごとに、酸素飽和度を算出する。
画像生成部75は、表示用の画像を生成する。本実施形態においては、酸素飽和度算出部73が算出した酸素飽和度の値を、例えば、色の違いによって表す酸素飽和度画像を生成する。酸素飽和度画像は、例えば、B2画像、G2画像、及び、R2画像を用いて生成するいわゆる白色光画像を、酸素飽和度の値に応じて色付けした画像である。表示制御部66は、画像生成部75から表示用の画像を取得し、取得した画像を表示に適した形式に変換してモニタ18に出力する。これにより、本実施形態においては、モニタ18は酸素飽和度画像を表示する。
以下、内視鏡システム10において酸素飽和度を算出する動作の流れを、図9に示すフローチャートに沿って説明する。まず、照明光を少なくとも第1白色光W1と第2白色光W2とで切り換えながら被写体を撮影することにより、画像取得部54が、酸素飽和度の算出及び酸素飽和度の画像の生成に必要な画像を取得する(ステップS11)。画像取得部54は、第1白色光W1を用いる第1フレームにおいて、B1画像、G1画像、及びR1画像を取得し、第2白色光W2を用いる第2フレームにおいて、B2画像、G2画像、及びR2画像を取得する。
各撮影フレームにおいて各色の画像を取得すると、加算画素値算出部71は、G2画像とB2画像の対応する画素の値を加算することにより加算画素値を算出し、算出した加算画素値を画素の値とするCy画像を生成及び出力する(ステップS12)。その後、信号比算出部72は、加算画素値を用いて、信号比B1/Cyと、信号比R2/G2と、を算出し(ステップS13)、かつ、酸素飽和度算出部73は信号比B1/Cy及び信号比R2/G2の各値を相関関係記憶部74が記憶する相関関係に照らし合わせることにより、酸素飽和度を算出する(ステップS14)。
上記のように、内視鏡システム10は、酸素飽和度を算出する際に、加算画像であるCy画像を酸素飽和度の算出に用いる信号比に使用することにより、酸素飽和度の算出に用いる信号比(特に酸素飽和度の情報を含む信号比)において、分子に使う画像の撮影に使用する照明光と、分母に使う画像の撮影に使用する照明光と、の実質的な波長差を低減し、これら各照明光の深達度を近づける。その結果、信号比の分子に使う画像と分母に使う画像においてそれぞれ観察し得る血管等の像の違いが従来よりも小さくなるので、従来のように信号比B1/G2を酸素飽和度の算出に用いる場合よりも、酸素飽和度のアーチファクトを低減できる。すなわち、照明光の深達度によって生じる生体情報への影響を低減できる。
例えば、図10に示すように、位置等に依らず一定の酸素飽和度(例えば酸素飽和度70%)を有するヘモグロビンを内包し、かつ、一定の血液量(一定の太さ)を有する血管92があり、かつ、この血管92の深さが表層から中層へと深くなっているとする。具体的には、位置X1から位置X2においては、血管92は表層内のほぼ一定の深さにあり、位置X2から位置X3にかけて血管92の深さは表層から中層にかけて深くなり、かつ、位置X3から位置X4においては、血管92は中層内のほぼ一定の深さにあるとする。
血管92を含む粘膜91を、青色光B1を用いて撮影すると、血管92は青色光B1を吸収して暗く写る。このため、図11に示すように、血管92を撮影したB1画像の画素値(以下、B1画素値という)は、血管92が、青色光B1が到達する深さにある位置X1から位置X2にかけて最も低い画素値Y1となる。そして、血管92が深くなるにつれて、青色光B1が到達し難くなり、血管92に到達する前に青色光B1が反射されるようになる。このため、血管92のある位置が徐々に深くなる位置X2から位置X3にかけては、B1画素値は徐々に大きくなり、位置X3以降においては一定の画素値Y2(Y2>Y1)となる。
一方、緑色光G2は表層においては相対的に反射等され難い代わりに、青色光B1よりも深く、中層まで到達する。このため、緑色光G2を用いて血管92を含む粘膜91を撮影すると、図12に示すように、血管92を撮影したG2画像の画素値(以下、G2画素値という)は、位置X1から位置X2にかけて最も高い画素値(簡単のため「Y2」とする)となる。そして、血管92が深くなるにつれて緑色光G2の吸収率が高くなるので、位置X2から位置X3にかけては、G2画素値は徐々に小さくなり、位置X3以降においては最も低い画素値(簡単のため「Y1」とする)となる。
したがって、従来の酸素飽和度を算出する内視鏡システムのように、信号比B1/G2を酸素飽和度の算出に用いる場合、信号比B1/G2の値は、図13に示すように、位置X2から位置X3にかけて、例えば値V1から値V3に変化する。このように信号比B1/G2が変化すると、血管92の酸素飽和度及び血液量が実際には一定であっても、算出する酸素飽和度の値に変化が生じる。すなわち、値V1から値V3の変化量D1は、酸素飽和度のアーチファクトになる。
一方、上記血管92を撮影したG2画像とB2画像の対応する画素の値を加算して加算画素値を算出し、この加算画素値を画素の値とするCy画像を生成すると、加算画像であるCy画像の画素値(以下、Cy画素値という)は、図14に示すように、例えば、シアン色光Cyの深達度に相当する深さ付近で最小の画素値(簡単のため「Y1」とする)となる。そして、この深さを境界に画素値は上昇し、シアン色光Cyが反射等され難い位置X1から位置X2及び位置X3から位置X4にかけて、画素値が大きくなる(簡単のため「Y2」とする)。このため、図15に示すように、信号比B1/Cyを算出すると、血管92がシアン色光Cyの深達度相当の深さにある位置X5においてピークとなり、このピークの値V2は、信号比B1/G2の最大の値V3と最小の値V1との中間の値となる(V1<V2<V3)。したがって、加算画像であるCy画像を用いると、血管92の深さの変化に起因した信号比B1/Cyの変化量を「D2」(D2=V2-V1<D1=V3-V1)程度に低減できる。その結果、信号比B1/Cyを用いて算出する酸素飽和度は、信号比B1/G2を用いて算出する酸素飽和度よりも、血管等の深さの変化に起因したアーチファクトを低減できる。
[第2実施形態]
上記第1実施形態においては、青色光B1を用いて撮影したB1画像が酸素飽和度の情報を含むが、内視鏡システム10は、他の波長または波長帯域の光を用いて酸素飽和度を算出できる。この場合、図16に示すように、光源部20に、例えば、中心波長が約450nmの青色光Bを発光するB-LED210と、中心波長が約540nmの緑色光Gを発光するG-LED211と、中心波長が約600nmの赤色光R1を発光するR1-LED212と、中心波長が約700nmの赤色光R2を発光するR2-LED213と、を備える。そして、図17に示すように、第1フレームにおいては、青色光B及び赤色光R1を含む照明光を使用して被写体を撮影し、その結果、画像取得部54は、青色画像(以下、B1画像という)と、赤色画像(以下、R1画像という)と、を取得する。また、第2フレームにおいては、青色光B、緑色光G、及び、赤色光R2を含む照明光を使用して被写体を撮影し、その結果、画像取得部54は、青色画像(以下、B2画像という)と、緑色画像(以下、G2画像という)と、赤色画像(以下、R2画像という)と、を取得する。
青色光B及び緑色光Gの波長は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数にほぼ差がない(図4参照)。また、赤色光R1と赤色光R2の波長はどちらも酸化ヘモグロビンと還元ヘモグロビンの吸光係数にある程度の差がある(図4参照)。但し、赤色光R1と赤色光R2を比較すると、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差は、赤色光R1に比べて赤色光R2の方が約1桁程度小さいので、赤色光R1と比較すると、赤色光R2は実質的に酸素飽和度に応じた吸光係数がないものと扱うことができる。
本実施形態においては、「酸素飽和度に応じて吸光係数が変化する第1照明光」とは赤色光R1であり、かつ、「第1照明光を用いて被写体を撮影した第1画像」とは“R1画像”である。また、「第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光」とは赤色光R2であり、かつ、「第2照明光を用いて被写体を撮影した第2画像」とは“R2画像”である。そして、「第2照明光よりも短波長の第3照明光」とは、緑色光Gであり、かつ、「第3照明光を用いて被写体を撮影した第3画像」とは“G2画像”である。また、G2画像(第3画像)の撮影に使用する緑色光G(第3照明光)は、少なくとも赤色光R1(第1照明光)よりも酸素飽和度に応じた吸光係数の変化が小さい。また、G2画像(第3画像)の撮影に使用する緑色光G(第3照明光)は、赤色光R1(第1照明光)よりも短波長である。
加算画素値算出部71は、本実施形態においては、G2画像(第3画像)とR2画像(第2画像)の対応する画素の値を重み付けして加算する。G2画像の画素値に対する重み付け係数を「α2」、R2画像の画素値に対する重み付け係数を「β2」とし、かつ、α2+β2=1、α2>0、及びβ2>0の条件のもとで、加算画素値算出部71は、α2×G2画像値+β2×R2画像値により加算画像を生成する。なお、重み付け係数「α2」及び「β2」は、例えば、α2=0.5、かつ、β2=0.5である。
G2画像とR2画像の対応する画素の値を加算した加算画素値を画素の値とする加算画像は、重み付け比率にも依るが、血管等の見え方等が例えば緑色光Gと赤色光R2の中間の深達度を有する黄色光Yeを用いて撮影した画像に近くなる。このため、以下、G2画像とR2画像の対応する画素の値を加算した加算画素値を画素の値とする加算画像をYe画像という。
信号比算出部72は、本実施形態においては、R1画像の画素値を分子に使用し、かつ、加算画像であるYe画像の画素値(加算画素値)を分母に使用した信号比R1/Yeを生成する。また、信号比算出部72は、R2画像の画素値を分子に使用し、かつ、G2画像の画素値を分母に使用した信号比R2/G2を算出する。信号比R1/Yeは酸素飽和度と血液量に依存し、かつ、信号比R2/G2は血液量に依存する。
信号比算出部72が算出する信号比に対応し、相関関係記憶部74は、信号比R1/Ye及び信号比R2/G2と、酸素飽和度と、を対応付ける相関関係を記憶する。そして、酸素飽和度算出部73は、上記相関関係を参照し、具体的な、信号比R1/Ye及び信号比R2/G2の具体的な値から酸素飽和度を算出する。
上記のように、酸素飽和度を算出する際に、加算画像であるYe画像を酸素飽和度の算出に用いる信号比に使用することにより、酸素飽和度の算出に用いる信号比(特に酸素飽和度の情報を含む信号比)において、分子に使う画像の撮影に使用する照明光と、分母に使う画像の撮影に使用する照明光と、の実質的な波長差を低減し、これら各照明光の深達度を近づける。その結果、信号比の分子に使う画像と分母に使う画像においてそれぞれ観察し得る血管等の像の違いが従来よりも小さくなる。したがって、赤色光を用いて酸素飽和度を算出する際に、酸素飽和度の情報を含むR1画像をG2画像で規格化した信号比R1/G2を用いる場合と比較して、酸素飽和度のアーチファクトを低減できる。なお、本実施形態は、粘膜91の深層等、比較的深い位置にある血管の酸素飽和度を算出する際に特に有用であり、こうした比較的深い位置にある血管の深さが位置によって変化している場合でもアーチファクトを低減して酸素飽和度を算出できる。
[第3実施形態]
第1実施形態のように酸素飽和度の情報を得るために青色光B1を用いる場合も、光源部20をLEDで構成できる。この場合、図18に示すように、光源部20には、中心波長が約470nmの青色光B1を発光するB1-LED310と、中心波長が約450nmの青色光B2を発光するB2-LED311と、中心波長が約540nmの緑色光Gを発光するG-LED312と、中心波長が約650nmの赤色光Rを発光するR-LED313と、を備える。そして、図19に示すように、第1フレームにおいては、青色光B1と、赤色光Rと、を含む照明光を使用して被写体を撮影し、その結果、画像取得部54は、青色画像(以下、B1画像という)と、赤色画像(以下、R1画像という)と、を取得する。また、第2フレームにおいては、青色光B2と、緑色光Gと、赤色光Rと、を含む照明光を用いて被写体を撮影し、その結果、画像取得部54は、青色画像(以下、B2画像という)と、緑色画像(以下、G2画像という)と、赤色画像(以下、R2画像という)と、を取得する。
青色光B1の波長は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい(図4参照)。そして、青色光B2、緑色光G、及び、赤色光Rは、いずれも、青色光B1に比べると、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が小さい(図4参照)。したがって、本実施形態においては、「酸素飽和度に応じて吸光係数が変化する第1照明光」とは青色光B1であり、かつ、「第1照明光を用いて被写体を撮影した第1画像」とは“B1画像”である。また、「第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光」とは緑色光Gであり、かつ、「第2照明光を用いて被写体を撮影した第2画像」とは“G2画像”である。そして、「第2照明光よりも短波長の第3照明光」とは、青色光B2であり、かつ、「第3照明光を用いて被写体を撮影した第3画像」とは“B2画像”である。また、B2画像(第3画像)の撮影に使用する青色光B2(第3照明光)は、少なくとも青色光B1(第1照明光)よりも酸素飽和度に応じた吸光係数の変化が小さい。また、B2画像(第3画像)の撮影に使用する青色光B2(第3照明光)は、青色光B1(第1照明光)よりも短波長である。
したがって、加算画素値算出部71は、第1実施形態と同様に、G2画像(第2画像)とB2画像(第3画像)の対応する画素の値を重み付け加算して加算画素値を算出し、この加算画素値を画素の値とするCy画像を生成する。そして、信号比算出部72は、信号比B1/Cyと信号比R2/G2とを算出し、酸素飽和度算出部73は、これらの信号比を用いて酸素飽和度を算出する。こうして酸素飽和度を算出する際に、加算画像であるCy画像を酸素飽和度の算出に用いる信号比に使用することにより、酸素飽和度の算出に用いる信号比(特に酸素飽和度の情報を含む信号比)において、分子に使う画像の撮影に使用する照明光と、分母に使う画像の撮影に使用する照明光と、の実質的な波長差を低減し、これら各照明光の深達度を近づける。その結果、信号比の分子に使う画像と分母に使う画像においてそれぞれ観察し得る血管等の像の違いが従来よりも小さくなるので、従来のように信号比B1/G2を酸素飽和度の算出に用いる場合よりも、酸素飽和度のアーチファクトを低減できる。
[第4実施形態]
上記各実施形態においては、酸素飽和度の情報を含む画像(第1実施形態のB1画像等)を、緑色光画像で規格化した信号比を酸素飽和度の算出に用いているが、信号比に加算画像を使用する場合、緑色光画像を含まない加算画像を使用することができる。例えば、図20に示すように、光源部20に、第3実施形態と同様の中心波長が約470nmの青色光B1を発光するB1-LED310と、中心波長が約450nmの青色光B2を発光するB2-LED311と、中心波長が約540nmの緑色光Gを発光するG-LED312と、を備え、第3実施形態のR-LED313の代わりに、中心波長が約600nmの赤色光Rを発光するR-LED413を備える。
そして、図21に示すように、第1フレームにおいては、青色光B1と赤色光Rとを含む照明光を用いて被写体を撮影し、その結果、画像取得部54は青色画像(以下、B1画像という)と赤色画像(以下、R1画像という)とを取得する。また、第2フレームにおいては、青色光B2と緑色光Gとを含む照明光を用いて被写体を撮影し、その結果、画像取得部54は青色画像(以下、B2画像という)と緑色画像(以下、G2画像という)とを取得する。
本実施形態においては、「酸素飽和度に応じて吸光係数が変化する第1照明光」とは青色光B1であり、かつ、「第1照明光を用いて被写体を撮影した第1画像」とは“B1画像”である。また、「第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光」とは赤色光Rであり、かつ、「第2照明光を用いて被写体を撮影した第2画像」とは“R1画像”である。そして、「第2照明光よりも短波長の第3照明光」とは、青色光B2であり、かつ、「第3照明光を用いて被写体を撮影した第3画像」とは“B2画像”である。また、B2画像(第3画像)の撮影に使用する青色光B2(第3照明光)は、少なくとも青色光B1(第1照明光)よりも酸素飽和度に応じた吸光係数の変化が小さい。また、B2画像(第3画像)の撮影に使用する青色光B2(第3照明光)は、青色光B1(第1照明光)よりも短波長である。
加算画素値算出部71は、本実施形態においては、R1画像(第2画像)とB2画像(第3画像)の対応する画素の値を重み付けして加算する。R1画像の画素値に対する重み付け係数を「α4」、B2画像の画素値に対する重み付け係数を「β4」とし、かつ、α4+β4=1、α4>0、及びβ4>0の条件のもとで、加算画素値算出部71は、α4×R1画像値+β4×B2画像値により加算画素値を算出する。
R1画像とB2画像の対応する画素の値を加算した加算画素値を画素の値とする加算画像は、重み付け比率にも依るが、血管等の見え方等が例えば赤色光R1と青色光B2の中間の深達度を有するマゼンダ色光Maを用いて撮影した画像に近くなる。このため、以下、R1画像とB2画像の対応する画素の値を加算した加算画素値を画素の値とする加算画像をMa画像という。
信号比算出部72は、本実施形態においては、B1画像の画素値を分子に使用し、かつ、加算画像であるMa画像の画素値(加算画素値)を分母に使用した信号比R1/Maを生成する。また、信号比算出部72は、R1画像の画素値を分子に使用し、かつ、G2画像の画素値を分母に使用した信号比R1/G2を算出する。信号比B1/Maは酸素飽和度と血液量に依存し、かつ、信号比R1/G2は血液量に依存する。
信号比算出部72が算出する信号比に対応し、相関関係記憶部74は、信号比B1/Ma及び信号比R1/G2と、酸素飽和度と、を対応付ける相関関係を記憶する。そして、酸素飽和度算出部73は、上記相関関係を参照し、具体的な、信号比B1/Ma及び信号比R1/G2の具体的な値から酸素飽和度を算出する。
上記のように、酸素飽和度を算出する際に、加算画像であるMa画像を酸素飽和度の算出に用いる信号比に使用する場合も適切に酸素飽和度を算出できる。また、B2画像の画素値とR1画像の画素値に対する重み付け比率を適切に調節することにより、従来のように信号比B1/G2を用いて酸素飽和度を算出する場合よりもアーチファクトを低減できる。
[第5実施形態]
上記第1実施形態、第2実施形態、第3実施形態、及び第4実施形態においては、分母に加算画像の画素値(加算画素値)を使用しているが、酸素飽和度の算出に用いる信号比の分子に加算画像の画素値(加算画素値)を使用できる。この場合、画像取得部54は、酸素飽和度に応じて吸光係数が変化する第1照明光を用いて被写体を撮影した第1画像と、第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光を用いて被写体を撮影した第2画像と、第1照明光よりも長波長の第4照明光を用いて被写体を撮影した第4画像と、を取得する。そして、加算画素値算出部71は、第1画像と第4画像の対応する画素の値を加算して第2加算画素値を算出し、この第2加算画素値を画素の値とする第2加算画像を生成及び出力する。信号比算出部72は、第2加算画像の画素値(第2加算画素値)と第2画像の画素値との信号比を算出する。酸素飽和度算出部73は、この「第2加算画像の画素値(第2加算画素値)と第2画像の画素値との信号比」を用いて酸素飽和度を算出する。
例えば、第2実施形態と同様に、画像取得部54が、中心波長が約450nmの青色光Bを用いて被写体を撮影したB画像、中心波長が約540nmの緑色光Gを用いて被写体を撮影したG画像、中心波長が約600nmの赤色光R1を用いて被写体を撮影したR1画像、中心波長が約700nmの赤色光R2を用いて被写体を撮影したR2画像を取得する。この場合、「酸素飽和度に応じて吸光係数が変化する第1照明光」とは赤色光R1であり、かつ、「第1照明光を用いて被写体を撮影した第1画像」とは“R1画像”である。また、「第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光」とは赤色光R2であり、かつ、「第2照明光を用いて被写体を撮影した第2画像」とは“R2画像”である。また、「第1照明光よりも長波長の第4照明光」を“赤色光R2”とし、かつ、「第1照明光よりも長波長の第4照明光を用いて被写体を撮影した第4画像」を“R画像”とする。
そして、加算画素値算出部71は、R1画像(第1画像)とR2画像(第4画像)の対応する画素の値を必要に応じて重み付けして加算することにより第2加算画素値を算出し、算出した第2加算画素値を画素の値とする第2加算画像を生成及び出力する。信号比算出部72は、この第2加算画像の画素値(第2加算画素値)を分子に使用し、かつ、G2画像の画素値を分母に使用して、第2加算画素値とG2画像の信号比を算出する。この場合、第2加算画像は、酸素飽和度の情報を含むR1画像と、R1画像よりも変化量が少ないものの、R1画像と同様に酸素飽和度に応じて変化する画素値を有するR2画像と、の和なので、第2加算画像は全体として酸素飽和度に応じて変化する画像となっている。このため、第2加算画像とG2画像を用いて算出する信号比は、酸素飽和度の情報を含む信号比となっており、かつ、従来であれば使用するであろう「信号比R1/G2」よりも、分子に使う画像の撮影に使用する照明光と、分母に使う画像の撮影に使用する照明光と、の実質的な波長差を小さくできる。したがって、信号比の分子に加算画像(第2加算画像)の画素値である第2加算画素値を用いる場合も、酸素飽和度のアーチファクトを低減できる。
なお、上記第2画像は、酸素飽和度に応じた吸光係数の変化が小さい画像であって、酸素飽和度に応じた吸光係数の変化が大きく、酸素飽和度の情報を含む第1画像を規格化するための画像である。そして、第4画像は、酸素飽和度の情報を含む第1画像に加算するので、酸素飽和度の情報を含み、かつ、第1画像と同様に酸素飽和度に応じて吸光係数が大きく変化する画像であることが好ましい。この結果、第4画像の撮影に使用する第4照明光は、少なくとも第2照明光よりも酸素飽和度に応じた吸光係数の変化が大きいことが好ましい。
また、第4画像の撮影に使用する第4照明光は、第2照明光よりも長波長であることが好ましい。これは、第2加算画像を撮影して得る場合に使用する照明光の波長を、信号比の分母に使用する第2画像の撮影に使用する緑色光Gの波長に近づけるためである。上記第5実施形態においては、赤色光R2(第4照明光)は、緑色光G(第2照明光)よりも長波長である。
[第6実施形態]
上記第1実施形態、第2実施形態、第3実施形態、及び第4実施形態においては、分母に加算画像の画素値(加算画素値)を使用しているが、酸素飽和度の算出に用いる信号比の分子及び分母の両方に加算画像の画素値(加算画素値)を使用できる。この場合、画像取得部54は、酸素飽和度に応じて吸光係数が変化する第1照明光を用いて被写体を撮影した第1画像と、第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光を用いて被写体を撮影した第2画像と、第2照明光よりも短波長の第3照明光を用いて被写体を撮影した第3画像と、第1照明光よりも長波長の第4照明光を用いて被写体を撮影した第4画像と、を取得する。そして、加算画素値算出部71は、第2画像と第3画像の対応する画素の値を加算した第1加算画素値と、第1画像と第4画像の対応する画素の値を加算した第2加算画素値と、を算出し、第1加算画素値を画素の値とする第1加算画像と、第2加算画素値を画素の値とする第2加算画像と、を生成及び出力する。信号比算出部72は、第2加算画像の画素値(第2加算画素値)と第1加算画像の画素値(第1加算画素値)との信号比を算出する。
例えば、第2実施形態と同様に、画像取得部54が、中心波長が約450nmの青色光Bを用いて被写体を撮影したB画像、中心波長が約540nmの緑色光Gを用いて被写体を撮影したG画像、中心波長が約600nmの赤色光R1を用いて被写体を撮影したR1画像、中心波長が約700nmの赤色光R2を用いて被写体を撮影したR2画像を取得する。
この場合、「酸素飽和度に応じて吸光係数が変化する第1照明光」とは赤色光R1であり、かつ、「第1照明光を用いて被写体を撮影した第1画像」とは“R1画像”である。また、「第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光」とは赤色光R2であり、かつ、「第2照明光を用いて被写体を撮影した第2画像」とは“R2画像”である。そして、「第2照明光よりも短波長の第3照明光」とは、緑色光Gとし、かつ、「第3照明光を用いて被写体を撮影した第3画像」とは“G2画像”とする。また、「第1照明光よりも長波長の第4照明光」を“赤色光R2”とし、かつ、「第1照明光よりも長波長の第4照明光を用いて被写体を撮影した第4画像」を“R2画像”とする。
加算画素値算出部71は、第2実施形態と同様に、G2画像(第3画像)とR2画像(第2画像)の対応する画素の値を必要に応じて重み付け加算し、第1加算画素値を算出する。そして、第1加算画素値を画素の値とする第1加算画像を生成及び出力する。また、加算画素値算出部71は、第5実施形態と同様に、R1画像(第1画像)とR2画像(第4画像)の対応する画素の値を必要に応じて重み付け加算し、第2加算画素値を算出する。そして、第2加算画素値を画素の値とする第2加算画像を生成及び出力する。信号比算出部72は、第1加算画像の画素値(第1加算画素値)を分母に使用し、第2加算画像の画素値(第2加算画素値)を分子に使用して、信号比を生成する。第2実施形態または第5実施形態から分かるように、この信号比を用いれば、酸素飽和度算出部73は、酸素飽和度を算出することができる。
なお、上記実施形態等においては、酸素飽和度を算出しているが、本発明は、被写体への深達度が異なる照明光を用いて撮影した複数の画像の画素値の比(信号比)を用いて求め得る他の生体情報を表す画像等(血液量または特定の深さにある血管の画像等)を生成する際にも有用である。他の生体情報を明示的に算出する場合、酸素飽和度算出部73は生体情報算出部とする。また、結果として他の生体情報を表す画像を生成する場合、酸素飽和度算出部73は、その画像を生成するために信号比を用いて必要な演算をする演算部とできる。
この他、図22に示すように、内視鏡システム10のうち画像処理部61を構成する各部の一部または全部は、例えばプロセッサ装置16と通信して内視鏡システム10と連携する医療画像処理装置701に設けることができる。また、図23に示すように、内視鏡システム10のうち画像処理部61を構成する各部の一部または全部は、例えば内視鏡システム10から直接的に、または、PACS(Picture Archiving and Communication Systems)710から間接的に、内視鏡12で撮影した画像を取得する診断支援装置711に設けることができる。また、図24に示すように、内視鏡システム10を含む、第1検査装置721、第2検査装置722、…、第N検査装置723等の各種検査装置と、ネットワーク726を介して接続する医療業務支援装置730に、内視鏡システム10のうち画像処理部61を構成する各部の一部または全部を設けることができる。
上記実施形態において、光源制御部22、制御部52、画像取得部54及び画像取得部54を構成する各部、画像処理部61及び画像処理部61を構成する各部、並びに、表示制御部66等といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13 ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
22 光源制御部
30a 照明光学系
30b 撮影光学系
41 ライトガイド
42 蛍光体
45 照明レンズ
46 対物レンズ
47 ズームレンズ
48 イメージセンサ
52 制御部
54 画像取得部
56 DSP(Digital Signal Processor)
58 ノイズ低減部
59 変換部
61 画像処理部
66 表示制御部
71 加算画素値算出部
72 信号比算出部
73 酸素飽和度算出部
74 相関関係記憶部
75 画像生成部
91 粘膜
92 血管
210 B2-LED
211 G-LED
212 R1-LED
213 R2-LED
310 B1-LED
311 B2-LED
313 R-LED
413 R-LED
701 医療画像処理装置
710 PACS
711 診断支援装置
721 第1検査装置
722 第2検査装置
723 検査装置
726 ネットワーク
730 医療業務支援装置
B 青色光
B1 青色光
B2 青色光
Cb 色差チャンネル
Cr 色差チャンネル
Cy シアン色光
D1、D2 変化量
G、G1、G2 緑色光
Hb 還元ヘモグロビン
HbO 酸化ヘモグロビン
Ma マゼンダ色光
R、R1、R2 赤色光
S11、S12、S13、S14 ステップ
V1、V2、V3、V4 画素値
W1 第1白色光
W2 第2白色光
X1、X2、X3、X4、X5 位置
Y1、Y2 画素値
Ye 黄色光

Claims (9)

  1. 各々異なる波長帯域を有する照明光を用いて被写体を撮影した複数種類の画像を取得する画像取得部と、
    複数種類の前記画像のうち複数の前記画像の対応する画素の値を加算した加算画素値を1または複数種類算出する加算画素値算出部と、
    分母または分子の少なくともいずれか一方に前記加算画素値を使用した信号比を算出する信号比算出部と、
    前記信号比を用いて酸素飽和度を算出する酸素飽和度算出部とを備え、
    前記画像取得部は、酸素飽和度に応じて吸光係数が変化する第1照明光を用いて前記被写体を撮影した第1画像と、前記第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光を用いて前記被写体を撮影した第2画像と、前記第2照明光よりも短波長の第3照明光を用いて前記被写体を撮影した第3画像と、を取得し、
    前記加算画素値算出部は、前記第2画像と前記第3画像の対応する画素の値とを加算して第1加算画素値を生成し、かつ、
    前記信号比算出部は、前記第1画像の画素値と前記第1加算画素値との信号比を算出し、
    前記第1画像はB1画像、前記第2画像はG2画像、前記第3画像はB2画像である場合、又は、前記第1画像はR1画像、前記第2画像はR2画像、前記第3画像はG2画像である場合のいずれかである内視鏡システム。
  2. 前記第3画像の撮影に使用する前記第3照明光は、少なくとも前記第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい請求項に記載の内視鏡システム。
  3. 前記第3画像の撮影に使用する前記第3照明光は、前記第1照明光よりも短波長である請求項記載の内視鏡システム。
  4. 前記加算画素値算出部は、前記第2画像と前記第3画像の対応する画素の値に重み付けをして加算する請求項のいずれか1項に記載の内視鏡システム。
  5. 前記画像取得部は、前記第1画像と、前記第2画像とに加えて、前記第1照明光よりも長波長の第4照明光を用いて前記被写体を撮影した第4画像と、を取得し、
    前記加算画素値算出部は、前記第1画像と前記第4画像の対応する画素の値を加算して第2加算画素値を生成し、かつ、
    前記信号比算出部は、前記第2像の画素値と前記第2加算画素値との信号比を算出する請求項1に記載の内視鏡システム。
  6. 前記第4画像の撮影に使用する第4照明光は、少なくとも前記第2照明光よりも酸素飽和度に応じた吸光係数の変化が大きい請求項に記載の内視鏡システム。
  7. 前記第4画像の撮影に使用する第4照明光は、前記第2照明光よりも長波長である請求項またはに記載の内視鏡システム。
  8. 前記加算画素値算出部は、前記第1画像と前記第4画像の対応する画素の値に重み付けをして加算する請求項のいずれか1項に記載の内視鏡システム。
  9. 前記画像取得部は、酸素飽和度に応じて吸光係数が変化する第1照明光を用いて前記被写体を撮影した第1画像と、前記第1照明光よりも酸素飽和度に応じた吸光係数の変化が小さい第2照明光を用いて前記被写体を撮影した第2画像と、前記第2照明光よりも短波
    長の第3照明光を用いて前記被写体を撮影した第3画像と、前記第1照明光よりも長波長の第4照明光を用いて前記被写体を撮影した第4画像と、を取得し、
    前記加算画素値算出部は、前記第2画像と前記第3画像の対応する画素の値を加算した第1加算画素値と、前記第1画像と前記第4画像の対応する画素の値を加算した第2加算画素値と、を生成し、かつ、
    前記信号比算出部は、前記第2加算画素値と前記第1加算画素値との信号比を算出する請求項1に記載の内視鏡システム。
JP2019570627A 2018-02-06 2019-01-10 内視鏡システム Active JP7057381B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018019582 2018-02-06
JP2018019582 2018-02-06
PCT/JP2019/000501 WO2019155815A1 (ja) 2018-02-06 2019-01-10 内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2019155815A1 JPWO2019155815A1 (ja) 2021-01-14
JP7057381B2 true JP7057381B2 (ja) 2022-04-19

Family

ID=67548412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019570627A Active JP7057381B2 (ja) 2018-02-06 2019-01-10 内視鏡システム

Country Status (2)

Country Link
JP (1) JP7057381B2 (ja)
WO (1) WO2019155815A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064778A (ja) 2012-09-26 2014-04-17 Fujifilm Corp 内視鏡システム及びそのプロセッサ装置並びに内視鏡画像の表示制御方法
WO2015151929A1 (ja) 2014-03-31 2015-10-08 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2017119239A1 (ja) 2016-01-08 2017-07-13 Hoya株式会社 内視鏡装置
WO2017158692A1 (ja) 2016-03-14 2017-09-21 オリンパス株式会社 内視鏡装置、画像処理装置、画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064778A (ja) 2012-09-26 2014-04-17 Fujifilm Corp 内視鏡システム及びそのプロセッサ装置並びに内視鏡画像の表示制御方法
WO2015151929A1 (ja) 2014-03-31 2015-10-08 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
WO2017119239A1 (ja) 2016-01-08 2017-07-13 Hoya株式会社 内視鏡装置
WO2017158692A1 (ja) 2016-03-14 2017-09-21 オリンパス株式会社 内視鏡装置、画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
WO2019155815A1 (ja) 2019-08-15
JPWO2019155815A1 (ja) 2021-01-14

Similar Documents

Publication Publication Date Title
JP2016052391A (ja) 撮像システム
JP7203477B2 (ja) 内視鏡システム及びその作動方法
CN110868908B (zh) 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法
US11375928B2 (en) Endoscope system
CN111343898B (zh) 内窥镜系统及其工作方法
US20200170492A1 (en) Light source device and endoscope system
US10003774B2 (en) Image processing device and method for operating endoscope system
US11596293B2 (en) Endoscope system and operation method therefor
JP6891294B2 (ja) 内視鏡システム及びその作動方法
US11969152B2 (en) Medical image processing system
JP7069290B2 (ja) 内視鏡システム及びその作動方法
CN112137564A (zh) 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法
CN113366366A (zh) 内窥镜系统
JP7057381B2 (ja) 内視鏡システム
JPWO2019198574A1 (ja) 内視鏡システム
CN112004455A (zh) 医疗图像处理系统
JP7214886B2 (ja) 画像処理装置及びその作動方法
CN113784654B (zh) 图像处理装置及其工作方法
JP7217351B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
CN111683583B (zh) 内窥镜系统及其工作方法
WO2023119795A1 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220407

R150 Certificate of patent or registration of utility model

Ref document number: 7057381

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150