JPWO2019244247A1 - 内視鏡装置、内視鏡装置の作動方法及びプログラム - Google Patents

内視鏡装置、内視鏡装置の作動方法及びプログラム Download PDF

Info

Publication number
JPWO2019244247A1
JPWO2019244247A1 JP2020525122A JP2020525122A JPWO2019244247A1 JP WO2019244247 A1 JPWO2019244247 A1 JP WO2019244247A1 JP 2020525122 A JP2020525122 A JP 2020525122A JP 2020525122 A JP2020525122 A JP 2020525122A JP WO2019244247 A1 JPWO2019244247 A1 JP WO2019244247A1
Authority
JP
Japan
Prior art keywords
image
light
frame
irradiation
lights
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020525122A
Other languages
English (en)
Other versions
JP7123135B2 (ja
Inventor
昌士 弘田
昌士 弘田
順平 高橋
順平 高橋
恵仁 森田
恵仁 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2019244247A1 publication Critical patent/JPWO2019244247A1/ja
Application granted granted Critical
Publication of JP7123135B2 publication Critical patent/JP7123135B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡装置1は、波長帯域の異なる複数の光を、時系列的に少なくとも2回に分けて照射する照明部3と、複数の光の照射によって得られた複数の画像に基づいて、粘膜下の特定の構造が強調された強調画像を生成する画像処理部17を含む。照明部3は、複数の光のうち、強調画像の輝度成分に対応する第1の波長帯域である第1の光と、特定の構造を第1の光よりもコントラストの高い状態で撮像可能な第2の波長帯域である第2の光とを連続照射する。

Description

本発明は、内視鏡装置、内視鏡装置の作動方法及びプログラム等に関する。
狭帯域光は、その波長によって吸収特性及び散乱特性が異なり、短波長の狭帯域画像には粘膜下表層の微細血管などが表れる。これらは白色光画像には表れ難い構造であるため、狭帯域画像と白色光画像の両者の特徴を併せ持つ画像は、より詳細な内視鏡観察を可能にする。
特許文献1では、白色光を用いて撮像した画像に対して、狭帯域光を用いて撮像した画像に周波数フィルタリング処理をした結果を合成することによって、白色光画像と狭帯域画像の両方の特徴を併せ持つ画像を作成している。
特開2012−125461号公報
特定の画像の情報を他の画像に付与する場合、それらの画像を取得するための光の照射順序が画質向上において重要となる。しかしながら、特許文献1ではその点が考慮されていない。
面順次式の撮像を行う場合、基本的には各フレームにおいて、複数の出力チャンネルのうちのいずれかのチャンネルが更新される。複数の出力チャンネルとは、例えばRGBの3チャンネルである。ユーザが被写体の動きを認識し易いのは、輝度成分に対応するチャンネルが更新されるフレームであり、具体的にはGチャンネルが更新されるフレームである。そのため、特許文献1のようにGの光と狭帯域光の発光間隔が開くと、被写体の動きに対して付与された情報が遅れて追従移動して見えるため、観察に支障をきたす。
本発明の幾つかの態様によれば、複数の照明光の照射に基づいて強調画像を生成する際に、画質の劣化を抑制する内視鏡装置、内視鏡装置の作動方法及びプログラム等を提供できる。
本発明の一態様は、波長帯域の異なる複数の光を、時系列的に少なくとも2回に分けて照射する照明部と、前記複数の光の照射によって得られた複数の画像に基づいて、粘膜下の特定の構造が強調された強調画像を生成する画像処理部と、を含み、前記照明部は、前記複数の光のうち、前記強調画像の輝度成分に対応する第1の波長帯域である第1の光と、前記特定の構造を前記第1の光よりもコントラストの高い状態で撮像可能な第2の波長帯域である第2の光とを連続照射する内視鏡装置に関係する。
本発明の他の態様は、波長帯域の異なる複数の光を、時系列的に少なくとも2回に分けて照射し、前記複数の光の照射によって得られた複数の画像に基づいて、粘膜下の特定の構造が強調された強調画像を生成し、前記複数の光の照射において、前記複数の光のうち、前記強調画像の輝度成分に対応する第1の波長帯域である第1の光と、前記特定の構造を前記第1の光よりもコントラストの高い状態で撮像可能な第2の波長帯域である第2の光とを連続照射する内視鏡装置の作動方法に関係する。
本発明のさらに他の態様は、波長帯域の異なる複数の光を、時系列的に少なくとも2回に分けて照明部に照射させ、前記複数の光の照射によって得られた複数の画像に基づいて、粘膜下の特定の構造が強調された強調画像を生成する、ステップをコンピュータに実行させ、前記複数の光を照射させるステップで、前記複数の光のうち、前記強調画像の輝度成分に対応する第1の波長帯域である第1の光と、前記特定の構造を前記第1の光よりもコントラストの高い状態で撮像可能な第2の波長帯域である第2の光とを連続照射させるプログラムに関係する。
比較例における照明光の照射順序、及び強調画像の例。 内視鏡装置の構成例。 第1の実施形態における照明光の照射順序、及び強調画像の例。 照明部の分光特性例。 内視鏡装置の処理を説明するフローチャート。 第1の実施形態の強調画像生成処理を説明するフローチャート。 第2の実施形態の強調画像生成処理を説明するフローチャート。 第2の実施形態における照明光の照射順序、及び強調画像の例。 第3の実施形態の強調画像生成処理を説明するフローチャート。 第3の実施形態における照明光の照射順序、及び強調画像の例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態において説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
内視鏡装置では、複数の照射光を順次照射する面順次方式が広く知られている。例えば内視鏡装置は、三原色に対応するRGB(Red,Green,Blue)の光を順次照射し、撮像素子から順次取得されるRGBの3つの画像を合成することによって、カラー画像を出力する。以下では、R帯域の光をLRと表記し、G帯域の光をLGと表記し、B帯域の光をLBと表記する。また、LB、LG、LRの照射によって撮像される画像を、それぞれLB画像、LG画像、LR画像と表記する。
また内視鏡装置では、LR、LG及びLBのいずれとも波長帯域の異なる光を照射することによって、所定の被写体の視認性を高める手法も知られている。例えば、B帯域のうちの一部の波長帯域を有する狭帯域光LnBは、粘膜表層の微細な血管構造をコントラストの高い状態で撮像可能であることが知られている。
内視鏡装置は、複数の出力チャンネルの各チャンネルに対して画像を割り当てることによって、表示画像を生成する。複数の出力チャンネルとは、例えばBチャンネル、Gチャンネル、Rチャンネルの3チャンネルである。例えば、LB画像がベース画像のBチャンネルに割り当てられ、LG画像がベース画像のGチャンネルに割り当てられ、LR画像がベース画像のRチャンネルに割り当てられる。ここでのベース画像とは、強調処理前の表示画像に対応し、RGBの各チャンネルから構成される画像情報である。
そして内視鏡装置は、LnBの照射によって撮像されたLnB画像に基づいて、ベース画像に対する強調処理を行うことによって強調画像を生成する。これによって、強調前に比べて表層血管の視認性を向上させることが可能になる。内視鏡装置において、被写体の構造や動きを人が認識しやすいのは輝度成分であり、狭義にはGチャンネルである。LnB画像に基づく強調処理を、ベース画像のGチャンネルに対して行うことによって、表層血管の形状や動きを認識しやすい表示画像を生成することが可能である。より具体的には、LG画像に対して、LnB画像に基づく情報を付与、合成することによって、強調画像を生成する。
ただし、特許文献1等の従来手法では、面順次方式における複数の照明光の照射順序が考慮されていない。そのため、生成される表示画像の画質が低下するおそれがある。
図1は、本実施形態に対する比較例における照明光の照射順序、及び表示画像の例を説明する図である。図1の横軸は時間を表す。図1の例では、1周期がF1〜F4に示した4フレームであり、F1においてLRが照射され、F2においてLGが照射され、F3においてLBが照射され、F4においてLnBが照射される。これ以降のフレームも同様であり、1周期においてLR,LG,LB,LnBが順次照射される。
F1において、LRの照射によってLR画像が取得される。よってRチャンネルのベース画像が更新されることによって、表示画像が更新される。ただし上述したとおり、内視鏡装置において、被写体の動きを人が認識しやすいのは輝度成分である。よってF1では被写体の色味等に変化が生じるものの、被写体の動きは非常に小さい。
F2において、LGの照射によってLG画像が取得される。Gチャンネルのベース画像が更新されることによって、表示画像が更新される。Gチャンネルは輝度成分に対応するため、被写体の動きが画像に反映されやすい。被写体の動きとは、図2に示す挿入部2(撮像光学系10)と被写体との相対的な動きである。ここでの被写体とは、LGを用いて撮像可能な被写体OBである。図1では、OBとしてLGに対する感度が高い血管を例示している。
また、LGはLnBに比べてヘモグロビンの吸光が小さいため、粘膜表層の微細血管に対する感度が低い。よってF2のタイミングにおいては、OBnBに示した表層血管は移動しない。より具体的には、F2のタイミングでGチャンネルに割り当てられる画像は、F2において更新されたLG画像に対して、過去のタイミングのLnB画像に基づく強調が為された画像となる。ここでの過去のタイミングとは、前周期におけるLnBの照射タイミングであり、F1の前のフレームである。即ち、表層血管は過去の位置が維持されるため、F2におけるOBnBの移動は十分小さいと考えられる。
フレームF3において、LBの照射によってLB画像が取得される。Bチャンネルのベース画像が更新されることによって、表示画像が更新される。F3もF1と同様に、被写体の色味等に変化が生じるものの、被写体であるOBの動きは非常に小さい。
フレームF4において、LnBの照射によってLnB画像が取得される。LnB画像に基づいてGチャンネルのベース画像に対して、新たな強調処理を行うことによって、表示画像が更新される。Gチャンネルは輝度成分に対応するため、被写体の動きが画像に反映されやすい。具体的には、LnB画像から抽出された表層血管(OBnB)が移動する。
図1の例では、1周期において、LGを用いて撮像可能な被写体(OB)の移動と、LnBを用いて撮像可能な被写体である表層血管(OBnB)の移動がそれぞれ1回ずつ生じる。その際、LGを用いて撮像可能な被写体が移動するフレーム(F2)に対して、表層血管が移動するフレーム(F4)が2フレーム遅れるため、画質が劣化する。具体的には、画像の背景領域の移動に対して、表層血管の部分だけが遅れて追従移動することになり、ユーザに違和感を与えてしまう。
よって本実施形態の内視鏡装置1は、複数の照明光の照射順序を制御することによって、強調画像を作成する際の画質の劣化を抑制する。本実施形態の内視鏡装置1は、例えば図2を用いて後述する構成を有する。内視鏡装置1は、照明部3と、画像処理部17を含む。照明部3は、波長帯域の異なる複数の光を、時系列的に少なくとも2回に分けて照射する。画像処理部17は、複数の光の照射によって得られた複数の画像に基づいて、粘膜下の特定の構造が強調された強調画像を生成する。
ここで、波長帯域の異なる複数の光は、赤色に対応する波長帯域の光(LR)、緑色に対応する波長帯域の光(LG)、及び青色に対応する波長帯域の光(LB)を含む。三原色に対応する波長帯域の光を含むことによって、明るくユーザにとって自然な色味を有する画像を表示することが可能になる。例えば、LR画像、LG画像、LB画像を、それぞれベース画像のRチャンネル、Gチャンネル、Bチャンネルとすることによって、強調処理前の画像を白色光画像とすることが可能である。
ただし、本実施形態における波長帯域の異なる複数の光は種々の変形実施が可能であり、LR、LG、LBの一部或いは全部を省略してもよいし、異なる波長帯域の光を追加してもよい。また、各照明光の照射によって得られる複数の画像と、複数の出力チャンネルとの対応関係も種々の変形実施が可能である。例えば、LG画像を出力のGチャンネル以外に割り当てる等の変形実施も可能であり、表示される強調画像は白色光画像と色味の異なる画像、即ち疑似カラー画像であることは妨げられない。
本実施形態の照明部3は、複数の光のうち、強調画像の輝度成分に対応する第1の波長帯域である第1の光と、特定の構造を第1の光よりもコントラストの高い状態で撮像可能な第2の波長帯域である第2の光とを連続照射する。
ここで第1の光とは、狭義には複数の出力チャンネルのうち、輝度成分に対応するチャンネルに割り当てられる画像の撮像に用いられる光である。輝度成分とは、強調画像を構成する複数の出力チャンネルのうち、出力画像(表示画像、強調画像)の輝度への影響が、他のチャンネルに比べて大きいチャンネルを表す。輝度への影響が大きいチャンネルとは、具体的にはGチャンネルである。R信号値、G信号値、B信号値をそれぞれR、G、Bとした場合、輝度値Yは例えばY=r×R+g×G+b×Bという式を用いて求められる。RGBとYCrCbとの変換方式は種々知られており、方式に応じて係数r、g、bの値は異なる。ただし、いずれの形式においてもgはrよりも大きく、且つ、gはbよりも大きい。即ち、輝度値Yに対する寄与度は、R信号及びB信号に比べてG信号が相対的に高いと言える。
例えば、第1の光はLGであり、第1の波長帯域とは525nm〜575nmである。医療用の内視鏡装置1の撮像対象は生体内であり、特に血管に含まれるヘモグロビンの吸光特性を考慮すると、LGは生体の観察において重要な波長帯域を有する光である。LGは、生体内の観察に適した波長帯域を有するという第1の観点、及び強調画像の色味を自然にするという第2の観点のいずれからしても、Gチャンネルに割り当てる利点が大きい。そして強調画像の輝度への影響を考えた場合、LGの影響は、Rチャンネルに割り当てられるLR及びBチャンネルに割り当てられるLBに比べて大きい。なお、実施形態によってはLGとは異なる光が出力のGチャンネルに割り当てられてもよい。その場合の第1の光は、Gチャンネルに割り当てられる光であり、第1の波長帯域とは当該光の波長帯域である。
ただし、光は波長によって生体内での吸収及び散乱特性が異なり、例えば、LGの吸光特性では微細血管に対する感度が低い。或いは、被写体に含まれる物質の吸光特性によっては、LG画像では特定の構造と他の構造の区別が容易でない場合もある。よってそのような特定の構造の観察においては、当該特定の構造を第1の光よりもコントラストの高い状態で撮像可能な第2の波長帯域である第2の光を用いる。
ここで、「コントラストの高い状態で撮像可能」とは、当該特定の構造の形状が視認性の高い態様で撮像されることを表し、例えば特定の構造のエッジがLG画像に比べて明確に撮像されることを表す。
例えば、第2の光はLnBであり、第2の波長帯域とは410nmを中心とした波長帯域である。ただし、第2の波長帯域は上記特定の構造が存在する深度や、当該特定の構造に含まれる物質の吸光特性に応じて決定される波長帯域である。よって具体的な波長帯域は、注目すべき構造に応じて、種々の変更が可能である。
図3は、第1の実施形態における照明光の照射順序、及び強調画像の例を説明する図である。図3の例では、1周期がF1〜F4に示した4フレームである。F1においてLRが照射され、F2においてLGが照射され、F3においてLnBが照射され、F4においてLBが照射される。これ以降のフレームも同様であり、1周期においてLR,LG,LnB,LBが順次照射される。
図3の例では、LGとLnBが、連続する2フレーム(F2及びF3)において照射される。ただし、LGが照射されるフレームとLnBが照射されるフレームが連続していればよく、F1とF2の2フレームにおいて連続してもよいし、F3とF4の2フレームにおいて連続してもよい。また前後の周期を考慮すれば、F1においてLnBが照射され、F4においてLGが照射されてもよい。また、その他の照明光の照射順序、具体的にはLRとLBの照射される順序は任意である。また図7を用いて第2の実施形態で後述するように、LnBが先に照射され、連続する次のフレームでLGが照射されてもよい。
これによって、LGによって撮像される被写体(OB)の移動に対する、LnBによって撮像される特定の構造(OGnB)の移動の遅れが1フレーム相当となる。撮像のフレームレートが60fps(frame per second)であれば時間差は1/60秒であり、120fpsであれば1/120秒である。図1の比較例では2フレーム相当の遅れが生じる。つまり本実施形態の手法によれば、被写体の移動タイミングの時間差を低減し、ユーザにとって違和感の少ない強調画像を出力することが可能になる。
また、本実施形態における特定の構造とは、例えば血管である。血管は被写体(被験者)の状態を表す指標として有用である。例えば、所与の病変の進行度合いに応じて、撮像される血管の数や密集度合い等が変化することが知られている。本実施形態の手法によれば、第1の光を用いた観察が容易でない血管についても、視認性の高い態様でユーザに観察させることが可能になる。なお、第2の光としてLnBを用いる場合、粘膜表層の微細な血管構造が強調対象となる。
以下、第1〜第3の実施形態について説明する。第1の実施形態において図3に示す手法の詳細を説明する。第2の実施形態及び第3の実施形態では、LGとLnBの照射順序に応じた画像処理を行う手法について説明する。
2.第1の実施形態
第1の実施形態について説明する。まず図2を用いて内視鏡装置1の構成について説明した後、図5を用いて処理の詳細を説明する。
図2に示した内視鏡装置1の構成の詳細について説明する。内視鏡装置1は、挿入部2と、本体部5と、表示部6を含む。本体部5は、挿入部2に接続される照明部3と、処理部4を含む。
挿入部2は、生体内へ挿入される部分である。挿入部2は、照明部3から入力された光を被写体に向けて照射する照明光学系7と、被写体からの反射光を撮像する撮像光学系10を含む。
照明光学系7は、照明部3から入射された光を挿入部2の先端まで導光するライトガイドケーブル8と、光を拡散させて被写体に照射する照明レンズ9を含む。撮像光学系10は、照明光学系7によって照射された光のうち、被写体の反射光を集光する対物レンズ11と、対物レンズ11によって集光された光を撮像する撮像素子12を含む。撮像素子12は、CCD(Charge Coupled Device)センサやCMOS(Complementary MOS)センサ等の種々のセンサにより実現できる。撮像素子12から順次出力されるアナログ信号は、不図示のA/D変換部によってデジタルの画像に変換される。なおA/D変換部は、撮像素子12に含まれてもよいし、処理部4に含まれてもよい。
照明部3は、異なる波長帯域の光を射出する複数の発光ダイオード(LED:light emitting diode)13a〜13dと、ミラー14と、ダイクロイックミラー15を含む。複数の発光ダイオード13a〜13dのそれぞれから照射される光は、ミラー14及びダイクロイックミラー15によって同一のライトガイドケーブル8に入射する。なお、図2では発光ダイオードが4つの例を示したが、発光ダイオードの数はこれに限定されない。
図4は、複数の発光ダイオード13a〜13dの分光特性を表す図である。本実施形態の照明部3は、青色の波長帯域の光LB、緑色の波長帯域の光LG、及び赤色の波長帯域の光LRを射出する3つの発光ダイオードを含む。例えば、青色の波長帯域とは450nm〜500nmであり、緑色の波長帯域とは525nm〜575nmであり、赤色の波長帯域とは600nm〜650nmである。ただしRGBの波長帯域はこれに限定されず、青色の波長帯域を400nm〜500nmとし、緑色の波長帯域を480nm〜600nmとし、赤色の波長帯域を580nm〜700nmとする等の種々の変形実施が可能である。さらに本実施形態の照明部3は、青色の狭帯域光の光LnBを射出する発光ダイオードを含む。例えば、青色の狭帯域とは、410nmを中心とする波長帯域であり、狭義には410nm±10nm程度の帯域である。
処理部4は、メモリ16と、画像処理部17と、制御部18を含む。メモリ16は、撮像素子12によって取得された画像信号を、照明光の波長ごとに記憶する。メモリ16は、例えばSRAM又はDRAM等の半導体メモリーであるが、磁気記憶装置や光学記憶装置を用いてもよい。
画像処理部17は、メモリ16に記憶された画像信号に対する画像処理を行う。画像処理部17は、強調量算出部17aと、強調処理部17bを含む。強調量算出部17aは、例えば強調量算出回路であり、狭義には画像から所定の空間周波数成分を抽出するフィルター回路を含む。強調処理部17bは、例えば強調処理回路である。
強調量算出部17aは、LnBの照射によって撮像されたLnB画像に基づいて、強調処理に用いる強調量を算出する。強調処理部17bは、算出された強調量に基づく強調処理を行って強調画像を出力する。ここでの強調処理とは、処理前に比べて、所与の被写体の視認性を向上させる処理である。また本実施形態における強調画像は、処理部4の出力画像であり、表示部6において表示される表示画像である。また画像処理部17は、撮像素子12から取得した画像に対して、他の画像処理を行ってもよい。例えば、ホワイトバランス処理や、ノイズ低減処理等の公知の処理を、強調処理の前処理或いは後処理として実行してもよい。
制御部18は、撮像素子12による撮像タイミングと、発光ダイオード13a〜13dの点灯タイミングとを同期させる制御を行う。制御部18は、例えば制御回路又はコントローラである。
表示部6は、画像処理部17から出力される強調画像を順次表示する。即ち、強調画像をフレーム画像とする動画を表示する。表示部6は、例えば液晶ディスプレイやEL(Electro-Luminescence)ディスプレイ等である。
外部I/F部19は、ユーザが内視鏡装置1に対して入力等を行うためのインターフェースである。即ち、内視鏡装置1を操作するためのインターフェース、或いは内視鏡装置1の動作設定を行うためのインターフェース等である。例えば、外部I/F部19は、画像処理のパラメータを調整するための調整ボタン等を含む。
なお、本実施形態の内視鏡装置1は以下のように構成されてもよい。即ち、内視鏡装置1(狭義には処理部4)は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムや各種のデータである。プロセッサは、強調処理を含む画像処理、及び照明部3の照射制御を行う。強調処理は、LnB画像に基づいて強調量を決定し、当該強調量に基づいてベース画像を強調する処理である。
プロセッサは、例えば各部の機能が個別のハードウェアを用いて実現されてもよいし、或いは各部の機能が一体のハードウェアを用いて実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された1又は複数の回路装置や、1又は複数の回路素子を用いて構成することができる。回路装置は例えばIC等である。回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばCPU(Central Processing Unit)であってもよい。ただし、プロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASICによるハードウェア回路でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、SRAM、DRAMなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータによって読み取り可能な命令を格納しており、当該命令をプロセッサが実行することによって、処理部4の各部の機能が処理として実現される。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
また、本実施形態の処理部4の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、画像処理部17は画像処理モジュールとして実現される。制御部18は、照明光の発光タイミングと撮像素子12の撮像タイミングの同期制御等を行う制御モジュールとして実現される。
また、本実施形態の処理部4の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリーカード、HDD、或いは半導体メモリなどを用いて実現できる。半導体メモリは例えばROMである。処理部4は、情報記憶媒体に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体は、処理部4の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。プログラムは、処理部4の各部の処理をコンピュータに実行させるためのプログラムである。
換言すれば、本実施形態の手法は、波長帯域の異なる複数の光を、時系列的に少なくとも2回に分けて照明部3に照射させ、複数の光の照射によって得られた複数の画像に基づいて、粘膜下の特定の構造が強調された強調画像を生成するステップをコンピュータに実行させるプログラムに適用できる。当該プログラムは、複数の光を照射させるステップで、複数の光のうち、強調画像の輝度への影響が大きい第1の波長帯域である第1の光と、特定の構造を第1の光よりもコントラストの高い状態で撮像可能な第2の波長帯域である第2の光とを連続照射させる。
図5は本実施形態の処理を説明するフローチャートである。この処理が開始されると、照明部3は、制御部18の制御に基づいて、複数の波長帯域の光を特定の順序で生体に照射する(S101)。本実施形態における複数の波長帯域の光は、例えば図4に示した410nmを中心とする狭帯域光(LnB)と、R帯域の光(LR)、G帯域の光(LG)、B帯域の光(LB)である。
照明部3は、制御部18に制御に従って、LnBをLGの直後に照射する。具体的な照射順序の例が図3であり、照明部3は「LR、LG、LnB、LB」の順で光を照射する。
S101に示した照明光の照射に基づいて、処理部4は画像を取得する(S102)。S102の処理は、撮像素子12の出力信号をA/D変換する処理と、メモリ16に記憶する処理を含む。
次に、画像処理部17は、S102で取得した画像に基づいて、強調画像を生成する(S103)。S103では、LR画像、LG画像、LB画像から構成されるベース画像に対して、LnB画像の情報を合成する。
図6は、図5のS103の処理を説明するフローチャートである。この処理が開始されると、まず画像処理部17は、S102において取得された画像がLnB画像であるか否かを判定する(S201)。取得された画像がLnB画像でない場合(S201でNo)、画像処理部17は、ベース画像のいずれかのチャンネルを更新する(S202)。具体的には、S102で取得した画像がLR画像である場合、LR画像をベース画像のRチャンネルに割り当てて更新する。同様に、取得した画像がLG画像である場合、LG画像をベース画像のGチャンネルに割り当てて更新する。取得した画像がLB画像である場合、LB画像をベース画像のBチャンネルに割り当てて更新する。そして画像処理部17は、更新後のベース画像に対して、取得済みの強調量に基づく強調処理を行うことによって、強調画像を生成する(S204)。
取得された画像がLnB画像である場合(S201でYes)、画像処理部17の強調量算出部17aは、LnB画像から表層血管を検出する(S203)。検出方法は特に限定されず、例えば、バンドパスフィルタによるフィルタ処理を行って構造情報を検出する。即ち、図6における強調処理で用いられる強調量とは、バンドパスフィルタの出力である。その後、強調処理部17bは、S203において検出した表層血管を用いて、ベース画像を強調する(S204)。強調方法は特に限定されず、例えば、検出した表層血管をベース画像のGチャンネルに加算することによって強調する。この場合、強調処理部17bにおける強調処理とは、バンドパスフィルタ出力の加算処理である。
図5及び図6に示した処理を行うことによって、LB,LG,LRのいずれかの照射が行われたフレームでは、ベース画像の対応するチャンネルが更新される。またLnBの照射が行われたフレームでは、ベース画像に対する強調処理が行われる。ベース画像の所与のチャンネルの更新(S202)、又は表層血管の検出後(S203)に、検出された表層血管の情報に基づいてベース画像に対する強調処理が行われることによって、強調画像が更新される。即ち、図6の例では、取得した画像によらず全フレームにおいて強調画像が更新される。上述したとおり、ユーザにとって被写体の動きが認識しやすいのはGチャンネルである。つまりユーザからすれば、LGが照射されたフレームにおいてLGを用いて撮像される被写体(OB)が移動し、LnBが照射されたフレームにおいて表層血管(OBnB)が移動する。
本実施形態では、照射順序は図3に示したとおりである。即ち、照明部3は「LR、LG、LnB、LB」の順で光を照射するため、表層血管の移動の、その他の被写体の移動に対する遅れが1フレーム相当の時間となり、図1の比較例に比べて画質の向上が可能である。
なお、具体的な照射順序は種々の変形実施が可能である。例えば、LGがLnBの直前に光るのであれば「LB、LG、LnB、LR」等の他の順序でもよい。また、本実施形態の手法はOBが移動するタイミングと、OBnBが移動するタイミングの時間差を軽減できればよく、LGとLnBの照射順序が入れ替わってもよい。例えば、「LR、LnB、LG、LR」という照射順序でもよい。この場合も、LnBがLGの直前に光るのであれば「LB、LnB、LG、LR」等の他の順序でもよい。
また、LnB画像に基づく強調処理として、バンドパスフィルタの出力をGチャンネルに加算する手法を示したが、具体的な処理はこれに限定されない。強調量算出部17aは、バンドパスフィルタ出力に基づいてルックアップテーブルを参照することによって、強調量である係数を決定してもよい。ルックアップテーブルは、あらかじめメモリ16に記憶してもよいし、ネットワーク等を用いて外部から取得してもよい。或いは強調量算出部17aは、バンドパスフィルタ出力とLnB画像との除算を行い、除算結果に基づいて係数を決定してもよい。例えば、メモリ16は除算結果から係数を算出する関数を保持しており、強調量算出部17aは、当該関数に基づいて係数を出力する。また、以上では表層血管の検出をバンドパスフィルタを用いて行うものとしたが、この点も種々の変形実施が可能である。例えば、エッジを検出する公知の画像処理を適用することによって表層血管を検出してもよい。また強調処理部17bは、強調量算出部17aが出力した係数を、ベース画像に乗算してもよい。
以上で説明したとおり、画像処理部17(強調量算出部17a)は、第2の光(LnB)の照射によって取得された第2の画像(LnB画像)に基づいて、特定の構造を検出する。また画像処理部17(強調処理部17b)は、検出結果に基づく情報を、第1の光(LG)の照射によって取得された第1の画像(LG画像)に合成する処理を行うことによって、特定の構造が強調された強調画像を生成する。ここで、検出結果に基づく情報とは、例えばバンドパスフィルタ出力のように検出結果そのものであってもよいし、上記係数として例示したとおり検出結果に基づいて決定される情報であってもよい。また合成する処理は、加算処理であってもよいし、乗算処理であってもよい。また、検出結果に基づく情報がLG画像に付与される処理であれば、これ以外の処理を合成処理として行ってもよい。これによって、特定の構造をユーザにとって視認性の高い態様で表示することが可能になる。
3.第2の実施形態
次に第2の実施形態について説明する。内視鏡装置1の構成は、図2を用いて上述した例と同様である。また、処理の流れは図5と同様であるが、S103に示した強調画像生成処理が第1の実施形態とは異なる。
図7は、本実施形態の強調画像生成処理を説明するフローチャートである。この処理が開始されると、まず画像処理部17は、S102において取得された画像がLnB画像であるか否かを判定する(S301)。取得された画像がLnB画像である場合(S301でYes)、画像処理部17の強調量算出部17aは、LnB画像から表層血管を検出した後(S302)、検出結果をメモリに格納する(S303)。S303の後、処理を終了する。つまり本実施形態では、LnB画像を取得したフレームでは、強調量の算出までは実行するものの、強調処理は実行されず、強調画像の更新も行われない。
取得された画像がLnB画像でない場合(S301でNo)、画像処理部17は、ベース画像のいずれかのチャンネルを更新する(S304)。具体的には、取得した画像がLR画像である場合、LR画像をベース画像のRチャンネルに割り当てて更新する。同様に、取得した画像がLG画像である場合、LG画像をベース画像のGチャンネルに割り当てて更新する。取得した画像がLB画像である場合、LB画像をベース画像のBチャンネルに割り当てて更新する。
S304の処理後、強調処理部17bは、メモリに格納された表層血管の情報に基づいて、更新後のベース画像に対する強調処理を行う(S305)。S305の処理は、S303の処理によってメモリに格納された強調量に基づいて、ベース画像のGチャンネルを強調する処理である。
図7に示した処理を行うことによって、LB,LRのいずれかの照射が行われたフレームにおいては、ベース画像の対応するチャンネルが更新され、強調画像も更新される。またLnBの照射が行われたフレームにおいては、強調処理のための強調量の算出が行われる。LGの照射が行われたフレームにおいては、ベース画像の更新とともに、過去のタイミングで算出された強調量を用いた強調処理が行われることによって強調画像が更新される。
図8は、本実施形態の照明光の照射順序、及び強調画像の例を説明する図である。本実施形態では、F1においてLRが照射され、F2においてLnBが照射され、F3においてLGが照射され、F4においてLBが照射される。これ以降のフレームも同様であり、1周期においてLR,LnB,LG,LBが順次照射される。
フレームF1において、LRの照射によってLR画像が取得される。よってRチャンネルのベース画像が更新されることによって、表示画像が更新される。F1については図3に示した第1の実施形態と同様である。
フレームF2において、LnBの照射によってLnB画像が取得される。LnB画像に基づいて強調量の算出、狭義には表層血管の検出が行われる。ただし本実施形態では、F2のタイミングで実行する処理は表層血管の検出のみであり、強調処理は行われない。よって図3の例とは異なり、F2では強調画像は更新されず、表層血管(OBnB)は移動しない。
フレームF3において、LGの照射によってLG画像が取得される。本実施形態では、LG画像が取得されたフレームでは、ベース画像のGチャンネルの更新、及び、ベース画像に対する強調処理の両方が行われることによって、強調画像が生成される。強調処理に用いられる情報は、F2のタイミングで検出された表層血管の情報である。よって本実施形態の手法では、F3において、LGを用いて撮像される被写体(OB)と、表層血管(OBnB)の両方が同時に移動する。
フレームF4において、LBの照射によってLB画像が取得される。Bチャンネルのベース画像が更新されることによって、表示画像が更新される。F4については図3に示した第1の実施形態と同様である。
本実施形態では、照明部3は、第1のフレームにおいて第2の光(LnB)を照射し、第1のフレームの次の第2のフレームにおいて第1の光(LG)を照射する。図8の例では、第1のフレームはF2であり、第2のフレームはF3である。そして画像処理部17は、第1のフレームにおいて、第2の光の照射によって第2の画像(LnB画像)を取得し、且つ、第2の画像に基づく強調画像の生成処理をスキップする。さらに画像処理部17は、第2のフレームにおいて、第1の光の照射によって取得された第1の画像(LG画像)に対して、第1のフレームにおいて取得された第2の画像に基づく強調処理を行って、強調画像を生成する。
ここで、「強調画像の生成処理をスキップする」とは、例えばLnB画像から表層血管の検出処理を行うが、当該表層血管の情報をベース画像に付与しないことである。ただし、第1のフレームではLnB画像の取得のみを行い、表層血管の検出処理、及び表層血管の情報をベース画像に付与する強調処理の両方を第2のフレームのタイミングで実行する変更実施も可能である。
本実施形態の手法によれば、表層血管の強調タイミングをLGの照射に対応するフレームまで遅らせる。これによって、表示される強調画像上では、表層血管の移動と、LGを用いて撮像される被写体の移動が同時に行われる。即ち、LGを用いて撮像される被写体の移動に対して、表層血管の移動が遅れないため、違和感を低減した視認性の高い画像を表示することが可能になる。
なお、F3における強調処理に用いられる表層血管の情報は、F2のタイミングで撮像されたLnB画像から検出された情報である。そのため、F3のタイミングの実際の表層血管の位置と、強調画像上での表層血管の位置との間に、位置ずれが生じている可能性がある。ただし、本実施形態ではLnBをLGの直前に照射する。これによって、表示位置と実際の位置の間の位置ずれも抑制可能である。具体的には、当該位置ずれは1フレームの期間内における移動量となり、表示上問題がない程度に小さいと考えられる。
4.第3の実施形態
次に第3の実施形態について説明する。内視鏡装置1の構成は、図2を用いて上述した例と同様である。また、処理の流れは図5と同様であるが、S103に示した強調画像生成処理が第1の実施形態及び第2の実施形態とは異なる。
図9は、本実施形態の強調画像生成処理を説明するフローチャートである。この処理が開始されると、まず画像処理部17は、S102において取得された画像がLnB画像であるか否かを判定する(S401)。取得された画像がLnB画像でない場合(S401でNo)、画像処理部17は、取得された画像がLG画像であるか否かを判定する(S402)。
取得した画像がLR画像又はLB画像である場合(S402でNo)、画像処理部17は、ベース画像を更新する(S403)。具体的には、取得した画像がLR画像である場合、LR画像をベース画像のRチャンネルに割り当てて更新する。同様に取得した画像がLB画像である場合、LB画像をベース画像のBチャンネルに割り当てて更新する。さらに強調処理部17bは、更新後のベース画像に対する強調処理を行うことによって、強調画像を更新する(S404)。
取得した画像がLG画像である場合(S402でYes)、当該LG画像をメモリ16に記憶した後(S405)、処理を終了する。即ち本実施形態では、LG画像が取得されたフレームでは、ベース画像の更新を行わず、強調画像の更新も行わない。
取得された画像がLnB画像である場合(S401でYes)、画像処理部17の強調量算出部17aは、メモリ16に記憶しておいたLG画像によってベース画像を更新する(S406)。さらに画像処理部17は、取得したLnB画像から表層血管を検出した後(S407)、検出結果に基づいてベース画像に対する強調処理を行う(S404)。
図9に示した処理を行うことによって、LB,LRのいずれかの照射が行われたフレームにおいては、ベース画像の対応するチャンネルが更新されることによって、強調画像も更新される。またLGの照射が行われたフレームにおいては、LG画像の取得のみを行い、ベース画像の更新も強調画像の更新も行わない。LnBの照射が行われたフレームにおいては、過去のフレームで取得されていたLG画像によるベース画像の更新と、LnB画像に基づく強調処理の両方が行われることによって、強調画像が更新される。
図10は、本実施形態の照明光の照射順序、及び強調画像の例を説明する図である。本実施形態では、F1においてLRが照射され、F2においてLGが照射され、F3においてLnBが照射され、F4においてLBが照射される。これ以降のフレームも同様であり、1周期においてLR,LG,LnB,LBが順次照射される。なお、照射順序はこの順に限定されず、LnBがLGの直後に光るのであれば他の順序でもよく、例えば「LB、LG、LnB、LR」でもよい。
フレームF1において、LRの照射によってLR画像が取得される。よってRチャンネルのベース画像が更新されることによって、表示画像が更新される。F1については第1、第2の実施形態と同様である。
フレームF2において、LGの照射によってLG画像が取得される。本実施形態では、取得したLG画像はメモリ16に記憶されるのみである。よって図3の例と異なり、F2のタイミングにおいて強調画像は更新されず、LGを用いて撮像される被写体(OB)は移動しない。
フレームF3において、LnBの照射によってLnB画像が取得される。本実施形態では、F3において、F2のタイミングで取得、記憶しておいたLG画像によってベース画像が更新される。さらに、F3においてLnB画像に基づいてベース画像に対する強調処理が行われる。よって本実施形態の手法では、F3において、LGを用いて撮像される被写体(OB)と、表層血管(OBnB)の両方が同時に移動する。
フレームF4において、LBの照射によってLB画像が取得される。Bチャンネルのベース画像が更新されることによって、表示画像が更新される。F4については第1、第2の実施形態と同様である。
本実施形態では、照明部3は、第1のフレームにおいて第1の光(LG)を照射し、第1のフレームの次の第2のフレームにおいて第2の光(LnB)を照射する。図10の例では、第1のフレームはF2であり、第2のフレームはF3である。そして画像処理部17は、第1のフレームにおいて、第1の光の照射によって第1の画像(LG画像)を取得し、且つ、第1の画像に基づく強調画像の生成処理をスキップする。さらに画像処理部17は、第2のフレームにおいて、第2の光の照射によって取得された第2の画像(LnB画像)に基づいて、第1のフレームにおいて取得された第1の画像に対する強調処理を行って、強調画像を生成する。
ここで、「強調画像の生成処理をスキップする」とは、取得したLG画像をベース画像に割り当てないこと、換言すれば出力チャンネルのいずれかのチャンネルに割り当てないことを表す。
本実施形態の手法によれば、出力の輝度成分であるGチャンネルの更新タイミングを、表層血管の強調タイミングまで遅らせる。これによって、表示される強調画像上では、表層血管の移動と、LGを用いて撮像される被写体の移動が同時に行われる。即ち、LGを用いて撮像される被写体の移動に対して、表層血管の移動が遅れないため、違和感を低減した視認性の高い画像を表示することが可能になる。
なお、F3のタイミングでベース画像の更新に用いられるLG画像は、F2において撮像された画像である。そのため、LGを用いて撮像される被写体を考えた場合に、F3のタイミングにおける実際の被写体の位置と、強調画像上での被写体の位置との間に、位置ずれが生じている可能性がある。ただし、本実施形態ではLGをLnBの直前に照射することによって、位置ずれを十分に抑制可能である。
以上、第2の実施形態及び第3の実施形態を用いて上述したとおり、内視鏡装置1の画像処理部17は、第1の光と第2の光の照射順序に応じて、異なる画像処理を実行する。第1の光を先に照射する場合は、第3の実施形態において説明した図9の処理を行い、第2の光を先に照射する場合は、第2の実施形態において説明した図7の処理を行う。これによって、照射順序に応じた適切な画像処理を行うことができるため、画質の劣化を抑止した強調画像の生成が可能になる。
5.変形例
以下、いくつかの変形例について説明する。
以上では、波長帯域の異なる複数の照明光として、LB,LG,LR,LnBの4つについて説明した。ただし本実施形態の複数の照明光は、出力の輝度成分に対応する第1の光と、特定の構造をコントラストの高い状態で撮像可能な第2の光とを含めばよく、具体的な組み合わせは種々の変形実施が可能である。
例えば、赤色の波長帯域に対応する狭帯域光LnRや、緑色の波長帯域に対応する狭帯域光LnGを追加してもよい。また各色に対応する狭帯域光は1つに限定されず、例えば緑色の波長帯域に対応する2つの狭帯域光LnG1及びLnG2を追加することも可能である。
或いは、LB,LG,LRの一部又は全部を省略することも可能である。例えば照明部3は、LG,LR,LnBを照射する。画像処理部17は、LnB画像をベース画像のBチャンネルに割り当てるとともに、ベース画像のGチャンネルに対する強調処理に用いる。
また以上では、1フレームにつき1つの発光ダイオードが発光し、1つの照明光が被検体に照射される例を示した。ただし照射制御はこれに限定されず、1フレームにおいて複数の照明が発光してもよい。例えば、図3におけるフレームF4で、LBとLnBの両方を発光させる。これによって撮像される画像は、LB単体を発光させた場合に比べて明るく視認性の高い画像となる。よって、LBとLnBの両方の発光によって撮像される画像をベース画像のBチャンネルに割り当てることによって、強調画像の視認性向上が可能である。なお、LBとLnBの両方の発光によって撮像される画像から、LnB画像に相当する成分だけを抽出することは容易でない。よってこの場合、ベース画像取得用のLB+LnBの発光と、強調処理用のLnBの発光は異なるフレームにおいて実行することが望ましい。例えば1周期を4フレームに設定した上で、照明部3は「LR,LG,LnB,LB+LnB」の順序で照射を行う。
なお、「波長帯域の異なる複数の光」の数と、1周期における光の照射回数(フレーム数)は一致してもよいし一致しなくてもよい。1フレームにおいて複数の光を照射してもよいし、1つの光を1周期内において複数回発光させてもよいためである。本実施形態では、1周期当たりのフレーム数は2以上であれば任意である。ただし、1周期当たりのフレームが多いほど、第1の光(LG)と第2の光(LnB)の照射間隔が長くなる蓋然性が高く、移動の遅れが目立つおそれがある。よって、本実施形態の手法は、1周期当たりのフレーム数が多い場合に特に顕著な効果を発揮する。1周期当たりのフレーム数は、狭義には3以上であり、さらに狭義には4以上である。
また図2ではLR,LG,LB,LnBのそれぞれの光を照射する複数の光源を有する例を示した。ただし照明部3の構成はこれに限定されない。例えば照明部3は、白色光源と回転フィルタを含む。白色光源は、可視光領域において波長毎に均一な強度である白色光を照射する。白色光源は、例えばLED、又はキセノンランプである。回転フィルタは、透過する波長帯域が異なる色フィルタを複数備えており、回転しながら白色光を透過することによって、波長帯域の異なる照明光を順次ライトガイドケーブル8に照射する。LR,LG,LB,LnBの4つの光を照射する例の場合、回転フィルタは、各光の波長帯域を透過する4つの色フィルタを含む。
また以上では撮像素子12がカラーフィルタを有さないモノクロフィルタであることを想定して説明を行った。ただし撮像素子12は、カラーフィルタを有するセンサであってもよい。ここでのカラーフィルタは、広く知られたベイヤ配列であってもよいし、補色型のカラーフィルタであってもよいし、他の配列のカラーフィルタであってもよい。
また、内視鏡装置として、制御装置とスコープが接続され、そのスコープをユーザが操作しながら体内を撮影するタイプを想定できる。但し、これに限定されず、本発明を適用した内視鏡装置として例えばロボットを用いた手術支援システム等を想定できる。
例えば、手術支援システムは、制御装置とロボットとスコープとを含む。スコープは例えば硬性鏡である。制御装置は、ロボットを制御する装置である。即ち、ユーザが制御装置の操作部を操作することによってロボットを動作させ、ロボットを用いて患者に対する手術を行う。また制御装置の操作部を操作することによって、ロボットを経由することによってスコープを操作し、手術領域を撮影する。制御装置は、図2の処理部4を含んでいる。ユーザは、処理部4が表示装置に表示した画像を見ながら、ロボットを操作する。本発明は、このような手術支援システムにおける制御装置に適用できる。なお、制御装置はロボットに内蔵されてもよい。
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内において、構成要素を変形することによって具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例において説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
1…内視鏡装置、2…挿入部、3…照明部、4…処理部、5…本体部、6…表示部、
7…照明光学系、8…ライトガイドケーブル、9…照明レンズ、10…撮像光学系、
11…対物レンズ、12…撮像素子、13a〜13d…発光ダイオード、14…ミラー、
15…ダイクロイックミラー、16…メモリ、17…画像処理部、
17a…強調量算出部、17b…強調処理部、18…制御部、19…外部I/F部

Claims (9)

  1. 波長帯域の異なる複数の光を、時系列的に少なくとも2回に分けて照射する照明部と、
    前記複数の光の照射によって得られた複数の画像に基づいて、粘膜下の特定の構造が強調された強調画像を生成する画像処理部と、
    を含み、
    前記照明部は、
    前記複数の光のうち、前記強調画像の輝度成分に対応する第1の波長帯域である第1の光と、前記特定の構造を前記第1の光よりもコントラストの高い状態で撮像可能な第2の波長帯域である第2の光とを連続照射することを特徴とする内視鏡装置。
  2. 請求項1において、
    前記画像処理部は、
    前記第2の光の照射によって取得された第2の画像に基づいて、前記特定の構造を検出し、検出結果に基づく情報を、前記第1の光の照射によって取得された第1の画像に対して合成する処理を行うことによって、前記特定の構造が強調された前記強調画像を生成することを特徴とする内視鏡装置。
  3. 請求項1において、
    前記画像処理部は、
    前記第1の光と前記第2の光の照射順序に応じて、異なる画像処理を実行することを特徴とする内視鏡装置。
  4. 請求項3において、
    前記照明部は、
    第1のフレームにおいて前記第2の光を照射し、前記第1のフレームの次の第2のフレームにおいて前記第1の光を照射し、
    前記画像処理部は、
    前記第1のフレームにおいて、前記第2の光の照射によって第2の画像を取得し、且つ、前記第2の画像に基づく前記強調画像の生成処理をスキップし、
    前記第2のフレームにおいて、前記第1の光の照射によって取得された第1の画像に対して、前記第1のフレームにおいて取得された前記第2の画像に基づく強調処理を行うことによって、前記強調画像を生成することを特徴とする内視鏡装置。
  5. 請求項3において、
    前記照明部は、
    第1のフレームにおいて前記第1の光を照射し、前記第1のフレームの次の第2のフレームにおいて前記第2の光を照射し、
    前記画像処理部は、
    前記第1のフレームにおいて、前記第1の光の照射によって第1の画像を取得し、且つ、前記第1の画像に基づく前記強調画像の生成処理をスキップし、 前記第2のフレームにおいて、前記第2の光の照射によって取得された第2の画像に基づいて、前記第1のフレームにおいて取得された前記第1の画像に対する強調処理を行うことによって、前記強調画像を生成することを特徴とする内視鏡装置。
  6. 請求項1において、
    波長帯域の異なる前記複数の光は、
    赤色に対応する波長帯域の光、緑色に対応する波長帯域の光、及び青色に対応する波長帯域の光を含むことを特徴とする内視鏡装置。
  7. 請求項1において、
    前記特定の構造は、血管であることを特徴とする内視鏡装置。
  8. 波長帯域の異なる複数の光を、時系列的に少なくとも2回に分けて照射し、
    前記複数の光の照射によって得られた複数の画像に基づいて、粘膜下の特定の構造が強調された強調画像を生成し、
    前記複数の光の照射において、
    前記複数の光のうち、前記強調画像の輝度成分に対応する第1の波長帯域である第1の光と、前記特定の構造を前記第1の光よりもコントラストの高い状態で撮像可能な第2の波長帯域である第2の光とを連続照射する、
    ことを特徴とする内視鏡装置の作動方法。
  9. 波長帯域の異なる複数の光を、時系列的に少なくとも2回に分けて照明部に照射させ、
    前記複数の光の照射によって得られた複数の画像に基づいて、粘膜下の特定の構造が強調された強調画像を生成する、
    ステップをコンピュータに実行させ、
    前記複数の光を照射させるステップで、
    前記複数の光のうち、前記強調画像の輝度成分に対応する第1の波長帯域である第1の光と、前記特定の構造を前記第1の光よりもコントラストの高い状態で撮像可能な第2の波長帯域である第2の光とを連続照射させることを特徴とするプログラム。
JP2020525122A 2018-06-19 2018-06-19 内視鏡装置、内視鏡装置の作動方法及びプログラム Active JP7123135B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/023316 WO2019244247A1 (ja) 2018-06-19 2018-06-19 内視鏡装置、内視鏡装置の作動方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019244247A1 true JPWO2019244247A1 (ja) 2021-06-17
JP7123135B2 JP7123135B2 (ja) 2022-08-22

Family

ID=68983860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020525122A Active JP7123135B2 (ja) 2018-06-19 2018-06-19 内視鏡装置、内視鏡装置の作動方法及びプログラム

Country Status (3)

Country Link
US (1) US20210100439A1 (ja)
JP (1) JP7123135B2 (ja)
WO (1) WO2019244247A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7038641B2 (ja) * 2018-11-02 2022-03-18 富士フイルム株式会社 医療診断支援装置、内視鏡システム、及び作動方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011125457A1 (ja) * 2010-04-01 2011-10-13 オリンパスメディカルシステムズ株式会社 光源装置および内視鏡システム
JP2013150713A (ja) * 2012-01-25 2013-08-08 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP2014033777A (ja) * 2012-08-08 2014-02-24 Fujifilm Corp 電子内視鏡装置及び照明装置
WO2016067425A1 (ja) * 2014-10-30 2016-05-06 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5074044B2 (ja) * 2007-01-18 2012-11-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP2009171008A (ja) * 2008-01-11 2009-07-30 Olympus Corp 色再現装置および色再現プログラム
JP5452300B2 (ja) * 2010-03-19 2014-03-26 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置
JP2015139613A (ja) * 2014-01-29 2015-08-03 オリンパス株式会社 医療用画像形成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011125457A1 (ja) * 2010-04-01 2011-10-13 オリンパスメディカルシステムズ株式会社 光源装置および内視鏡システム
JP2013150713A (ja) * 2012-01-25 2013-08-08 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP2014033777A (ja) * 2012-08-08 2014-02-24 Fujifilm Corp 電子内視鏡装置及び照明装置
WO2016067425A1 (ja) * 2014-10-30 2016-05-06 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法

Also Published As

Publication number Publication date
WO2019244247A1 (ja) 2019-12-26
JP7123135B2 (ja) 2022-08-22
US20210100439A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
JP5587932B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5654511B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5977772B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP2005198794A (ja) 内視鏡装置
JP2015139657A (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP5715602B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5670400B2 (ja) 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法
JP5747362B2 (ja) 内視鏡装置
JP7019039B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
WO2014156604A1 (ja) 内視鏡システム及びその作動方法並びにプロセッサ装置
US20210088772A1 (en) Endoscope apparatus, operation method of endoscope apparatus, and information storage media
JP2018051364A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP7123135B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2011098089A (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び信号分離方法
WO2017203996A1 (ja) 画像信号処理装置、画像信号処理方法および画像信号処理プログラム
JP6285373B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP5856943B2 (ja) 撮像システム
WO2023119795A1 (ja) 内視鏡システム及びその作動方法
JP7090705B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
JP7090706B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP7234320B2 (ja) 画像処理装置および画像処理装置の作動方法
US20230000308A1 (en) Endoscope system and method of operating endoscope system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220809

R151 Written notification of patent or utility model registration

Ref document number: 7123135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151