JP7236564B2 - 内視鏡システム、制御方法、及び制御プログラム - Google Patents

内視鏡システム、制御方法、及び制御プログラム Download PDF

Info

Publication number
JP7236564B2
JP7236564B2 JP2021563761A JP2021563761A JP7236564B2 JP 7236564 B2 JP7236564 B2 JP 7236564B2 JP 2021563761 A JP2021563761 A JP 2021563761A JP 2021563761 A JP2021563761 A JP 2021563761A JP 7236564 B2 JP7236564 B2 JP 7236564B2
Authority
JP
Japan
Prior art keywords
imaging
period
endoscope system
unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021563761A
Other languages
English (en)
Other versions
JPWO2021117330A1 (ja
Inventor
浩司 下村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021117330A1 publication Critical patent/JPWO2021117330A1/ja
Application granted granted Critical
Publication of JP7236564B2 publication Critical patent/JP7236564B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00165Optical arrangements with light-conductive means, e.g. fibre optics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Signal Processing (AREA)

Description

本発明は、内視鏡システム、制御方法、及び制御プログラムに関する。
従来、白色光等の通常光を被検体内に照射しながら連続撮像を行い、ライブ画像を表示する内視鏡システムが知られている。狭帯域光等の特殊光を被検体内に照射しながら連続撮像を行い、IEE(Image-Enhanced Endoscopy:画像強調観察)などの解析を行う内視鏡システムが知られている。
また、撮像時の照明光として、通常光及び特殊光を切り替えることが可能な内視鏡システムが知られている。例えば、特許文献1には、消灯期間を介して通常光及び特殊光を交互に照射し、各消灯期間に撮像素子から信号読み出しを行う特殊観察モードを有する内視鏡システムが記載されている。特許文献2には、被写体に特殊光が照射されている間に撮像を行うことにより生成された特殊光画像と、被写体に通常光が照射されている間に撮像を行うことにより生成された通常光画像とを取得する内視鏡システムが記載されている。
WO2015/136963号公報 特開2016-19569号公報
しかしながら、上記の従来技術では、特殊光による撮像も行いつつ、通常光による撮像に基づく高品質なライブ画像の表示を行うことができなかった。例えば、通常光と特殊光とを切り替えながら撮像を行うと、ライブ画像に用いられる通常光時の撮像画像情報のフレームレートが低下するため、ライブ画像の表示のフレームレートが低下し、高品質なライブ画像の表示を行うことができない。
また、特許文献1の構成では、通常光及び特殊光を交互に照射するため、通常光の露光時間が短くなり、高品質なライブ画像の表示を行うことができなかった。また、上記の課題を解決する手段は、特許文献2にも開示されていない。
本発明は、上記事情に鑑みてなされたものであり、特殊光による撮像も行いつつ、通常光による撮像に基づく高品質なライブ画像の表示を行うことのできる内視鏡システム、制御方法、及び制御プログラムを提供することを目的とする。
本発明の内視鏡システムは、撮像部を備える内視鏡と、上記撮像部による撮像対象へ照明光を照射する光源部と、上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、上記撮像画像情報に基づく撮像画像を表示する表示部と、を備え、上記撮像部が、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行い、上記光源部が、上記撮像部による連続する複数のフレームに渡る第1の期間、照明光を連続して照射した後に、上記撮像部による少なくとも1フレームに渡る期間である第2の期間、上記第1の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行うものである。
また、本発明の内視鏡システムの制御方法は、撮像部を備える内視鏡と、上記撮像部による撮像対象へ照明光を照射する光源部と、上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、上記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムの制御方法であって、上記撮像部により、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行い、上記光源部により、上記撮像部による連続する複数のフレームに渡る第1の期間、照明光を連続して照射した後に、上記撮像部による少なくとも1フレームに渡る期間である第2の期間、上記第1の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行うものである。
また、本発明のための制御プログラムは、撮像部を備える内視鏡と、上記撮像部による撮像対象へ照明光を照射する光源部と、上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、上記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムを制御する制御プログラムであって、上記撮像部に、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行わせ、上記光源部に、上記撮像部による連続する複数のフレームに渡る第1の期間、照明光を連続して照射した後に、上記撮像部による少なくとも1フレームに渡る期間である第2の期間、上記第1の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行わせる、処理をコンピュータに実行させるためのものである。
本発明によれば、特殊光による撮像も行いつつ、通常光による撮像に基づく高品質なライブ画像の表示を行うことのできる内視鏡システム、制御方法、及び制御プログラムを提供することができる。
本発明の一実施形態である内視鏡装置100の一例を示す図である。 図1に示す内視鏡装置100の内部構成を示す模式図である。 図2に示した光源装置5が発生させる光のスペクトルの一例を示す図である。 図2に示した撮像素子23の概略構成を示す平面模式図である。 図2に示した信号処理部42のシステム制御部44の機能ブロックの一例を示す図である。 表示装置7に表示される画面の一例を示す図である。 内視鏡装置100における各動作のタイムチャートの一例を示す図である。 内視鏡装置100の変形例1における各動作のタイムチャートの一例を示す図である。 内視鏡装置100の変形例2における各動作のタイムチャートの一例を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態である内視鏡装置100の一例を示す図である。
内視鏡装置100は、本発明の内視鏡システムの一例である。図1に示すように、内視鏡装置100は、内視鏡1と、この内視鏡1が接続される制御装置4及び光源装置5と、を備える。制御装置4は、本発明の撮像制御部を構成する。光源装置5は、本発明の光源部を構成する。
制御装置4には、内視鏡1によって被検体内を撮像して得られる撮像画像等を表示する表示装置7と、制御装置4に対して各種情報を入力するためのインタフェースである入力部6と、が接続されている。制御装置4は、内視鏡1、光源装置5、及び表示装置7を制御する。
表示装置7は、表示画素が二次元状に配列された表示面を有し、この表示面の各表示画素に、画像データを構成する画素データが描画されることで、この画像データに基づく画像の表示が行われる。表示装置7は、制御装置4からの指令に応じて表示画像を切り替える表示部を構成する。
内視鏡1は、一方向に延びる管状部材であって被検体内に挿入される挿入部10と、挿入部10の基端部に設けられ、観察モード切替操作、撮像記録操作、鉗子操作、送気送水操作、及び吸引操作等を行うための操作部材が設けられた操作部11と、操作部11に隣接して設けられたアングルノブ12と、内視鏡1を制御装置4と光源装置5にそれぞれ着脱自在に接続するコネクタ部13A,13Bを含むユニバーサルコード13と、を含む。
なお、図1では省略されているが、操作部11及び挿入部10の内部には、細胞又はポリープ等の生体組織を採取するための鉗子を挿入する鉗子孔、送気及び送水用のチャンネル、吸引用のチャンネル等の各種のチャンネルが設けられる。
挿入部10は、可撓性を有する軟性部10Aと、軟性部10Aの先端に設けられた湾曲部10Bと、湾曲部10Bの先端に設けられた硬質の先端部10Cとから構成される。
湾曲部10Bは、アングルノブ12の回動操作により湾曲自在に構成されている。この湾曲部10Bは、内視鏡1が使用される被検体の部位等に応じて、任意の方向及び任意の角度に湾曲でき、先端部10Cを所望の方向に向けることができる。
図2は、図1に示す内視鏡装置100の内部構成を示す模式図である。図3は、図2に示した光源装置5が発生させる光のスペクトルの一例を示す図である。
光源装置5は、照明光として、通常光と特殊光とを切り替えて照射可能である。通常光は、白色光等の、医師等の人間による認識に適した発光スペクトルを有する光である。特殊光は、通常光とは発光スペクトルが異なる、IEE等のコンピュータによる解析に適した発光スペクトルを有する光である。
具体的には、光源装置5は、光源用プロセッサ51と、光源部52と、光路結合部54と、を備える。光源用プロセッサ51は、制御装置4のシステム制御部44と接続されており、システム制御部44からの指令に基づいて光源部52を制御する。
光源部52は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部52は、V-LED(Violet Light Emitting Diode)52a、B-LED(Blue Light Emitting Diode)52b、G-LED(Green Light Emitting Diode)52c、及びR-LED(Red Light Emitting Diode)52dの4色のLEDを有する。
光源用プロセッサ51は、V-LED52a、B-LED52b、G-LED52c、及びR-LED52dをそれぞれ独立に制御することで、紫色光V、青色光B、緑色光G、又は赤色光Rをそれぞれ独立に光量を変えて発光可能である。図3に示すように、V-LED52aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED52bは、中心波長450±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED52cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED52dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
また、光源用プロセッサ51は、通常光の照射時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVc:Bc:Gc:Rcとなる白色光を発光するように、各LED52a~52dを制御する。なお、Vc、Bc、Gc、Rc>0である。
また、光源用プロセッサ51は、特殊光の照射時には、短波長の狭帯域光としての紫色光V、青色光B、緑色光G、及び赤色光Rとの光量比がVs:Bs:Gs:Rsとなる特殊光を発光するように、各LED52a~52dを制御する。
光量比Vs:Bs:Gs:Rsは、通常光の照射時に使用する光量比Vc:Bc:Gc:Rcと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Vsを、他のBs、Gs、Rsよりも大きくすることが好ましく、中深層血管を強調する場合には、Gsを、他のVs、Gs、Rsよりも大きくすることが好ましい。
光路結合部54は、V-LED52a、B-LED52b、G-LED52c、及びR-LED52dから出射される各光を結合し、結合した光を照明光として出射する。光源部52の光路結合部54から出射された照明光は、ユニバーサルコード13に内蔵された後述のライトガイド53に入射し、挿入部10の先端部10Cに設けられた照明用レンズ50を通って被写体に照射される。
内視鏡1の先端部10Cには、対物レンズ21及びレンズ群22を含む撮像光学系と、この撮像光学系を通して被写体を撮像する撮像素子23と、RAM(Random Access Memory)等のメモリ25と、通信インタフェース(I/F)26と、撮像駆動部27と、光源部52から出射された照明光を照明用レンズ50に導くためのライトガイド53と、が設けられている。撮像素子23は、本発明の撮像部を構成する。
ライトガイド53は、先端部10Cからユニバーサルコード13のコネクタ部13Aまで延びている。ユニバーサルコード13のコネクタ部13Aが光源装置5に接続された状態で、光源装置5の光源部52から出射される照明光がライトガイド53に入射可能な状態となる。
撮像素子23は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等が用いられる。本実施形態においては、撮像素子23は、ローリングシャッタを用いるCMOSである。
撮像素子23は、複数の画素が二次元状に配置された受光面を有し、上記の撮像光学系によってこの受光面に結像された光学像を各画素において電気信号(撮像信号)に変換する。そして、撮像素子23は、変換した撮像信号をアナログ信号から所定のビット数のデジタル信号に変換し、デジタル信号に変換した撮像信号をメモリ25に出力する。撮像素子23は、例えば原色又は補色等のカラーフィルタを搭載するものが用いられる。撮像素子23の受光面の各画素から出力される撮像信号の集合を撮像画像信号という。
撮像素子23は、対物レンズ21の光軸Axに対して受光面が垂直となる状態で先端部10Cに配置されていてもよいし、対物レンズ21の光軸Axに対して受光面が平行となる状態で先端部10Cに配置されていてもよい。
内視鏡1に設けられる撮像光学系は、撮像素子23と対物レンズ21との間における被写体からの光の光路上にあるレンズ、プリズム等の光学部材(上記のレンズ群22を含む)と、対物レンズ21と、によって構成される。撮像光学系は、対物レンズ21のみで構成される場合もある。
メモリ25は、撮像素子23から出力されたデジタルの撮像信号を一時的に記録する。
通信I/F26は、制御装置4の通信インタフェース(I/F)41と接続される。通信I/F26は、メモリ25に記録された撮像信号を、ユニバーサルコード13内の信号線を通して制御装置4に伝送する。
撮像駆動部27は、通信I/F26を介して制御装置4のシステム制御部44と接続されている。撮像駆動部27は、通信I/F26で受信されるシステム制御部44からの指令に基づいて、撮像素子23及びメモリ25を駆動する。
制御装置4は、ユニバーサルコード13によって内視鏡1の通信I/F26と接続される通信I/F41と、信号処理部42と、表示コントローラ43と、システム制御部44と、記録媒体45と、を備える。
通信I/F41は、内視鏡1の通信I/F26から伝送されてきた撮像信号を受信して信号処理部42に伝達する。
信号処理部42は、通信I/F41から受けた撮像信号を一時記録するメモリを内蔵しており、メモリに記録された撮像信号の集合である撮像画像信号を処理(デモザイク処理又はガンマ補正処理等の画像処理)して、認識処理等が可能な形式の撮像画像情報を生成する。信号処理部42によって生成された撮像画像情報は、ハードディスク又はフラッシュメモリ等の記録媒体45に記録される。
表示コントローラ43は、信号処理部42によって生成された撮像画像情報に基づく撮像画像を表示装置7に表示させる。信号処理部42によって生成された撮像画像情報を構成する各画素データの座標は、表示装置7の表示面を構成するいずれかの表示画素の座標と対応付けて管理されている。
システム制御部44は、制御装置4の各部を制御すると共に、内視鏡1の撮像駆動部27と光源装置5の光源用プロセッサ51とに指令を送り、内視鏡装置100の全体を統括制御する。例えば、システム制御部44は、撮像駆動部27を介して撮像素子23の制御を行う。また、システム制御部44は、光源用プロセッサ51を介して光源部52の制御を行う。
システム制御部44や信号処理部42は、プログラムを実行して処理を行う各種のプロセッサと、RAMと、ROM(Read Only Memory)を含む。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
システム制御部44や信号処理部42は、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
図4は、図2に示した撮像素子23の概略構成を示す平面模式図である。
撮像素子23は、行方向Xに配列された複数の画素61からなる画素行62が、行方向Xと直交する列方向Yに複数配列された撮像面60と、撮像面60に配列された画素61を駆動する駆動回路63と、撮像面60に配列された画素行62の各画素61から信号線に読み出される画素信号を処理する信号処理回路64と、を備える。撮像面60は受光面を構成する。
以下では、図4において撮像面60の列方向Yの一端側(図中の上側)の端部を上端といい、撮像面60の列方向Yの他端側(図中の下側)の端部を下端という。
図4に示す駆動回路63は、撮像駆動部27からの信号に基づいて、各画素行62を独立に駆動し、画素行62に含まれる各画素61のリセット(光電変換素子に蓄積されている電荷の排出)、この各画素61の光電変換素子に蓄積された電荷に応じた画素信号の信号線への読み出し等を行う。
図4に示す信号処理回路64は、画素行62の各画素61から信号線に読み出された画素信号に対し、相関二重サンプリング処理を行い、相関二重サンプリング処理後の画素信号をデジタル信号に変換して出力する。信号処理回路64は、撮像駆動部27によって制御される。
信号処理部42は、撮像素子23から出力された画素信号にデモザイク処理及びガンマ補正処理等の信号処理を施して撮像画像情報を生成する。
内視鏡装置100は、1回の撮像指示に応じて複数の撮像画像情報を連続して生成する連写モードを搭載している。システム制御部44は、連写モードにおいては、撮像駆動部27により撮像素子23をローリングシャッタ方式により駆動して被写体を撮像させる。
ローリングシャッタ方式の駆動は、ローリングリセット駆動と、ローリング読み出し駆動と、を含む。ローリングリセット駆動は、画素行62の各画素61をリセットしてその各画素61の露光を開始する処理を、画素行62を変えながら順次行う駆動である。ローリング読み出し駆動は、露光されている画素行62の各画素61から信号を読み出して、その画素行62の露光を終了する処理を、画素行62を変えながら順次行う駆動である。
図5は、図2に示した信号処理部42のシステム制御部44の機能ブロックの一例を示す図である。
信号処理部42のプロセッサは、信号処理部42に内蔵されるROMに格納された制御プログラムを実行することにより、撮像画像情報生成部42a、ライブ画像生成部42b、解析部42c及び解析画像生成部42dを備える制御装置として機能する。
撮像画像情報生成部42aは、撮像素子23の撮像により得られた撮像信号に対して、デモザイク処理又はガンマ補正処理等の画像処理を行うことにより撮像画像情報を生成する。撮像画像情報生成部42aは、生成した撮像画像情報のうち、通常光の照射時の撮像により得られた撮像信号に基づく撮像画像情報を撮像フレームとしてライブ画像生成部42bへ出力し、特殊光の照射時の撮像により得られた撮像信号に基づく撮像画像情報を撮像フレームとして解析部42cへ出力する。撮像フレームは、1回の撮像により得られた撮像信号である。
ライブ画像生成部42bは、撮像画像情報生成部42aから出力された撮像フレームに基づいて、ライブ画像を表示するためのライブ画像情報を生成し、生成したライブ画像情報を撮像画像情報として表示コントローラ43(図2参照)へ出力する。ライブ画像は、撮像素子23による連続した撮像の結果をリアルタイムで表示する画像(動画)であり、本発明の撮像画像を構成する。
解析部42cには、撮像画像情報生成部42aから出力された撮像フレームに基づく解析を行い、その解析の結果を解析画像生成部42dへ出力する。ここでは、解析画像生成部42dは、解析として、撮像画像の輪郭の抽出の処理を行うものとする。
例えば、解析部42cは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像に写り込んでいる生体構造の輪郭を特定する。特定対象の生体構造は、例えば、表層血管構造、中層血管構造、又は深層血管構造などである。解析画像生成部42dは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像において、解析部42cにより特定された輪郭を強調した輪郭強調画像を表示するための画像情報を生成する。これにより、輪郭強調画像がサブ画面72に表示され、内視鏡1の操作者は、被検体内の構造を容易に認識できる。
解析画像生成部42dは、解析部42cから出力された解析の結果を示すIEE画像を表示するためのIEE画像情報を生成し、生成したIEE画像情報を撮像画像情報として表示コントローラ43(図2参照)へ出力する。IEE画像は、青色レーザ等の特殊光の照射時の撮像により得られた撮像信号に基づく、被写体の構造の輪郭が強調された画像である。この場合、青色レーザ等の特殊光は、画像強調観察用の光を構成する。例えば、IEE画像は、表層血管構造を強調した画像、中層血管構造を強調した画像、深層血管構造を強調した画像などである。
なお、解析画像生成部42dによって生成される画像は、撮像画像や撮像画像を加工した画像に限らず、解析部42cによる解析に基づく、数値(数、確度等)や文字(腫瘍種別)などを示す画像であってもよい。
図5において説明したように、内視鏡装置100は、撮像画像情報のうち、特殊光が照射された第2の期間の撮像により得られた撮像画像情報に基づく解析を行う解析部42cを備える。一方で、内視鏡装置100は、撮像画像情報のうち、通常光が照射された第1の期間の撮像により得られた撮像画像情報に基づくライブ画像を表示する。これにより、通常光に基づくライブ画像を表示しつつ、特殊光に基づく解析を行うことができる。
図6は、表示装置7に表示される画面の一例を示す図である。
表示コントローラ43は、信号処理部42から出力された撮像画像情報に基づいて、例えば図6に示す画面70を表示装置7に表示させる。画面70には、メイン画面71と、サブ画面72と、が含まれる。
メイン画面71には、信号処理部42のライブ画像生成部42bから出力されたライブ画像情報に基づくライブ画像が表示される。サブ画面72には、信号処理部42の解析画像生成部42dから出力されたIEE画像情報に基づくIEE画像が表示される。
図6において説明したように、内視鏡装置100は、通常光が照射された第1の期間の撮像により得られた撮像画像情報に基づくライブ画像と、特殊光が照射された第2の期間の撮像により得られた撮像画像情報に基づく解析の結果と、を含む画面70を表示する。
図7は、内視鏡装置100における各動作のタイムチャートの一例を示す図である。
照明光タイミング81は、制御装置4からの指令により光源装置5が照明光を照射するタイミングである。照明光タイミング81におけるWLIは、光源装置5が照明光として白色光等の通常光を照射するタイミングである。照明光タイミング81におけるIEE1は、光源装置5が照明光として狭帯域光等の第1特殊光を照射するタイミングである。照明光タイミング81におけるIEE2は、光源装置5が照明光として第1特殊光とは異なる第2特殊光を照射するタイミングである。
照明光タイミング81に示すように、光源装置5は、予め定められた照射動作を周期Tで繰り返し実行する。この照射動作は、通常光を照射し、その後に特殊光(第1特殊光又は第2特殊光)を照射する動作である。図7に示す例では、光源装置5は、照射する特殊光を、周期Tごとに、第1特殊光と第2特殊光とに交互に切り替えている。ただし、光源装置5は、周期Tごとに第1特殊光のみを照射してもよい。
撮像タイミング82は、制御装置4からの指令により撮像素子23が撮像(露光)を行うタイミングである。撮像タイミング82における縦方向は画素行62の列方向Y(図4参照)の位置を示している。上記のように、本実施形態における撮像素子23はローリングシャッタ方式の撮像を行うため、撮像タイミング82は画素行62ごとにずれている。図7に示す例では、撮像素子23は、90fps(frames per second)のフレームレートにより撮像を行っている。
照明光タイミング81及び撮像タイミング82に示すように、光源装置5が連続して通常光を照射する第1の期間は、撮像素子23による撮像における連続する複数のフレームに渡る。また、光源装置5が連続して特殊光を照射する第2の期間は、撮像素子23による撮像における少なくとも1フレームに渡る。図7に示す例では、第2の期間は、撮像素子23による連続する複数のフレームに渡っている。
メイン画面表示タイミング83は、制御装置4からの指令により表示装置7がメイン画面71を表示(描画)するタイミングである。図7に示す例では、表示装置7は、60fps、すなわち撮像素子23による撮像のフレームレートより低いフレームレートでメイン画面71の表示を行っている。サブ画面表示タイミング84は、制御装置4からの指令により表示装置7がサブ画面72を表示(描画)するタイミングである。
照明光タイミング81、撮像タイミング82及びメイン画面表示タイミング83に示すように、表示装置7は、撮像タイミング82に示す各撮像のうち、通常光の照射時の撮像により得られた撮像信号に基づいてメイン画面71を表示する。例えば、表示装置7は、撮像82aにより得られた撮像信号に基づいてメイン画面表示83aを行っている。
また、照明光タイミング81、撮像タイミング82及びサブ画面表示タイミング84に示すように、表示装置7は、撮像タイミング82に示す各撮像のうち、特殊光の照射時の撮像により得られた撮像信号に基づいてサブ画面72を表示する。例えば、表示装置7は、第1特殊光の照射時(IEE1)の撮像82bにより得られた撮像信号に基づいてサブ画面表示84b(IEE1解析結果の表示)を行っている。また、表示装置7は、第2特殊光の照射時(IEE2)の撮像82cにより得られた撮像信号に基づいてサブ画面表示84c(IEE2解析結果の表示)を行っている。
また、制御装置4は、撮像タイミング82に示す各撮像のうち、光源装置5により照射される照明光が通常光から特殊光に切り替わるタイミングを含む撮像により得られた撮像信号の空読みを行う。撮像信号の空読みとは、その撮像信号に基づく画像を表示装置7により表示させないことであり、例えばその撮像信号の破棄である。例えば、制御装置4は、光電変換素子に蓄積された電荷に応じた画素信号の信号線への読み出しを行うことで、上記のリセットと同様に光電変換素子に蓄積されている電荷の排出しつつ、読み出した信号を破棄する。なお、読み出した信号の破棄は、内視鏡1において行われてもよいし、制御装置4において行われてもよい。
例えば、制御装置4は、撮像82dにより得られた撮像信号を破棄する。これにより、光源装置5により照射される照明光が通常光から特殊光に切り替わるタイミングでグローバルリセットを行わなくても、照明光の切り替わりが上記の解析やメイン画面71の表示に与える影響を抑制することができる。
例えば、仮に、照明光が通常光から特殊光に切り替わるタイミングを含む撮像により得られた撮像信号を上記の解析に用いると、照明光の切り替わりによって上記の解析が正しく行われず、サブ画面72に表示される解析結果画像の内容が不正確になる。また、仮に、照明光が通常光から特殊光に切り替わるタイミングを含む撮像により得られた撮像信号をメイン画面71に用いると、照明光の切り替わりによってメイン画面71に表示されるライブ画像の色が一時的に変化する。上記の空読みを行うことにより、これらのメイン画面71やサブ画面72の表示に与える影響を抑制することができる。
図示しないが、制御装置4は、さらに、撮像タイミング82に示す各タイミングの撮像のうち、光源装置5により照射される照明光が特殊光から通常光に切り替わるタイミングを含む撮像により得られた撮像信号の空読みを行ってもよい。例えば、制御装置4は、撮像82eにより得られた撮像信号を破棄してもよい。これにより、光源装置5により照射される照明光が特殊光から通常光に切り替わるタイミングでグローバルリセットを行わなくても、照明光の切り替わりが上記の解析やメイン画面71の表示に与える影響を抑制することができる。
図7において説明したように、撮像素子23が、表示装置7による表示のフレームレートより高いフレームレートで撮像を行うことで、通常光及び特殊光を切り替えることによるライブ画像の表示のフレームレートの低下を抑制し、高品質なライブ画像の表示を行うことができる。
また、光源装置5が連続して通常光を照射する第1の期間が、光源装置5が連続して特殊光を照射する第2の期間より長いことにより、例えば撮像素子23による撮像におけるフレームごとに通常光と特殊光を交互に切り替える構成に比べて、通常光の照射時の露光時間を長くし、高品質なライブ画像の表示を行うことができる。
また、光源装置5により照射される照明光が切り替わるタイミングで上記の空読みを行うことで、光源装置5が連続して特殊光を照射する第2の期間の開始直後の撮像信号については、少なくとも撮像素子23による1フレーム分の撮像信号を除いた撮像信号を、表示装置7のサブ画面72として表示する撮像信号として取得することができる。これにより、光源装置5により照射される照明光が切り替わるタイミングでグローバルリセットを行わなくても、照明光の切り替わりが解析結果に与える影響を抑制することができる。
グローバルリセットを行わなくてもよいことにより、ローリングシャッタ方式の撮像を行う構成においても、撮像素子23にグローバルリセット回路を設ける必要がなくなり、回路規模を抑制することができる。
このように、内視鏡装置100においては、撮像素子23が、表示装置7による撮像画像の表示のフレームレートより高いフレームレートで撮像を行う。そして、光源装置5が、撮像素子23による連続する複数のフレームに渡る第1の期間、照明光を連続して照射した後に、撮像素子23による少なくとも1フレームに渡る期間である第2の期間、第1の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行う。これにより、ユーザによる照明光の切り替え操作なしに、特殊光による撮像も行いつつ、通常光による撮像に基づく高品質なライブ画像の表示を行うことができる。
図8は、内視鏡装置100の変形例1における各動作のタイムチャートの一例を示す図である。
空読みを行うことにより撮像素子23においてグローバルリセットを行わない構成について説明したが、グローバルリセットを行う構成としてもよい。図8の撮像タイミング82において黒色の矩形は、撮像素子23のグローバルリセットが行われるタイミングを示している。
図8に示す例においては、撮像素子23が、光源装置5により照射される照明光が通常光から特殊光に切り替わるタイミングで、上記の空読みに代えてグローバルリセットを行う。例えば、撮像素子23は、撮像82aと撮像82bとの間のタイミングにおいてグローバルリセット91を行う。これにより、光源装置5により照射される照明光が通常光から特殊光に切り替わるタイミングで上記の空読みを行わなくても、照明光の切り替わりが上記の解析やメイン画面71の表示に与える影響を抑制することができる。
図示しないが、制御装置4は、さらに、撮像素子23が、光源装置5により照射される照明光が特殊光から通常光に切り替わるタイミングで、グローバルリセットを行ってもよい。例えば、制御装置4は、撮像82eに代えてグローバルリセットを行ってもよい。これにより、光源装置5により照射される照明光が特殊光から通常光に切り替わるタイミングで空読みを行わなくても、照明光の切り替わりが上記の解析やメイン画面71の表示に与える影響を抑制することができる。
図8に示したように、通常光が照射された第1の期間の後に撮像素子23のグローバルリセットを行い、グローバルリセットを行った後の撮像画像情報を、特殊光が照射された第2の期間の撮像画像情報として取得する。これにより、照明光の切り替わりが解析結果に与える影響を抑制することができる。
図9は、内視鏡装置100の変形例2における各動作のタイムチャートの一例を示す図である。
撮像素子23がローリングシャッタ方式の撮像を行う構成について説明したが、撮像素子23がグローバルシャッタ方式の撮像を行う構成としてもよい。図9の撮像タイミング82は、撮像素子23がグローバルシャッタ方式の撮像を行う場合の撮像(露光)のタイミングを示している。図9の撮像タイミング82に示すように、グローバルシャッタ方式においては、撮像のタイミングは各画素行62で同じである。
この場合、図9に示すように、光源装置5は、照射光の切り替えを、グローバルシャッタ方式の撮像間に行う。これにより、グローバルリセットや上記の空読みを行わなくても、照明光の切り替わりが上記の解析やメイン画面71の表示に与える影響を抑制することができる。図9に示したように、撮像素子23は、グローバルシャッタ方式の撮像動作を行うものであってもよい。
(解析の他の例)
特殊光の照射時の撮像により得られた撮像画像情報に基づく解析部42c(信号処理部42)による解析として撮像画像の輪郭の抽出について説明したが、解析部42cによる解析はこれに限らない。
例えば、解析部42cは、上記の解析として、内視鏡1の挿入形状の解析を行ってもよい。内視鏡1の挿入形状の解析は、具体的には、被検体内へ挿入された内視鏡1の挿入部10の挿入形状の特定である。例えば、解析部42cは、特殊光の照射時の撮像により得られた撮像画像情報の変化に基づいて、内視鏡1の挿入形状を特定する。解析画像生成部42dは、解析部42cにより特定された内視鏡1の挿入形状を示す画像を表示するための画像情報を生成する。これにより、内視鏡1の挿入形状を示す画像がサブ画面72に表示され、内視鏡1の操作者は、内視鏡1の挿入部10の被検体内への挿入を容易に行うことができる。
又は、解析部42cは、上記の解析として、内視鏡1が挿入された被検体内の注目領域の検出を行ってもよい。例えば、解析部42cは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像から、被検体内の注目領域を検出する。注目領域は、例えば、病変である可能性が高い領域など、被検体内の観察のうち注目が推奨される領域である。解析画像生成部42dは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像において、解析部42cにより検出された注目領域を強調した注目領域強調画像を表示するための画像情報を生成する。これにより、注目領域強調画像がサブ画面72に表示され、内視鏡1の操作者は、被検体内における注目領域を容易に認識できる。又は、解析画像生成部42dは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像において、注目領域である異常部(病変部など)と正常部との色の差を拡張する色差拡張処理を行った色差拡張画像を表示するための画像情報を生成してもよい。これにより、色差拡張画像がサブ画面72に表示され、内視鏡1の操作者は、被検体内における異常部と正常部を容易に見分けることができる。
又は、解析部42cは、上記の解析として、類似症例画像の選択を行ってもよい。例えば、解析部42cは、特殊光の照射時の撮像により得られた撮像画像情報と類似する症例画像を、内視鏡装置100がアクセス可能なデータベースを検索することにより選択する。解析画像生成部42dは、解析部42cによる選択の結果を示す画像を表示するための画像情報を生成する。解析部42cによる選択の結果とは、解析部42cが選択した症例画像そのものであってもよいし、解析部42cが選択した症例画像に対して上記のデータベースにおいて対応付けられている、その症例画像に関する診断結果等の情報であってもよい。これにより、類似症例画像の選択結果がサブ画面72に表示され、内視鏡1の操作者は、観察中の被検体内の状態と、類似症例との比較を容易に行うことができる。
又は、解析部42cは、上記の解析として、腫瘍及び非腫瘍の判別を行ってもよい。例えば、解析部42cは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像に写り込んでいる生体領域が腫瘍であるか否かを判別する。解析画像生成部42dは、解析部42cによる判別の結果を示す画像を表示するための画像情報を生成する。解析部42cによる判別の結果とは、直近に撮像された画像に写り込んでいる生体領域が腫瘍であるか否かを示す情報であってもよいし、現在の検査が開始されてから腫瘍であると判別された生体領域の数を示す情報などであってもよい。これにより、腫瘍及び非腫瘍の判別結果がサブ画面72に表示され、内視鏡1の操作者による観察や内視鏡1の操作を支援することができる。
又は、解析部42cは、上記の解析として、器官の状態の特定を行ってもよい。例えば、解析部42cは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像に写り込んでいる器官の状態を特定する。器官の状態は、例えば、領域ごとの酸素飽和度、血管構造の太さ、密度、模様、均一性や、大腸の表面構造(例えばpit様構造)、十二指腸の表面構造(例えば絨毛構造)などである。解析画像生成部42dは、解析部42cによる特定の結果を示す画像を表示するための画像情報を生成する。例えば、解析画像生成部42dは、特定した領域ごとの酸素飽和度を画像化した酸素飽和度画像を生成する。これにより、器官の状態の特定結果がサブ画面72に表示され、内視鏡1の操作者による観察や内視鏡1の操作を支援することができる。
又は、解析部42cは、上記の解析として、切離予定線の生成を行ってもよい。例えば、解析部42cは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像に写り込んでいる生体領域のうち、腫瘍等を除去するために切離すべき線である切離予定線(デマルケーションライン)を決定する。解析画像生成部42dは、特殊光の照射時の撮像により得られた撮像画像情報が示す画像において、解析部42cにより決定された切離予定線を付した画像を表示するための画像情報を生成する。これにより、切離予定線が付された画像がサブ画面72に表示され、内視鏡1の操作者は、被検体内における切離予定線を容易に認識できる。
(第1の期間、第2の期間、及び周期Tの変形例)
通常光を照射する第1の期間及び特殊光を照射する第2の期間の各長さが、周期Tごとの繰り返しにおいて一定である構成について説明したが、通常光を照射する第1の期間及び特殊光を照射する第2の期間の各長さが、周期Tごとの繰り返しにおいて一定でなくても(不定であっても)よい。例えば、ある周期Tにおける第1の期間及び第2の期間の各長さの比が3:1であり、他の周期Tにおける第1の期間及び第2の期間の各長さの比が3:2であってもよい。
また、通常光及び特殊光を照射する動作の繰り返し周期である周期Tが一定である場合について説明したが、周期Tは不定であってもよい。また、周期Tにおいて、まず通常光を照射し、その後に特殊光を照射する構成について説明したが、周期Tにおいて、まず特殊光を照射し、その後に通常光を照射する構成としてもよい。
また、通常光のスペクトルは、周期Tごとの繰り返しにおいて一定であってもよいし、周期Tごとの繰り返しにおいて不定であってもよい。同様に、特殊光のスペクトルは、周期Tごとの繰り返しにおいて一定であってもよいし、周期Tごとの繰り返しにおいて不定であってもよい。
また、通常光を照射する第1の期間の直後に、特殊光を照射する第2の期間となる構成について説明したが、第1の期間と第2の期間との間に、光源装置5が照明光を照射しない無照射期間があってもよい。
また、上記の通常光又は特殊光として、狭帯域短波調光と白色光とを同時に照射する構成としてもよい。これにより、色の微細な違いを色彩強調して表示し、炎症観察や拾上げ観察等の観察が容易になる。
(内視鏡システムの別の形態)
本発明の内視鏡システムの一例として内視鏡装置100を説明したが、本発明の内視鏡システムは、ネットワークを介して互いに接続される複数の装置によって実現されてもよい。例えば、上記の制御装置4による処理の少なくとも一部を、内視鏡装置100とネットワークを介して接続される他の装置により実行する構成としてもよい。
(表示部の別の形態)
本発明の表示部の一例として表示装置7を説明したが、本発明の表示部は、複数の表示装置によって実現されてもよい。この場合に、複数の表示装置のうち1つの表示装置により上記のメイン領域を構成し、複数の表示装置のうち残りの表示装置により上記のサブ領域を構成してもよい。
(制御プログラム)
制御装置4のROMに記憶される制御プログラムは、プログラムをコンピュータが読取可能な一時的でない(non-transitory)記憶媒体に記憶される。このような「コンピュータ読取可能な記憶媒体」は、例えば、CD-ROM(Compact Disc-ROM)等の光学媒体や、USB(Universal Serial Bus)メモリ又はメモリカード等の磁気記憶媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。
以上説明してきたように、本明細書には以下の事項が開示されている。
(1)
撮像部を備える内視鏡と、
上記撮像部による撮像対象へ照明光を照射する光源部と、
上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、
上記撮像画像情報に基づく撮像画像を表示する表示部と、を備え、
上記撮像部は、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行い、
上記光源部は、上記撮像部による連続する複数のフレームに渡る第1の期間、照明光を連続して照射した後に、上記撮像部による少なくとも1フレームに渡る期間である第2の期間、上記第1の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行う、内視鏡システム。
(2)
(1)記載の内視鏡システムであって、
上記第1の期間及び上記第2の期間の各長さは、上記動作の繰り返しにおいて一定であり、又は上記動作の繰り返しにおいて不定である、内視鏡システム。
(3)
(1)又は(2)記載の内視鏡システムであって、
上記光源部が上記第1の期間及び上記第2の期間に照射する各照明光のスペクトルは、上記動作の繰り返しにおいて一定であり、又は上記動作の繰り返しにおいて不定である、内視鏡システム。
(4)
(1)から(3)のいずれか1つに記載の内視鏡システムであって、
上記第1の期間と上記第2の期間との間に、上記光源部の無照射期間がある、内視鏡システム。
(5)
(1)から(4)のいずれか1つに記載の内視鏡システムであって、
上記撮像部は、ローリングシャッタ方式の撮像動作を行うものであり、
上記第2の期間は、上記撮像部による連続する複数のフレームに渡る期間であり、
上記撮像制御部は、上記第2の期間の開始直後の上記撮像画像情報については、少なくとも上記撮像部による1フレーム分の撮像画像情報を除いた情報を、上記第2の期間の撮像画像情報として取得する、内視鏡システム。
(6)
(1)から(4)のいずれか1つに記載の内視鏡システムであって、
上記撮像部は、ローリングシャッタ方式の撮像動作を行うものであり、
上記撮像制御部は、上記第1の期間の後に上記撮像部のグローバルリセットを行い、上記グローバルリセットを行った後の撮像画像情報を、上記第2の期間の撮像画像情報として取得する、内視鏡システム。
(7)
(1)から(4)のいずれか1つに記載の内視鏡システムであって、
上記撮像部は、グローバルシャッタ方式の撮像動作を行うものである、内視鏡システム。
(8)
(1)から(7)のいずれか1つに記載の内視鏡システムであって、
上記撮像画像情報のうち上記第2の期間の撮像により得られた撮像画像情報に基づく解析を行う解析部を備え、
上記表示部は、上記撮像画像情報のうち上記第1の期間の撮像により得られた撮像画像情報に基づく上記撮像画像を表示する、内視鏡システム。
(9)
(8)記載の内視鏡システムであって、
上記表示部は、上記撮像画像と上記解析の結果とを含む画面を表示する、内視鏡システム。
(10)
(8)又は(9)記載の内視鏡システムであって、
上記解析は、上記内視鏡の挿入形状の解析を含む、内視鏡システム。
(11)
(8)から(10)のいずれか1つに記載の内視鏡システムであって、
上記解析は、上記撮像画像情報に基づく撮像画像の輪郭の抽出を含む、内視鏡システム。
(12)
(8)から(11)のいずれか1つに記載の内視鏡システムであって、
上記解析は、上記内視鏡が挿入された被検体内の注目領域の検出を含む、内視鏡システム。
(13)
(8)から(12)のいずれか1つに記載の内視鏡システムであって、
上記解析は、類似症例画像の選択を含む、内視鏡システム。
(14)
(8)から(13)のいずれか1つに記載の内視鏡システムであって、
上記解析は、腫瘍及び非腫瘍の判別を含む、内視鏡システム。
(15)
(8)から(14)のいずれか1つに記載の内視鏡システムであって、
上記解析は、器官の状態の特定を含む、内視鏡システム。
(16)
(8)から(15)のいずれか1つに記載の内視鏡システムであって、
上記解析は、切離予定線の生成を含む、内視鏡システム。
(17)
(1)から(16)のいずれか1つに記載の内視鏡システムであって、
上記第1の期間は、上記第2の期間より長い期間である、内視鏡システム。
(18)
(1)から(17)のいずれか1つに記載の内視鏡システムであって、
上記光源部が上記第1の期間及び上記第2の期間に照射する各照明光は、白色光又は画像強調観察用の光である、内視鏡システム。
(19)
撮像部を備える内視鏡と、上記撮像部による撮像対象へ照明光を照射する光源部と、上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、上記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムの制御方法であって、
上記撮像部により、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行い、
上記光源部により、上記撮像部による連続する複数のフレームに渡る第1の期間、照明光を連続して照射した後に、上記撮像部による少なくとも1フレームに渡る期間である第2の期間、上記第1の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行う、内視鏡システムの制御方法。
(20)
撮像部を備える内視鏡と、上記撮像部による撮像対象へ照明光を照射する光源部と、上記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、上記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムを制御する制御プログラムであって、
上記撮像部に、上記表示部による上記撮像画像の表示のフレームレートより高いフレームレートで、上記撮像対象の撮像を行わせ、
上記光源部に、上記撮像部による連続する複数のフレームに渡る第1の期間、照明光を連続して照射した後に、上記撮像部による少なくとも1フレームに渡る期間である第2の期間、上記第1の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行わせる、
処理をコンピュータに実行させるための制御プログラム。
上記記載から、以下の付記項1に記載の撮像装置を把握することができる。
[付記項1]
撮像センサを備える内視鏡と、
前記撮像センサによる撮像対象へ照明光を照射する光源装置と、
前記撮像センサから得られた撮像信号に基づいて撮像画像情報を取得する撮像制御プロセッサと、
前記撮像画像情報に基づく撮像画像を表示する表示装置と、を備え、
前記撮像センサは、前記表示装置による前記撮像画像の表示のフレームレートより高いフレームレートで、前記撮像対象の撮像を行い、
前記光源装置は、前記撮像センサによる連続する複数のフレームに渡る第1の期間、照明光を連続して照射した後に、前記撮像センサによる少なくとも1フレームに渡る期間である第2の期間、前記第1の期間に照射した照明光のスペクトルと異なるスペクトルを有する照明光を照射する動作を、繰り返し行う、内視鏡システム。
本発明によれば、特殊光による撮像も行いつつ、通常光による撮像に基づく高品質なライブ画像の表示を行うことのできる内視鏡システム、制御方法、及び制御プログラムを提供することができる。
1 内視鏡
4 制御装置
5 光源装置
6 入力部
7 表示装置
10 挿入部
10A 軟性部
10B 湾曲部
10C 先端部
11 操作部
12 アングルノブ
13 ユニバーサルコード
13A,13B コネクタ部
21 対物レンズ
22 レンズ群
23 撮像素子
25 メモリ
26,41 通信I/F
27 撮像駆動部
42 信号処理部
42a 撮像画像情報生成部
42b ライブ画像生成部
42c 解析部
42d 解析画像生成部
43 表示コントローラ
44 システム制御部
45 記録媒体
50 照明用レンズ
51 光源用プロセッサ
52 光源部
52a V-LED
52b B-LED
52c G-LED
52d R-LED
53 ライトガイド
54 光路結合部
60 撮像面
61 画素
62 画素行
63 駆動回路
64 信号処理回路
70 画面
71 メイン画面
72 サブ画面
81 照明光タイミング
82 撮像タイミング
82a,82b,82c,82d,82e 撮像
83 メイン画面表示タイミング
83a メイン画面表示
84 サブ画面表示タイミング
84b,84c サブ画面表示
91 グローバルリセット
100 内視鏡装置

Claims (20)

  1. 撮像部を備える内視鏡と、
    前記撮像部による撮像対象へ照明光を照射する光源部と、
    前記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、
    前記撮像画像情報に基づく撮像画像を表示する表示部と、を備え、
    前記撮像部は、前記表示部による前記撮像画像の表示のフレームレートより高いフレームレートで、前記撮像対象の撮像を行い、
    前記光源部は、前記撮像部による連続する複数のフレームに渡る第1の期間、人間による認識用の通常光を照明光として連続して照射した後に、前記撮像部による少なくとも1フレームに渡る期間である第2の期間、前記通常光のスペクトルと異なるスペクトルを有する解析用の特殊光を照明光として照射する動作を、繰り返し行う、内視鏡システム。
  2. 請求項1記載の内視鏡システムであって、
    前記第1の期間及び前記第2の期間の各長さは、前記動作の繰り返しにおいて一定であり、又は前記動作の繰り返しにおいて不定である、内視鏡システム。
  3. 請求項1又は2記載の内視鏡システムであって、
    前記光源部が前記第1の期間及び前記第2の期間に照射する各照明光のスペクトルは、前記動作の繰り返しにおいて一定であり、又は前記動作の繰り返しにおいて不定である、内視鏡システム。
  4. 請求項1から3のいずれか1項記載の内視鏡システムであって、
    前記第1の期間と前記第2の期間との間に、前記光源部の無照射期間がある、内視鏡システム。
  5. 請求項1から4のいずれか1項記載の内視鏡システムであって、
    前記撮像部は、ローリングシャッタ方式の撮像動作を行うものであり、
    前記第2の期間は、前記撮像部による連続する複数のフレームに渡る期間であり、
    前記撮像制御部は、前記第2の期間の開始直後の前記撮像画像情報については、少なくとも前記撮像部による1フレーム分の撮像画像情報を除いた情報を、前記第2の期間の撮像画像情報として取得する、内視鏡システム。
  6. 請求項1から4のいずれか1項記載の内視鏡システムであって、
    前記撮像部は、ローリングシャッタ方式の撮像動作を行うものであり、
    前記撮像制御部は、前記第1の期間の後に前記撮像部のグローバルリセットを行い、前記グローバルリセットを行った後の撮像画像情報を、前記第2の期間の撮像画像情報として取得する、内視鏡システム。
  7. 請求項1から4のいずれか1項記載の内視鏡システムであって、
    前記撮像部は、グローバルシャッタ方式の撮像動作を行うものである、内視鏡システム。
  8. 請求項1から7のいずれか1項記載の内視鏡システムであって、
    前記撮像画像情報のうち前記第2の期間の撮像により得られた撮像画像情報に基づく解析を行う解析部を備え、
    前記表示部は、前記撮像画像情報のうち前記第1の期間の撮像により得られた撮像画像情報に基づく前記撮像画像を表示する、内視鏡システム。
  9. 請求項8記載の内視鏡システムであって、
    前記表示部は、前記撮像画像と前記解析の結果とを含む画面を表示する、内視鏡システム。
  10. 請求項8又は9記載の内視鏡システムであって、
    前記解析は、前記内視鏡の挿入形状の解析を含む、内視鏡システム。
  11. 請求項8から10のいずれか1項記載の内視鏡システムであって、
    前記解析は、前記撮像画像情報に基づく撮像画像の輪郭の抽出を含む、内視鏡システム。
  12. 請求項8から11のいずれか1項記載の内視鏡システムであって、
    前記解析は、前記内視鏡が挿入された被検体内の注目領域の検出を含む、内視鏡システム。
  13. 請求項8から12のいずれか1項記載の内視鏡システムであって、
    前記解析は、類似症例画像の選択を含む、内視鏡システム。
  14. 請求項8から13のいずれか1項記載の内視鏡システムであって、
    前記解析は、腫瘍及び非腫瘍の判別を含む、内視鏡システム。
  15. 請求項8から14のいずれか1項記載の内視鏡システムであって、
    前記解析は、器官の状態の特定を含む、内視鏡システム。
  16. 請求項8から15のいずれか1項記載の内視鏡システムであって、
    前記解析は、切離予定線の生成を含む、内視鏡システム。
  17. 請求項1から16のいずれか1項記載の内視鏡システムであって、
    前記第1の期間は、前記第2の期間より長い期間である、内視鏡システム。
  18. 請求項1から17のいずれか1項記載の内視鏡システムであって、
    前記光源部が前記第1の期間及び前記第2の期間に照射する各照明光は、白色光又は画像強調観察用の光である、内視鏡システム。
  19. 撮像部を備える内視鏡と、前記撮像部による撮像対象へ照明光を照射する光源部と、前記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、前記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムの制御方法であって、
    前記撮像部により、前記表示部による前記撮像画像の表示のフレームレートより高いフレームレートで、前記撮像対象の撮像を行い、
    前記光源部により、前記撮像部による連続する複数のフレームに渡る第1の期間、人間による認識用の通常光を照明光として連続して照射した後に、前記撮像部による少なくとも1フレームに渡る期間である第2の期間、前記通常光のスペクトルと異なるスペクトルを有する解析用の特殊光を照明光として照射する動作を、繰り返し行う、内視鏡システムの制御方法。
  20. 撮像部を備える内視鏡と、前記撮像部による撮像対象へ照明光を照射する光源部と、前記撮像部から得られた撮像信号に基づいて撮像画像情報を取得する撮像制御部と、前記撮像画像情報に基づく撮像画像を表示する表示部と、を備える内視鏡システムを制御する、制御プログラムであって、
    前記撮像部に、前記表示部による前記撮像画像の表示のフレームレートより高いフレームレートで、前記撮像対象の撮像を行わせ、
    前記光源部に、前記撮像部による連続する複数のフレームに渡る第1の期間、人間による認識用の通常光を照明光として連続して照射した後に、前記撮像部による少なくとも1フレームに渡る期間である第2の期間、前記通常光のスペクトルと異なるスペクトルを有する解析用の特殊光を照明光として照射する動作を、繰り返し行わせる、
    処理をコンピュータに実行させる制御プログラム。
JP2021563761A 2019-12-10 2020-10-13 内視鏡システム、制御方法、及び制御プログラム Active JP7236564B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019223276 2019-12-10
JP2019223276 2019-12-10
PCT/JP2020/038585 WO2021117330A1 (ja) 2019-12-10 2020-10-13 内視鏡システム、制御方法、及び制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2021117330A1 JPWO2021117330A1 (ja) 2021-06-17
JP7236564B2 true JP7236564B2 (ja) 2023-03-09

Family

ID=76328872

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021563761A Active JP7236564B2 (ja) 2019-12-10 2020-10-13 内視鏡システム、制御方法、及び制御プログラム

Country Status (4)

Country Link
US (1) US20220257097A1 (ja)
JP (1) JP7236564B2 (ja)
CN (1) CN114727753A (ja)
WO (1) WO2021117330A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058631A (ja) 2000-04-19 2002-02-26 Fuji Photo Film Co Ltd 撮像方法および装置
JP2010172673A (ja) 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2011206336A (ja) 2010-03-30 2011-10-20 Fujifilm Corp 内視鏡システム
WO2015190443A1 (ja) 2014-06-13 2015-12-17 オリンパス株式会社 固体撮像装置及び撮像方法
JP2016097240A (ja) 2014-11-26 2016-05-30 オリンパス株式会社 撮像装置及び撮像方法
WO2019221306A1 (ja) 2018-05-18 2019-11-21 オリンパス株式会社 内視鏡システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058631A (ja) 2000-04-19 2002-02-26 Fuji Photo Film Co Ltd 撮像方法および装置
JP2010172673A (ja) 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2011206336A (ja) 2010-03-30 2011-10-20 Fujifilm Corp 内視鏡システム
WO2015190443A1 (ja) 2014-06-13 2015-12-17 オリンパス株式会社 固体撮像装置及び撮像方法
JP2016097240A (ja) 2014-11-26 2016-05-30 オリンパス株式会社 撮像装置及び撮像方法
WO2019221306A1 (ja) 2018-05-18 2019-11-21 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
WO2021117330A1 (ja) 2021-06-17
CN114727753A (zh) 2022-07-08
JPWO2021117330A1 (ja) 2021-06-17
US20220257097A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
JP5435916B2 (ja) 電子内視鏡システム
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
JP6471173B2 (ja) 画像処理装置、内視鏡装置の作動方法、画像処理プログラムおよび内視鏡装置
JP7125484B2 (ja) 内視鏡システム
JP7333805B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
US20210082568A1 (en) Medical image processing device, processor device, endoscope system, medical image processing method, and program
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
WO2021157487A1 (ja) 医用画像処理装置、内視鏡システム、医用画像処理方法、及びプログラム
JP7236564B2 (ja) 内視鏡システム、制御方法、及び制御プログラム
JP6346501B2 (ja) 内視鏡装置
JP7335976B2 (ja) 内視鏡システム、制御プログラム、及び表示方法
WO2021176890A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
EP4119999A1 (en) Endoscope system, control method, and control program
JP7524307B2 (ja) 内視鏡システム、制御方法、及び制御プログラム
JP7470779B2 (ja) 内視鏡システム、制御方法、及び制御プログラム
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
WO2024166306A1 (ja) 医療用装置、内視鏡システム、制御方法、制御プログラム、及び学習装置
US20230037060A1 (en) Endoscope system and operation method therefor
US20240179419A1 (en) Pixel binning on a per-frame basis
WO2024166310A1 (ja) 医療用装置、医療用システム、学習装置、医療用装置の作動方法およびプログラム
JP2023039245A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2023521057A (ja) 画像処理システム及びその使用方法
JP2021126153A (ja) 医療用画像処理装置および医療用観察システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230227

R150 Certificate of patent or registration of utility model

Ref document number: 7236564

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150