JP5620932B2 - 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 - Google Patents

内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 Download PDF

Info

Publication number
JP5620932B2
JP5620932B2 JP2012029749A JP2012029749A JP5620932B2 JP 5620932 B2 JP5620932 B2 JP 5620932B2 JP 2012029749 A JP2012029749 A JP 2012029749A JP 2012029749 A JP2012029749 A JP 2012029749A JP 5620932 B2 JP5620932 B2 JP 5620932B2
Authority
JP
Japan
Prior art keywords
image
oxygen saturation
signal
light
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012029749A
Other languages
English (en)
Other versions
JP2013165776A (ja
Inventor
山口 博司
博司 山口
孝明 齋藤
孝明 齋藤
飯田 孝之
孝之 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012029749A priority Critical patent/JP5620932B2/ja
Priority to EP13152145.2A priority patent/EP2628437B1/en
Priority to US13/746,880 priority patent/US9167960B2/en
Priority to CN201310038495.2A priority patent/CN103251370B/zh
Publication of JP2013165776A publication Critical patent/JP2013165776A/ja
Application granted granted Critical
Publication of JP5620932B2 publication Critical patent/JP5620932B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • A61B1/0052Constructional details of control elements, e.g. handles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04Arrangements of multiple sensors of the same type
    • A61B2562/046Arrangements of multiple sensors of the same type in a matrix array

Description

本発明は、面順次方式などの順次方式で得られた複数色の画像信号に基づいて、血中ヘモグロビンの酸素飽和度を算出し、画像化する内視鏡システム、内視鏡システムのプロセッサ装置、及び画像生成方法に関する。
近年の医療においては、内視鏡装置を用いた診断等が広く行われている。内視鏡装置による被検体内の観察としては、照明光として広帯域光の白色光を用いて被検体内の全体像を把握する通常光観察や、特定波長の照明光を用いて様々な観点から観察を行う特殊光観察が知られている。
通常光観察では、キセノン光などの広帯域光を被検体に照射し、その反射像をカラーの撮像素子で撮像して得たカラーの通常光画像をモニタに表示する他に、特許文献1及び2に示すように、広帯域光から色分離したRGBの3色の光を被検体に順次照射し、その反射像を順次撮像して得られる3色分の画像を同時化したカラーの通常光画像をモニタに表示することが知られている。
特殊光観察においては、血中ヘモグロビンの吸光係数が高い波長域の照明光を用いることによって特定深さの血管を強調表示する血管強調観察の他、特許文献1に示すように、血中ヘモグロビンの酸素飽和度の変化により吸光度が変化する波長範囲を少なくとも含む複数波長の光を体腔内に順次照射し、その反射像を順次撮像すること(順次方式)により得られる複数フレームの画像から、酸素飽和度を画像化する酸素飽和度観察も知られている。これら血管強調観察や酸素飽和度観察によれば、通常光観察では発見が困難であった特定の癌の検出を容易する。
上記特許文献1のように、順次方式で画像を取得した場合には、画像の取得時間がそれぞれ異なるため、画像間で位置ずれや色ずれが生じるおそれがある。この位置ずれ等が生じた場合には、酸素飽和度を正確に画像化することができない。これに対して、特許文献1では、血管の位置を基準にフレーム間で位置合わせをすることによって、位置ずれの解消を図っている。
特開2011−194151号公報
上記特許文献1では、青色帯域における複数波長の画像信号を用いることで、主として表層血管の酸素飽和度の観察を行い、また、緑色帯域における複数波長の画像信号を用いることで、主として中層血管の酸素飽和度を行っている。しかしながら、内視鏡診断においては、表層血管の酸素飽和度、中層血管の酸素飽和度のいずれも、重要な情報となり得る。したがって、表層から中深層にかけて分布する血管の酸素飽和度を観察できる内視鏡システムが求められている。
表層〜中深層の血管の酸素飽和度を算出するためには、表層の生体情報を多く含む青色の画像信号と、中深層の生体情報を多く含む緑色及び赤色の画像信号が必要となる。これら酸素飽和度算出用の青色、緑色、赤色の画像信号を順次方式で取得する場合には、位置ずれ等が生じるため、各色の画像信号間で位置合わせを行う必要がある。しかしながら、それら各色の画像信号上に表れる像構造は異なっている場合が多い。
例えば、青色信号においては、表層血管が強調されている一方で、中深層血管は目立たなくなっている。これに対して、赤色信号においては、中深層血管が強調されている一方で、表層血管は目立たなくなっている。この場合、青色信号と赤色信号間で精度良く位置合わせすることは困難である。したがって、順次方式で得られた複数の色の画像信号に基づいて酸素飽和度を算出する場合であっても、各色の画像信号間の位置合わせを精度良く行うことが求められていた。
本発明は、順次方式で得られた複数の色の画像信号に基づいて酸素飽和度を算出する場合であっても、各色の画像信号間の位置合わせを精度良く行うことができる内視鏡システム、内視鏡システムのプロセッサ装置、及び画像生成方法を提供することを目的とする。
上記目的を達成するために、本発明の内視鏡システムは、異なる複数の波長域の照明光を複数フレームに分けて被検体に順次照射する照明手段と、前記被検体の反射像を各フレーム毎にカラーの撮像素子で撮像することにより、各フレーム毎に複数色の画像信号を取得する画像信号取得手段と、所定フレーム間で同じ色の画像信号について、位置ずれ量を算出するずれ量算出手段と、前記位置ずれ量に基づいて、前記画像信号のうち血中ヘモグロビンの酸素飽和度の算出に用いられる演算用画像信号間の位置合わせを行う位置合わせ手段と、前記位置合わせがされた演算用画像信号に基づいて、前記酸素飽和度を画像化した酸素飽和度画像を生成する酸素飽和度画像生成手段と、前記酸素飽和度画像を表示する表示手段とを備えることを特徴とする。
前記照明手段は、互いに波長域が異なる第1白色光及び第2白色光を、2つの第1及び第2フレームに分けて被検体に順次照射し、前記画像信号取得手段は、前記第1白色光を照射したときに得られる複数色の第1画像信号及び前記第2白色光を照射したときに得られる複数色の第2画像信号を取得し、前記ずれ量算出手段は、前記複数色の第1及び第2画像信号のうち緑色信号間の位置ずれ量を、前記第1及び第2フレーム間の位置ずれ量として算出することが好ましい。前記演算用画像信号は、前記第1画像信号のうちの青色信号、前記第2画像信号のうちの緑色信号及び赤色信号であり、前記青色信号が前記緑色信号及び赤色信号に対して位置合わせされることが好ましい。前記第1及び第2白色光は、互いに波長域が異なる狭帯域光を波長変換部材で波長変換することにより得られる光であることが好ましい。
前記酸素飽和度画像生成手段は、前記演算用画像信号に基づいて、前記血中ヘモグロビンの血液量及び酸素飽和度を含む複数種類の生体機能情報の中から酸素飽和度のみを求め、この求めた酸素飽和度に基づいて、前記酸素飽和度画像を生成することが好ましい。
本発明の内視鏡システムのプロセッサ装置は、異なる複数の波長域の照明光を複数フレームに分けて被検体に順次照射し、前記被検体の反射像を各フレーム毎にカラーの撮像素子で撮像することにより、各フレーム毎に複数色の画像信号を取得する内視鏡装置から、前記画像信号を受信する受信手段と、所定フレーム間で同じ色の画像信号について、位置ずれ量を算出するずれ量算出手段と、前記位置ずれ量に基づいて、前記画像信号のうち血中ヘモグロビンの酸素飽和度の算出に用いられる演算用画像信号間の位置合わせを行う位置合わせ手段と、前記位置合わせがされた演算用画像信号に基づいて、前記酸素飽和度を画像化した酸素飽和度画像を生成する酸素飽和度画像生成手段とを備えることを特徴とする。
本発明の内視鏡システムの作動方法は、照明手段が、異なる複数の波長域の照明光を複数フレームに分けて発するステップと、画像信号取得手段が、被検体を各フレーム毎にカラーの撮像素子で撮像することにより、各フレーム毎に複数色の画像信号を取得するステップと、ずれ量算出手段が、所定フレーム間で同じ色の画像信号について位置ずれ量を算出するステップと、位置合わせ手段が、位置ずれ量に基づいて、画像信号のうち血中ヘモグロビンの酸素飽和度の算出に用いられる演算用画像信号間の位置合わせを行うステップと、酸素飽和度画像生成手段が、位置合わせがされた演算用画像信号に基づいて、酸素飽和度を画像化した酸素飽和度画像を生成するステップとを有することを特徴とする。
本発明によれば、フレーム間で同じ色の画像信号について位置ずれ量を求め、その位置ずれ量に基づいて、酸素飽和度の算出に用いられる演算用画像信号間の位置合わせを行っているため、精度良く位置合わせがされている。そして、このように精度良く位置合わせされた演算用画像信号に基づいて酸素飽和度を画像化することにより、酸素飽和度の情報を正確に表示することが可能となる。
内視鏡システムの外観図である。 内視鏡システムの内部構成を表すブロック図である。 第1及び第2白色光の発光スペクトルを表すグラフである。 カラーの撮像素子に設けられたB画素、G画素、R画素を示す図である。 B画素、G画素、R画素の分光透過率を示すグラフである。 通常光観察モードにおける撮像素子の撮像制御を説明するための説明図である。 酸素飽和度観察モードにおける撮像素子の撮像制御を説明するための説明図である。 フレーム間のずれ量算出と位置合わせ処理を説明するための図である。 正方形領域R1におけるX方向のずれ量ΔX1とY方向のずれ量ΔY1の算出方法を説明するための図である。 青色信号B1と緑色信号B2の位置合わせを説明するための図である。 酸素飽和度と信号比B1/G2、R2/G2との相関関係を示すグラフである。 ヘモグロビンの吸光係数を示すグラフである。 血液量と信号比R2/G2との相関関係を示すグラフである。 図9のグラフにおいて信号比から酸素飽和度を求める方法を説明するためのである。 酸素飽和度観察モードにおける一連の流れを示すフローチャートである。 別の実施形態における内視鏡システムの内部構成を表すブロック図である。 回転フィルタを示す図である。 回転フィルタのBフィルタ部、Gフィルタ部、Rフィルタ部、BNフィルタ部の分光透過率を示すグラフである。 別の実施形態の通常光観察モードにおける撮像制御を説明するための図である。 別の実施形態の酸素飽和度観察モードにおける撮像制御を説明するための図である。 別の実施形態におけるフレーム間のずれ量算出と位置合わせ処理を説明するための図である。 青色信号b1と緑色信号g2の位置合わせを説明するための図である。 赤色信号r3と緑色信号g2の位置合わせを説明するための図である。
図1に示すように、内視鏡システム10は、所定の波長範囲の光を発生する光源装置11と、光源装置11からの照明光を被検体の被観察領域に照射し、その反射像を撮像する内視鏡装置12と、内視鏡装置12での撮像により得られた画像信号を画像処理するプロセッサ装置13と、画像処理によって得られた内視鏡画像等を表示する表示装置14と、キーボード等で構成される入力装置15とを備えている。
内視鏡装置12には、操作部16側から順に、軟性部17、湾曲部18、スコープ先端部19が設けられている。軟性部17は可撓性を有しているため、屈曲自在にすることができる。湾曲部18は、操作部16に配置されたアングルノブ16aの回動操作により湾曲自在に構成されている。この湾曲部18は、被検体の部位等に応じて、任意の方向、任意の角度に湾曲させることができるため、スコープ先端部19を所望の観察部位に向けることができる。
内視鏡システム10は、波長範囲が青色から赤色に及ぶ可視光の被検体像からなる通常光画像を表示装置14に表示する通常光観察モードと、被検体における血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像を表示装置14に表示する酸素飽和度観察モードを備えている。これら観察モードは、内視鏡装置の切り替えスイッチ21や入力装置15によって入力される入力情報に基づき、適宜切り替えられる。
図2に示すように、光源装置11は、2種のレーザ光源LD1,LD2と、光源制御部20とを備えている。レーザ光源LD1は、中心波長が473nmの第1レーザ光を発する。この第1レーザ光は、内視鏡装置12のスコープ先端部19に配置された蛍光体50で、第1白色光(疑似白色光)に波長変換される。レーザ光源LD2は、中心波長が445nmの第2レーザ光を発する。この第2レーザ光も、蛍光体50によって、第2白色光に波長変換される。なお、第1レーザ光の波長範囲は440〜460nmにすることが好ましく、第2レーザ光の波長範囲は460〜480nmにすることが好ましい。
各レーザ光源LD1,LD2から発せられる第1または第2レーザ光は、集光レンズ(図示省略)を介してそれぞれ光ファイバ24,25に入射する。なお、レーザ光源LD1,LD2は、ブロードエリア型のInGaN系レーザダイオードが使用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオード等を用いることもできる。
光源制御部20は、レーザ光源LD1,LD2を制御することによって、各レーザ光源LD1,LD2の発光タイミングを調節する。本実施形態では、通常光観察モードのときには、レーザ光源LD2をオンにし、レーザ光源LD1をオフにする。一方、酸素飽和度観察モードのときには、1フレーム毎にレーザ光源LD1,LD2のオン・オフを切り替える。即ち、レーザ光源LD1をオンにするときにはレーザ光源LD2をオフにし、レーザ光源LD1をオフにするときにはレーザ光源LD2をオンにする。
カプラ22は、光ファイバ24からの第1レーザ光を2系統の光に分波し、その2系統の光をライトガイド28,29に入射させる。また、カプラ22は、光ファイバ25からの第2レーザ光についても、2系統の光に分波してライトガイド28,29へと入射させる。ライトガイド28,29は多数の光ファイバを束ねたバンドルファイバなどから構成される。
内視鏡装置12は電子内視鏡から構成され、ライトガイド28,29で導光された2系統(2灯)の光を被観察領域に向けて照射する照明部33と、被観察領域を撮像する1系統の撮像部34と、内視鏡装置12と光源装置11及びプロセッサ装置13とを着脱自在に接続するコネクタ部36を備えている。
照明部33は、撮像部34の両脇に設けられた2つの照明窓43,44を備えており、各照明窓43,44は、第1または第2白色光を被観察領域に向けて照射する。撮像部34は、スコープ先端部19の略中心位置に、被観察領域からの反射光を受光する1つの観察窓42を備えている。
照明窓43,44の奥には、それぞれ投光ユニット47,54が収納されている。各投光ユニット47,54は、ライトガイド28,29からの第1または第2レーザ光を蛍光体50に当てて第1または第2白色光を励起発光させ、その第1または第2白色光をレンズ51を介して被観察領域に向けて照射する。
蛍光体50は、レーザ光源LD1,LD2からの第1または第2レーザ光の一部を吸収して緑色〜赤色に励起発光する複数種の蛍光物質(例えばYAG系蛍光物質、或いはBAM(BaMgAl1017)等の蛍光物質)を含んで構成される。第1または第2レーザ光が蛍光体50に照射されると、蛍光体50から発せられる緑色〜赤色の励起発光光(蛍光)と、蛍光体50により吸収されず透過した第1または第2レーザ光の励起光とが合わされて、白色光(疑似白色光)が生成される。
なお、蛍光体50は略直方体形状を有していることが好ましい。この場合、蛍光体50は、蛍光体物質をバインダで略直方体状に固めて形成してもよく、また、無機ガラスなどの樹脂に蛍光体物質を混合したものを略直方体状に形成してもよい。この蛍光体50は、商品名としてマイクロホワイト(登録商標)(Micro White(MW))とも呼ばれている。
第1レーザ光が投光ユニット47,54に入射したときには、図3に示すように、中心波長473nmの第1レーザ光の波長範囲と、その第1レーザ光によって励起発光する蛍光において発光強度が増大する概ね480nm〜700nmの波長範囲とを有する白色光が被検体に照射される。一方、第2レーザ光が投光ユニット47,54に入射したときには、中心波長445nmの第2レーザ光の波長範囲と、その第2レーザ光によって励起発光する蛍光において発光強度が増大する概ね460nm〜700nmの波長範囲とを有する白色光が被検体に照射される。
なお、ここで、本発明でいう白色光とは、厳密に可視光の全ての波長成分を含むものに限らず、例えば、上述した疑似白色光を始めとして、基準色であるR(赤),G(緑),B(青)等、特定の波長帯の光を含むものであればよい。つまり、本発明のいう白色光には、例えば、緑色から赤色にかけての波長成分を含む光や、青色から緑色にかけての波長成分を含む光等も広義に含まれるものとする。
図2に示すように、観察窓42の奥には、被検体の被観察領域の像光を取り込むための対物レンズユニット(図示省略)等の光学系が設けられており、さらにその対物レンズユニットの奥には、被観察領域の像光を受光して被観察領域を撮像するCCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)などの撮像素子60が設けられている。
撮像素子60は、対物レンズユニットからの光を受光面(撮像面)で受光し、受光した光を光電変換して撮像信号(アナログ信号)を出力する。撮像素子60はカラーCCDであり、図4Aに示すように、その受光面には、B色のカラーフィルタが設けられたB画素60b、G色のカラーフィルタが設けられたG画素60g、R色のカラーフィルタが設けられたR画素60rを1組とする画素群が、マトリックス状に配列されている。B色、G色、R色のカラーフィルタは、図4Bの曲線63,64,65に示すように、それぞれ青色帯域、緑色帯域、赤色帯域に分光透過率を有している。したがって、被検体内で反射した第1または第2白色光は、R色、G色、B色のカラーフィルタの全てを透過する。
図2に示すように、撮像素子60から出力される撮像信号(アナログ信号)は、スコープケーブル67を通じてA/D変換器68に入力される。A/D変換器68は、撮像信号(アナログ信号)をその電圧レベルに対応する画像信号(デジタル信号)に変換する。変換後の画像信号は、コネクタ部36を介して、プロセッサ装置13の画像処理部73に入力される。
撮像制御部70は撮像素子60の撮像制御を行う。図5Aに示すように、通常光観察モード時には、1フレーム期間内で、第2白色光(445nm+蛍光体(本実施形態では445nmの第2レーザ光を蛍光体50に当てて白色光を発生させるため、このように表記する))を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷を読み出すステップの合計2ステップが行われる。これは通常光観察モードに設定されている間、繰り返し行われる。
一方、酸素飽和度観察モード時には、図5Bに示すように、まず最初の1フレーム目で、第1白色光(473nm+MW(本実施形態では473mの第1レーザ光を蛍光体50に当てて白色光を発生させるため、このように表記する))を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷を読み出すステップの合計2ステップが行われる。そして、次の2フレーム目で、第2白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷を読み出すステップの合計2ステップが1フレーム期間内に行われる。これら合計2フレームの撮像制御は、酸素飽和度観察モードに設定されている間、繰り返し行われる。
この酸素飽和度観察モードにおいては、1フレーム目に、撮像素子60のB画素から青色信号B1が出力され、G画素から緑色信号G1が出力され、R画素から出力される赤色信号R1が出力される。また、2フレーム目には、B画素から青色信号B2が出力され、G画素から緑色信号G2が出力され、R画素から赤色信号R2が出力される。
図2に示すように、プロセッサ装置13は、制御部72と、画像処理部73と、記憶部74とを備えており、制御部72には表示装置14及び入力装置15が接続されている。制御部72は、内視鏡装置12の切り替えスイッチ21や入力装置15から入力される入力情報に基づいて、画像処理部73、光源装置11の光源制御部20、内視鏡装置12の撮像制御部70、及び表示装置14の動作を制御する。
画像処理部73は通常光画像処理部80と酸素飽和度画像処理部81とを備えており、内視鏡装置12からの画像信号に対して、所定の画像処理を施す。通常光画像処理部80は、通常光観察モード時に得られる画像信号に対して所定の画像処理を施すことによって、通常光画像を生成する。
酸素飽和度画像処理部81は、内視鏡装置12から入力される画像信号に基づいて、被検体の血中ヘモグロビンの酸素飽和度を算出するとともに、酸素飽和度を画像化した酸素飽和度画像を生成する。この酸素飽和度画像処理部81においては、図6に示すように、酸素飽和度の算出用の画像信号として、1フレーム目の青色信号B1、2フレーム目の緑色信号G2及び赤色信号R2を使用する。
また、酸素飽和度を算出する前には、酸素飽和度算出用の信号B1,G2,R2間の位置ズレ(1フレーム目と2フレーム目間での色ズレや位置ズレ)を補正するために、位置合わせ処理を行う。フレーム間のずれ量としては、像構造が似ている信号間でのずれ量とすることが好ましい。これに関しては、異なる色の信号(例えば青色信号と赤色信号)よりも、同じ色の信号のほうが、似た像構造が撮影されている可能性が高い。これは、内視鏡装置12によって得られる画像は、血管などの波長依存性を有する被写体が多く存在する状況で撮影されたものであるため、波長が異なる(色が異なる)場合には、異なる像構造が撮影されている可能性が高いためである。したがって、本実施形態では、緑色信号G1、G2から、フレーム間のずれ量を求める。
酸素飽和度画像処理部81では、ずれ量算出部82と、位置合わせ部83と、信号比算出部84と、相関関係記憶部85と、酸素飽和度算出部86と、酸素飽和度画像生成部88とを備えている。ずれ量算出部82は、1フレーム目の画像信号と2フレーム目の画像信号間のずれ量ΔFを算出する。ずれ量ΔFは、信号特性が類似している1フレーム目の緑色信号G1と2フレーム目の緑色信号G2とから求める。まず、図(A)に示すように、緑色信号G1,G2の全画素を、縦3×横3の9つの正方形領域R1〜R9に分割する。ここで、緑色信号G1,G2などの画像信号における縦方向をX方向とし、横方向をY方向とする。
次に、図7(B)に示すように、緑色信号G1の正方形領域R1について、X方向の累積ヒストグラムHX1とY方向の累積ヒストグラムHY1を生成する。累積ヒストグラムは、正方形領域R1内のX方向またはY方向における画素値の頻度(出現回数)を表すものであり、縦軸は頻度を表し、横軸は画素値を表している。緑色信号G2の正方形領域R1についても、同様に、X方向の累積ヒストグラムHX2とY方向の累積ヒストグラムHY2を生成する。
次に、図7(C)に示すように、累積ヒストグラムHX1と累積ヒストグラムHX2との比較演算によって、正方形領域R1におけるX方向のずれ量ΔX1を求める。このとき、それぞれの累積ヒストグラムHX1,HX2におけるパターンが略同じである場合は、ずれ量ΔX1は「0」又は極めて小さい。そして、それぞれのパターンの違いが大きくなるほど、ずれ量ΔX1も大きくなる。同様にして、累積ヒストグラムHY1と累積ヒストグラムHY2との比較演算によって、正方形領域R1におけるY方向のずれ量ΔY1を求める。
正方形領域R1におけるずれ量ΔX1,ΔY1が求まったら、上記と同様にして、その他の正方形領域R2〜R9のずれ量ΔX2〜ΔX9,ΔY2〜ΔY9を求める。緑色信号G1,G2の正方形領域Rnの全てについてずれ量ΔX1〜ΔX9、ΔY1〜ΔY9が求まったら、下記の(式1)、(式2)に示すように、信号全体としてのX方向のずれ量ΔFxとY方向のずれ量ΔFyを求める。これらずれ量ΔFx、ΔFyが、1フレーム目と2フレーム目のフレーム間のずれ量に相当する。
ΔFx=ΔX1+ΔX2+・・・+ΔX9 (式1)
ΔFy=ΔY1+ΔY2+・・・+ΔY9 (式2)
位置合わせ部83は、ずれ量算出部82で求めたフレーム間のずれ量ΔFx、ΔFyを用いて、酸素飽和度の算出に用いる1フレーム目の青色信号B1、2フレーム目の緑色信号G2、2フレーム目の赤色信号R2間の位置合わせを行う。位置合わせ部83は、図8に示すように、フレーム間のずれを打ち消す方向に、1フレーム目の青色信号B1をずれ量ΔFx、ΔFy分だけ移動させる。これにより、フレーム間のずれが解消され、1フレーム目の青色信号B1と、2フレーム目の緑色信号G2と赤色信号R2の画素の位置が合う。これにより、正確に酸素飽和度を算出することができるようになる。なお、これとは反対に、2フレーム目の信号(G2,R2)を移動させて1フレーム目に合わせてもよい。
信号比算出部84は、位置合わせされた1フレーム目の青色信号B1と2フレーム目の緑色信号G2との信号比B1/G2と、2フレーム目の緑色信号G2と赤色信号R2との信号比R2/G2とを求める。信号比算出部84では、信号比を求める際、信号間で同じ位置にある画素間の信号比を算出する。また、信号比は画像信号の全ての画素に対して算出される。なお、信号比は画像信号のうち血管部分の画素のみ求めてもよい。この場合、血管部分は、血管部分の画像信号とそれ以外の部分の画像信号との差に基づいて特定される。
相関関係記憶部85は、信号比B1/G2及びR2/G2と酸素飽和度との相関関係を記憶している。この相関関係は、図9に示すように、二次元空間上に酸素飽和度の等高線を定義した2次元テーブルで記憶されている。この等高線の位置、形は光散乱の物理的なシミュレーションで得られ、血液量に応じて変わるように定義されている。例えば、血液量の変化があると、各等高線間の間隔が広くなったり、狭くなったりする。なお、信号比B1/G2,R2/G2はlogスケールで記憶されている。
上記相関関係は、図10に示すような酸化ヘモグロビンや還元ヘモグロビンの吸光特性や光散乱特性と密接に関連性し合っている。ここで、曲線90は酸化ヘモグロビンの吸光係数を、曲線91は還元ヘモグロビンの吸光係数を示している。例えば、473nmのように吸光係数の差が大きい波長では、酸素飽和度の情報を取り易い。しかしながら、473nmの光に対応する信号を含む青色信号B1は、酸素飽和度だけでなく血液量にも依存度が高い。そこで、青色信号B1に加え、主として血液量に依存して変化する光に対応する赤色信号R2と、青色信号B2と赤色信号R2のリファレンス信号(規格化用信号)となる緑色信号G2から得られる信号比B1/G2及びR2/G2を用いることで、血液量に依存することなく、酸素飽和度を正確に求めることができる。
なお、相関関係記憶部85には、図11に示すように、信号比R1/G1と血液量との相関関係についても記憶されている。この相関関係は、信号比R1/G1が大きくなればなるほど血液量も大きくなるように定義される1次元テーブルとして記憶されている。この信号比R1/G1と血液量の相関関係は血液量の算出時に用いられる。
また、血中ヘモグロビンの吸光係数の波長依存性から、以下のことが言える。
・波長470nm近辺(例えば、中心波長470nm±10nmの青色の波長領域)では酸素飽和度の変化に応じて吸光係数が大きく変化する。
・540〜580nmの緑色の波長範囲で平均すると、酸素飽和度の影響を受けにくい。
・590〜700nmの赤色の波長範囲では、酸素飽和度によって一見吸光係数が大きく変化するように見えるが、吸光係数の値自体が非常に小さいので、結果的に酸素飽和度の影響を受けにくい。
また、図9に示すように、信号比R2/G2が大きくなるのに従って、信号比B1/G2の信号値も大きくなるの(酸素飽和度=0%限界の等高線が斜め上方にスライドする)は、以下の理由からである。上記したように、信号比R2/G2は血液量と相関関係があるため、信号比R2/G2が大きくなるほど血液量も大きくなる。信号B1、G2、R2の中で、血液量の増加によって信号値の低下が一番大きくなるのは、緑色信号G2であり、その次が青色信号B1である。これは、緑色信号G2に含まれる波長成分の540〜580nmの吸光係数が、青色信号B1に含まれる波長成分の470nm付近の吸光係数よりも高いためである(図10参照)。したがって、信号比B1/G2においては、血液量が大きくなるほど、分子のB1の信号値の低下よりも分母のG2の信号値の低下の方が大きくなる。即ち、信号比B1/G2は、血液量が大きくなるにつれて、大きくなる。
酸素飽和度算出部86は、相関関係記憶部85に記憶された相関関係と信号比算出部84で求めた信号比B1/G2、R2/G2とを用いて、各画素における酸素飽和度を求める。図12に示すように、相関関係記憶部85に記憶した相関関係から、信号比算出部で求めた信号比B1/G2、R2/G2に対応する対応点Pを特定する。そして、対応点Pが酸素飽和度=0%限界の下限ライン93と酸素飽和度=100%限界の上限ライン94との間にある場合に、その対応点Pが示すパーセント値を酸素飽和度とする。例えば、図12の場合であれば、対応点Pは60%の等高線上に位置するため、酸素飽和度は60%となる。
一方、対応点が下限ライン93と上限ライン94との間から外れている場合、対応点が下限ライン93よりも上方に位置するときには酸素飽和度を0%とし、対応点が上限ライン94よりも下方に位置するときには酸素飽和度を100%とする。なお、対応点が下限ライン93と上限ライン94との間から外れている場合には、その画素における酸素飽和度の信頼度を下げて表示装置14上に表示しないようにしてもよい。
酸素飽和度画像生成部88は、酸素飽和度算出部86で求めた酸素飽和度に基づき、酸素飽和度画像を生成する。生成された酸素飽和度画像は表示装置14に表示される。生成される酸素飽和度画像としては、例えば、酸素飽和度に応じて異なる色(通常光画像で使う色とは異なる疑似色を使うため「疑似カラー」と呼ばれる)で表示する方法の他、酸素飽和度が一定値を下回った低酸素領域にのみ疑似カラーで表示し、それ以外の領域については通常の色(通常光画像で使用する色)で表示する方法がある。
次に、本発明の作用について図13のフローチャートに沿って説明する。内視鏡装置の切り替えスイッチ21によって、酸素飽和度観察モードに切り替えられると、中心波長473nmの第1レーザ光で第1白色光を蛍光体50から励起発光させ、この第1白色光を被検体内に照射する。被検体からの反射光等は、B画素、G画素、R画素からなるカラーCCDである撮像素子60で撮像される。これにより、青色信号B1、緑色信号G1、赤色信号R1からなる1フレーム目の画像信号が得られる。
1フレーム目の画像信号が得られると、中心波長445nmの第2レーザ光で第2白色光を蛍光体50から励起発光させ、この第2白色光を被検体内に照射する。被検体からの反射光等を撮像素子60で撮像することにより、青色信号B2、緑色信号G2、赤色信号R2からなる2フレーム目の画像信号が得られる。
2フレーム目の画像信号が得られると、ずれ量算出部82は、1フレーム目の緑色信号G1と2フレーム目の画像信号G2から、フレーム間におけるX方向のずれ量ΔFx、Y方向のΔFyを算出する。これらずれ量ΔFx、ΔFyは、緑色信号G1、G2における9つの正方形領域R1〜R9間のずれ量に基づいて、算出される。そして、算出されたずれ量ΔFx、ΔFyに基づき、酸素飽和度の算出に用いられる青色信号B1、緑色信号G2、赤色信号R2間の位置合わせを行う。
次に、信号比算出部84により、1フレーム目の画像信号と2フレーム目の画像信号間で同じ位置にある画素について、信号比B1/G2、R2/G2を求める。信号比は全ての画素について求める。信号比が求まると、酸素飽和度算出部86は、相関関係記憶部85に記憶している相関関係から、信号比算出部84で求めた信号比B1/G2、R2/G2に対応する酸素飽和度を求める。酸素飽和度は、全ての画素について求める。そして、求めた酸素飽和度に基づいて、酸素飽和度画像を生成する。生成した酸素飽和度画像は、表示装置14に表示される。
なお、上記実施形態では、半導体光源の照明光を用いて被検体内の照明を行ったが、これに代えて、キセノンランプなどの白色光源の広帯域光から回転フィルタで波長分離した光を用いて、照明を行ってもよい(回転フィルタ方式)。この場合、内視鏡システム10に代えて、図14に示す内視鏡システム100が使用される。この内視鏡システム100は、内視鏡装置101、光源装置102が異なっている以外は、内視鏡システム10と同様の構成を備えている。したがって、以下においては、内視鏡装置101及び光源装置102の構成とそれに関連する部分を説明し、その他については説明を省略する。
内視鏡装置101は、スコープ先端部の照明部33に蛍光体50が設けられていない点が内視鏡装置12と異なる。そのため、光源装置102からの光は、ライトガイド28,29を介して、そのまま被検体内に照射される。それ以外については、内視鏡装置101は、内視鏡装置12と同様の構成を備えている。
光源装置102は、広帯域光BB(400〜700nm)を発する白色光源110と、この白色光源110からの広帯域光BBをB、G、Rの3色の光に色分離する回転フィルタ112と、回転フィルタ112の回転軸に接続され、一定の回転速度で回転フィルタを回転させるモータ113と、回転フィルタ112を半径方向にシフトさせるシフト部114を備えている。
白色光源110は、広帯域光BBを放射する光源本体110aと、広帯域光BBの光量を調整する絞り110bとを備えている。光源本体110aはキセノンランプ、ハロゲンランプ、メタルハライドなどから構成される。絞り110bの開度は、光量制御部(図示省略)によって調節される。
図15に示すように、回転フィルタ112は、モータ113に接続された回転軸112aを回転中心として回転する。この回転フィルタ112には、回転軸112がある回転中心から順に、半径方向に沿って、青色の透過帯域が異なる第1フィルタ領域と第2フィルタ領域120,121が設けられている。これら第1及び第2フィルタ領域120,121のうちのいずれかが、モードに応じて、広帯域光BBの光路上にセットされる。第1フィルタ領域120は、通常光観察モード時に広帯域光BBの光路上にセットされ、第2フィルタ領域121は、酸素飽和度観察モード時に広帯域光BBの光路上にセットされる。各フィルタ領域120,121の切替は、シフト部114により回転フィルタ112を半径方向にシフトさせることによって、行われる。
第1フィルタ領域120は、中心角が120°の扇型の領域に、それぞれBフィルタ部120a、Gフィルタ部120b、Rフィルタ部120cが設けられている。図16に示すように、Bフィルタ部120aは広帯域光BBから青色帯域(380〜500nm)のB光を透過させ、Gフィルタ部120bは広帯域光BBから緑色帯域(450〜630nm)のG光を透過させ、Rフィルタ部120cは広帯域光BBから赤色帯域(580〜760nm)のR光を透過させる。したがって、回転フィルタ112の回転によって、回転フィルタ112からB光、G光、R光が順次出射する。これらB光、G光、R光は、集光レンズ116及び光ファイバ117を通して、ライドガイド28,29に入射する。
第2フィルタ領域121は、中心角が120°の扇型の領域に、BNフィルタ部121aと、Gフィルタ部120b、Rフィルタ部120cと同様の光透過特性を持つGフィルタ部121b、Rフィルタ部121cが設けられている。図16に示すように、BNフィルタ部121aは広帯域光BBから、波長範囲450〜500nmの青色狭帯域光BNを透過させる。一方、Gフィルタ部121b,Rフィルタ部121cは、Gフィルタ部120b及びRフィルタ部120cと同様に、緑色帯域(450〜630nm)のG光と赤色帯域(580〜760nm)のR光を透過させる。したがって、回転フィルタ112の回転によって、回転フィルタ112からBN光、G光、R光が順次出射する。これらBN光、G光、R光は、集光レンズ116及び光ファイバ117を通して、ライドガイド28,29に入射する。
以上のように、内視鏡システム100では、回転フィルタ方式を採用しているため、撮像制御が内視鏡システム10と異なる。通常光観察モードにおいては、図17Aに示すように、B、G、Rの三色の像光をカラーの撮像素子60で順次撮像して電荷を蓄積し、この蓄積した電荷に基づいて面順次撮像信号(各色の像光に対応する青色信号、緑色信号、赤色信号(合計9つの信号))を順次出力する。この一連の動作は、通常光観察モードに設定されている間、繰り返される。これら出力された面順次撮像信号のうち、B光に対応する青色信号、G光に対応する緑色信号、R光に対応する赤色信号に基づき、通常光画像が生成される。
一方、酸素飽和度観察モードにおいては、図17Bに示すように、青色狭帯域光BN、G光、R光の3つの光の像光をカラーの撮像素子60で順次撮像して電荷を蓄積し、この蓄積した電荷に基づいて面順次撮像信号を順次出力する。こうした動作が酸素飽和度観察モードに設定されている間、繰り返される。なお、青色狭帯域光BNの像光を撮像したとき(1フレーム目)の青色信号、緑色信号、赤色信号をb1、g1、r1とし、G光の像光を撮像したとき(2フレーム目)の青色信号、緑色信号、赤色信号をb2、g2、r2とし、R光の像光を撮像したとき(3フレーム目)の青色信号、緑色信号、赤色信号をb3、g3、r3とする。
内視鏡システム100における酸素飽和度の算出は、上記実施形態と異なり、1フレーム目の青色信号b1、2フレーム目の緑色信号g2、3フレーム目の赤色信号r3を用いて行われる。これら信号b1、g2、r3は、酸素飽和度を算出する前に、青色信号b1、赤色信号r3を緑色信号g2に位置合わせする位置合わせ処理が行われる。なお、青色信号b1に含まれる波長成分(450〜500nm)と、上記実施形態の青色信号B1に含まれる波長成分(中心波長473nm)とはそれぞれ異なっているが、いずれの波長成分も酸化ヘモグロビンの吸光係数が還元ヘモグロビンの吸光係数よりも大きい。したがって、その波長成分の違いは、酸素飽和度の算出には大きく影響を与えない。
この位置合わせ処理では、図18に示すように、まず、1フレームと2フレーム間の第1ずれ量と、2フレームと3フレーム間の第2ずれ量を求める。第1ずれ量は、互いに信号特性や像構造が似ている緑色信号g1、g2間のずれ量とする。この第1ずれ量については、上記実施形態のずれ量算出方法を用いて、信号g1、g2間におけるX方向のずれ量ΔF1xとY方向のずれ量ΔF1yを求める。また、第2ずれ量は、互いに信号特性や像構造が似ている赤色信号r2、r3間のずれ量(第2ずれ量)とする。この第2ずれ量については、上記実施形態のずれ量算出方法を用いて、信号r2、r3間におけるX方向のずれ量ΔF2xとY方向のずれ量ΔF2yを求める。
上記のように、フレーム間でのずれ量が求まると、図19に示すように、1フレームと2フレーム間のずれを打ち消す方向に、1フレーム目の青色信号b1をずれ量ΔF1x、ΔF1y分だけ移動させる。これにより、1フレーム目の青色信号b1と、2フレーム目の緑色信号g2間でのずれが解消され、信号間で位置が合うようになる。また、図20に示すように、2フレームと3フレーム間のずれを打ち消す方向に、3フレーム目の赤色信号r3をずれ量ΔF2x、ΔF2y分だけ移動させる。これにより、2フレーム目の緑色信号g2と、3フレーム目の赤色信号r3間でのずれが解消され、信号間で位置が合うようになる。
これら位置合わせがされた青色信号b1、緑色信号g2、赤色信号r3に基づいて、酸素飽和度の算出が行われる。各信号b1、g2、r3間の位置は合っているため、正確に酸素飽和度を算出することができる。酸素飽和度の算出は、上記実施形態と同様の方法で行われる。なお、上記実施形態の信号比B1/G2に対応する信号比としてb1/g2を用い、上記実施形態の信号比R2/G2に対応する輝度比としてr3/g2を用いる。これに伴って、相関関係記憶部85には、信号比b1/g2及びr3/g2と酸素飽和度との相関関係が記憶されている。
なお、本発明では、酸素飽和度の画像化を行ったが、これに代えて又は加えて、「血液量(酸化ヘモグロビンと還元ヘモグロビンの和)×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスや、「血液量×(100−酸素飽和度)(%)」から求まる還元ヘモグロビンインデックスの画像化を行ってもよい。
10,100 内視鏡システム
11,102 光源装置
12 内視鏡装置
13 プロセッサ装置
82 ずれ量算出部
83 位置合わせ部
86 酸素飽和度算出部
88 酸素飽和度画像生成部

Claims (7)

  1. 異なる複数の波長域の照明光を複数フレームに分けて被検体に順次照射する照明手段と、
    前記被検体の反射像を各フレーム毎にカラーの撮像素子で撮像することにより、各フレーム毎に複数色の画像信号を取得する画像信号取得手段と、
    所定フレーム間で同じ色の画像信号について、位置ずれ量を算出するずれ量算出手段と、
    前記位置ずれ量に基づいて、前記画像信号のうち血中ヘモグロビンの酸素飽和度の算出に用いられる演算用画像信号間の位置合わせを行う位置合わせ手段と、
    前記位置合わせがされた演算用画像信号に基づいて、前記酸素飽和度を画像化した酸素飽和度画像を生成する酸素飽和度画像生成手段と、
    前記酸素飽和度画像を表示する表示手段とを備えることを特徴とする内視鏡システム。
  2. 前記照明手段は、互いに波長域が異なる第1白色光及び第2白色光を、2つの第1及び第2フレームに分けて被検体に順次照射し、
    前記画像信号取得手段は、前記第1白色光を照射したときに得られる複数色の第1画像信号及び前記第2白色光を照射したときに得られる複数色の第2画像信号を取得し、
    前記ずれ量算出手段は、前記複数色の第1及び第2画像信号のうち緑色信号間の位置ずれ量を、前記第1及び第2フレーム間の位置ずれ量として算出することを特徴とする請求項1記載の内視鏡システム。
  3. 前記演算用画像信号は、前記第1画像信号のうちの青色信号、前記第2画像信号のうちの緑色信号及び赤色信号であり、前記青色信号が前記緑色信号及び赤色信号に対して位置合わせされることを特徴とする請求項2記載の内視鏡システム。
  4. 前記第1及び第2白色光は、互いに波長域が異なる狭帯域光を波長変換部材で波長変換することにより得られる光であることを特徴とする請求項2または記載の内視鏡システム。
  5. 前記酸素飽和度画像生成手段は、前記演算用画像信号に基づいて、前記血中ヘモグロビンの血液量及び酸素飽和度を含む複数種類の生体機能情報の中から酸素飽和度のみを求め、
    この求めた酸素飽和度に基づいて、前記酸素飽和度画像を生成することを特徴とする請求項1ないし4いずれか1項記載の内視鏡システム。
  6. 異なる複数の波長域の照明光を複数フレームに分けて被検体に順次照射し、前記被検体の反射像を各フレーム毎にカラーの撮像素子で撮像することにより、各フレーム毎に複数色の画像信号を取得する内視鏡装置から、前記画像信号を受信する受信手段と、
    所定フレーム間で同じ色の画像信号について、位置ずれ量を算出するずれ量算出手段と、
    前記位置ずれ量に基づいて、前記画像信号のうち血中ヘモグロビンの酸素飽和度の算出に用いられる演算用画像信号間の位置合わせを行う位置合わせ手段と、
    前記位置合わせがされた演算用画像信号に基づいて、前記酸素飽和度を画像化した酸素飽和度画像を生成する酸素飽和度画像生成手段とを備えることを特徴とする内視鏡システムのプロセッサ装置。
  7. 照明手段が、異なる複数の波長域の照明光を複数フレームに分けて発するステップと、
    画像信号取得手段が、被検体を各フレーム毎にカラーの撮像素子で撮像することにより、各フレーム毎に複数色の画像信号を取得するステップと、
    ずれ量算出手段が、所定フレーム間で同じ色の画像信号について位置ずれ量を算出するステップと、
    位置合わせ手段が、前記位置ずれ量に基づいて、前記画像信号のうち血中ヘモグロビンの酸素飽和度の算出に用いられる演算用画像信号間の位置合わせを行うステップと、
    酸素飽和度画像生成手段が、前記位置合わせがされた演算用画像信号に基づいて、前記酸素飽和度を画像化した酸素飽和度画像を生成するステップとを有することを特徴とする内視鏡システムの作動方法
JP2012029749A 2012-02-14 2012-02-14 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 Active JP5620932B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012029749A JP5620932B2 (ja) 2012-02-14 2012-02-14 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
EP13152145.2A EP2628437B1 (en) 2012-02-14 2013-01-22 Endoscope system, processor device thereof, and image producing method
US13/746,880 US9167960B2 (en) 2012-02-14 2013-01-22 Endoscope system, processor device thereof, and image producing method
CN201310038495.2A CN103251370B (zh) 2012-02-14 2013-01-31 内窥镜系统、该内窥镜系统的处理器装置和图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012029749A JP5620932B2 (ja) 2012-02-14 2012-02-14 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法

Publications (2)

Publication Number Publication Date
JP2013165776A JP2013165776A (ja) 2013-08-29
JP5620932B2 true JP5620932B2 (ja) 2014-11-05

Family

ID=47628013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012029749A Active JP5620932B2 (ja) 2012-02-14 2012-02-14 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法

Country Status (4)

Country Link
US (1) US9167960B2 (ja)
EP (1) EP2628437B1 (ja)
JP (1) JP5620932B2 (ja)
CN (1) CN103251370B (ja)

Families Citing this family (261)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070084897A1 (en) 2003-05-20 2007-04-19 Shelton Frederick E Iv Articulating surgical stapling instrument incorporating a two-piece e-beam firing mechanism
US9060770B2 (en) 2003-05-20 2015-06-23 Ethicon Endo-Surgery, Inc. Robotically-driven surgical instrument with E-beam driver
US11896225B2 (en) 2004-07-28 2024-02-13 Cilag Gmbh International Staple cartridge comprising a pan
US7934630B2 (en) 2005-08-31 2011-05-03 Ethicon Endo-Surgery, Inc. Staple cartridges for forming staples having differing formed staple heights
US10159482B2 (en) 2005-08-31 2018-12-25 Ethicon Llc Fastener cartridge assembly comprising a fixed anvil and different staple heights
US7669746B2 (en) 2005-08-31 2010-03-02 Ethicon Endo-Surgery, Inc. Staple cartridges for forming staples having differing formed staple heights
US11484312B2 (en) 2005-08-31 2022-11-01 Cilag Gmbh International Staple cartridge comprising a staple driver arrangement
US11246590B2 (en) 2005-08-31 2022-02-15 Cilag Gmbh International Staple cartridge including staple drivers having different unfired heights
US20070106317A1 (en) 2005-11-09 2007-05-10 Shelton Frederick E Iv Hydraulically and electrically actuated articulation joints for surgical instruments
US20120292367A1 (en) 2006-01-31 2012-11-22 Ethicon Endo-Surgery, Inc. Robotically-controlled end effector
US7753904B2 (en) 2006-01-31 2010-07-13 Ethicon Endo-Surgery, Inc. Endoscopic surgical instrument with a handle that can articulate with respect to the shaft
US8708213B2 (en) 2006-01-31 2014-04-29 Ethicon Endo-Surgery, Inc. Surgical instrument having a feedback system
US8820603B2 (en) 2006-01-31 2014-09-02 Ethicon Endo-Surgery, Inc. Accessing data stored in a memory of a surgical instrument
US20110295295A1 (en) 2006-01-31 2011-12-01 Ethicon Endo-Surgery, Inc. Robotically-controlled surgical instrument having recording capabilities
US7845537B2 (en) 2006-01-31 2010-12-07 Ethicon Endo-Surgery, Inc. Surgical instrument having recording capabilities
US8186555B2 (en) 2006-01-31 2012-05-29 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting and fastening instrument with mechanical closure system
US11793518B2 (en) 2006-01-31 2023-10-24 Cilag Gmbh International Powered surgical instruments with firing system lockout arrangements
US8992422B2 (en) 2006-03-23 2015-03-31 Ethicon Endo-Surgery, Inc. Robotically-controlled endoscopic accessory channel
US10568652B2 (en) 2006-09-29 2020-02-25 Ethicon Llc Surgical staples having attached drivers of different heights and stapling instruments for deploying the same
US11291441B2 (en) 2007-01-10 2022-04-05 Cilag Gmbh International Surgical instrument with wireless communication between control unit and remote sensor
US8684253B2 (en) 2007-01-10 2014-04-01 Ethicon Endo-Surgery, Inc. Surgical instrument with wireless communication between a control unit of a robotic system and remote sensor
US8540128B2 (en) 2007-01-11 2013-09-24 Ethicon Endo-Surgery, Inc. Surgical stapling device with a curved end effector
US7735703B2 (en) 2007-03-15 2010-06-15 Ethicon Endo-Surgery, Inc. Re-loadable surgical stapling instrument
US8931682B2 (en) 2007-06-04 2015-01-13 Ethicon Endo-Surgery, Inc. Robotically-controlled shaft based rotary drive systems for surgical instruments
US11857181B2 (en) 2007-06-04 2024-01-02 Cilag Gmbh International Robotically-controlled shaft based rotary drive systems for surgical instruments
US11849941B2 (en) 2007-06-29 2023-12-26 Cilag Gmbh International Staple cartridge having staple cavities extending at a transverse angle relative to a longitudinal cartridge axis
US7866527B2 (en) 2008-02-14 2011-01-11 Ethicon Endo-Surgery, Inc. Surgical stapling apparatus with interlockable firing system
RU2493788C2 (ru) 2008-02-14 2013-09-27 Этикон Эндо-Серджери, Инк. Хирургический режущий и крепежный инструмент, имеющий радиочастотные электроды
US8636736B2 (en) 2008-02-14 2014-01-28 Ethicon Endo-Surgery, Inc. Motorized surgical cutting and fastening instrument
US7819298B2 (en) 2008-02-14 2010-10-26 Ethicon Endo-Surgery, Inc. Surgical stapling apparatus with control features operable with one hand
US9179912B2 (en) 2008-02-14 2015-11-10 Ethicon Endo-Surgery, Inc. Robotically-controlled motorized surgical cutting and fastening instrument
US9386983B2 (en) 2008-09-23 2016-07-12 Ethicon Endo-Surgery, Llc Robotically-controlled motorized surgical instrument
US11648005B2 (en) 2008-09-23 2023-05-16 Cilag Gmbh International Robotically-controlled motorized surgical instrument with an end effector
US8210411B2 (en) 2008-09-23 2012-07-03 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting instrument
US9005230B2 (en) 2008-09-23 2015-04-14 Ethicon Endo-Surgery, Inc. Motorized surgical instrument
US8608045B2 (en) 2008-10-10 2013-12-17 Ethicon Endo-Sugery, Inc. Powered surgical cutting and stapling apparatus with manually retractable firing system
US9320523B2 (en) 2012-03-28 2016-04-26 Ethicon Endo-Surgery, Llc Tissue thickness compensator comprising tissue ingrowth features
US11812965B2 (en) 2010-09-30 2023-11-14 Cilag Gmbh International Layer of material for a surgical end effector
US9629814B2 (en) 2010-09-30 2017-04-25 Ethicon Endo-Surgery, Llc Tissue thickness compensator configured to redistribute compressive forces
US11298125B2 (en) 2010-09-30 2022-04-12 Cilag Gmbh International Tissue stapler having a thickness compensator
US10945731B2 (en) 2010-09-30 2021-03-16 Ethicon Llc Tissue thickness compensator comprising controlled release and expansion
US9861361B2 (en) 2010-09-30 2018-01-09 Ethicon Llc Releasable tissue thickness compensator and fastener cartridge having the same
US11849952B2 (en) 2010-09-30 2023-12-26 Cilag Gmbh International Staple cartridge comprising staples positioned within a compressible portion thereof
US9168038B2 (en) 2010-09-30 2015-10-27 Ethicon Endo-Surgery, Inc. Staple cartridge comprising a tissue thickness compensator
US9241714B2 (en) 2011-04-29 2016-01-26 Ethicon Endo-Surgery, Inc. Tissue thickness compensator and method for making the same
US8695866B2 (en) 2010-10-01 2014-04-15 Ethicon Endo-Surgery, Inc. Surgical instrument having a power control circuit
BR112013027794B1 (pt) 2011-04-29 2020-12-15 Ethicon Endo-Surgery, Inc Conjunto de cartucho de grampos
US9072535B2 (en) 2011-05-27 2015-07-07 Ethicon Endo-Surgery, Inc. Surgical stapling instruments with rotatable staple deployment arrangements
JP2013099464A (ja) * 2011-11-09 2013-05-23 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
JP5872916B2 (ja) * 2012-01-25 2016-03-01 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
RU2639857C2 (ru) 2012-03-28 2017-12-22 Этикон Эндо-Серджери, Инк. Компенсатор толщины ткани, содержащий капсулу для среды с низким давлением
RU2014143258A (ru) 2012-03-28 2016-05-20 Этикон Эндо-Серджери, Инк. Компенсатор толщины ткани, содержащий множество слоев
US9101358B2 (en) 2012-06-15 2015-08-11 Ethicon Endo-Surgery, Inc. Articulatable surgical instrument comprising a firing drive
US20140001234A1 (en) 2012-06-28 2014-01-02 Ethicon Endo-Surgery, Inc. Coupling arrangements for attaching surgical end effectors to drive systems therefor
US20140001231A1 (en) 2012-06-28 2014-01-02 Ethicon Endo-Surgery, Inc. Firing system lockout arrangements for surgical instruments
BR112014032776B1 (pt) 2012-06-28 2021-09-08 Ethicon Endo-Surgery, Inc Sistema de instrumento cirúrgico e kit cirúrgico para uso com um sistema de instrumento cirúrgico
US9289256B2 (en) 2012-06-28 2016-03-22 Ethicon Endo-Surgery, Llc Surgical end effectors having angled tissue-contacting surfaces
US9649111B2 (en) 2012-06-28 2017-05-16 Ethicon Endo-Surgery, Llc Replaceable clip cartridge for a clip applier
BR112015001555A2 (pt) 2012-07-26 2017-07-04 Olive Medical Corp vídeo contínuo em ambiente com deficiência de luz
JP6284937B2 (ja) 2012-07-26 2018-02-28 デピュー シンセス プロダクツ, インコーポレーテッドDePuy Synthes Products, Inc. 光が不十分な環境におけるYCbCrパルス照明システム
BR112015021098B1 (pt) 2013-03-01 2022-02-15 Ethicon Endo-Surgery, Inc Cobertura para uma junta de articulação e instrumento cirúrgico
AU2014233464B2 (en) 2013-03-15 2018-11-01 DePuy Synthes Products, Inc. Scope sensing in a light controlled environment
US9641815B2 (en) 2013-03-15 2017-05-02 DePuy Synthes Products, Inc. Super resolution and color motion artifact correction in a pulsed color imaging system
WO2014145249A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Controlling the integral light energy of a laser pulse
BR112015026109B1 (pt) 2013-04-16 2022-02-22 Ethicon Endo-Surgery, Inc Instrumento cirúrgico
US9844368B2 (en) 2013-04-16 2017-12-19 Ethicon Llc Surgical system comprising first and second drive systems
MX369362B (es) 2013-08-23 2019-11-06 Ethicon Endo Surgery Llc Dispositivos de retraccion de miembros de disparo para instrumentos quirurgicos electricos.
US9283054B2 (en) 2013-08-23 2016-03-15 Ethicon Endo-Surgery, Llc Interactive displays
JP5977772B2 (ja) * 2014-02-06 2016-08-24 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP6039639B2 (ja) * 2014-02-27 2016-12-07 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法
JP6010571B2 (ja) * 2014-02-27 2016-10-19 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
WO2015136963A1 (ja) * 2014-03-12 2015-09-17 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
US10084944B2 (en) 2014-03-21 2018-09-25 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
US10013049B2 (en) 2014-03-26 2018-07-03 Ethicon Llc Power management through sleep options of segmented circuit and wake up control
WO2015146972A1 (ja) * 2014-03-28 2015-10-01 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
CN106456159B (zh) 2014-04-16 2019-03-08 伊西康内外科有限责任公司 紧固件仓组件和钉保持器盖布置结构
US20150297225A1 (en) 2014-04-16 2015-10-22 Ethicon Endo-Surgery, Inc. Fastener cartridges including extensions having different configurations
JP6612256B2 (ja) 2014-04-16 2019-11-27 エシコン エルエルシー 不均一な締結具を備える締結具カートリッジ
BR112016023698B1 (pt) 2014-04-16 2022-07-26 Ethicon Endo-Surgery, Llc Cartucho de prendedores para uso com um instrumento cirúrgico
US10111679B2 (en) 2014-09-05 2018-10-30 Ethicon Llc Circuitry and sensors for powered medical device
BR112017004361B1 (pt) 2014-09-05 2023-04-11 Ethicon Llc Sistema eletrônico para um instrumento cirúrgico
US11523821B2 (en) 2014-09-26 2022-12-13 Cilag Gmbh International Method for creating a flexible staple line
JP6234350B2 (ja) * 2014-09-30 2017-11-22 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US9924944B2 (en) 2014-10-16 2018-03-27 Ethicon Llc Staple cartridge comprising an adjunct material
US10517594B2 (en) 2014-10-29 2019-12-31 Ethicon Llc Cartridge assemblies for surgical staplers
US11141153B2 (en) 2014-10-29 2021-10-12 Cilag Gmbh International Staple cartridges comprising driver arrangements
US9844376B2 (en) 2014-11-06 2017-12-19 Ethicon Llc Staple cartridge comprising a releasable adjunct material
US10736636B2 (en) 2014-12-10 2020-08-11 Ethicon Llc Articulatable surgical instrument system
US9844375B2 (en) 2014-12-18 2017-12-19 Ethicon Llc Drive arrangements for articulatable surgical instruments
MX2017008108A (es) 2014-12-18 2018-03-06 Ethicon Llc Instrumento quirurgico con un yunque que puede moverse de manera selectiva sobre un eje discreto no movil con relacion a un cartucho de grapas.
US10004501B2 (en) 2014-12-18 2018-06-26 Ethicon Llc Surgical instruments with improved closure arrangements
US9844374B2 (en) 2014-12-18 2017-12-19 Ethicon Llc Surgical instrument systems comprising an articulatable end effector and means for adjusting the firing stroke of a firing member
US10085748B2 (en) 2014-12-18 2018-10-02 Ethicon Llc Locking arrangements for detachable shaft assemblies with articulatable surgical end effectors
US9987000B2 (en) 2014-12-18 2018-06-05 Ethicon Llc Surgical instrument assembly comprising a flexible articulation system
US11154301B2 (en) 2015-02-27 2021-10-26 Cilag Gmbh International Modular stapling assembly
US10052044B2 (en) 2015-03-06 2018-08-21 Ethicon Llc Time dependent evaluation of sensor data to determine stability, creep, and viscoelastic elements of measures
JP2020121162A (ja) 2015-03-06 2020-08-13 エシコン エルエルシーEthicon LLC 測定の安定性要素、クリープ要素、及び粘弾性要素を決定するためのセンサデータの時間依存性評価
US10441279B2 (en) 2015-03-06 2019-10-15 Ethicon Llc Multiple level thresholds to modify operation of powered surgical instruments
US9993248B2 (en) 2015-03-06 2018-06-12 Ethicon Endo-Surgery, Llc Smart sensors with local signal processing
JP2016192985A (ja) * 2015-03-31 2016-11-17 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US10433844B2 (en) 2015-03-31 2019-10-08 Ethicon Llc Surgical instrument with selectively disengageable threaded drive systems
JP6412252B2 (ja) 2015-04-02 2018-10-24 富士フイルム株式会社 プロセッサ装置及び内視鏡システム
US10105139B2 (en) 2015-09-23 2018-10-23 Ethicon Llc Surgical stapler having downstream current-based motor control
US10238386B2 (en) 2015-09-23 2019-03-26 Ethicon Llc Surgical stapler having motor control based on an electrical parameter related to a motor current
US20170086829A1 (en) 2015-09-30 2017-03-30 Ethicon Endo-Surgery, Llc Compressible adjunct with intermediate supporting structures
US11890015B2 (en) 2015-09-30 2024-02-06 Cilag Gmbh International Compressible adjunct with crossing spacer fibers
JP6654038B2 (ja) 2015-12-22 2020-02-26 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
US10292704B2 (en) 2015-12-30 2019-05-21 Ethicon Llc Mechanisms for compensating for battery pack failure in powered surgical instruments
US11213293B2 (en) 2016-02-09 2022-01-04 Cilag Gmbh International Articulatable surgical instruments with single articulation link arrangements
JP6911054B2 (ja) 2016-02-09 2021-07-28 エシコン エルエルシーEthicon LLC 非対称の関節構成を備えた外科用器具
US11224426B2 (en) 2016-02-12 2022-01-18 Cilag Gmbh International Mechanisms for compensating for drivetrain failure in powered surgical instruments
US10448948B2 (en) 2016-02-12 2019-10-22 Ethicon Llc Mechanisms for compensating for drivetrain failure in powered surgical instruments
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
US10357247B2 (en) 2016-04-15 2019-07-23 Ethicon Llc Surgical instrument with multiple program responses during a firing motion
US11607239B2 (en) 2016-04-15 2023-03-21 Cilag Gmbh International Systems and methods for controlling a surgical stapling and cutting instrument
US10492783B2 (en) 2016-04-15 2019-12-03 Ethicon, Llc Surgical instrument with improved stop/start control during a firing motion
US10828028B2 (en) 2016-04-15 2020-11-10 Ethicon Llc Surgical instrument with multiple program responses during a firing motion
US10426467B2 (en) * 2016-04-15 2019-10-01 Ethicon Llc Surgical instrument with detection sensors
US11317917B2 (en) 2016-04-18 2022-05-03 Cilag Gmbh International Surgical stapling system comprising a lockable firing assembly
US20170296173A1 (en) 2016-04-18 2017-10-19 Ethicon Endo-Surgery, Llc Method for operating a surgical instrument
US10363037B2 (en) 2016-04-18 2019-07-30 Ethicon Llc Surgical instrument system comprising a magnetic lockout
JP6983893B2 (ja) 2016-12-21 2021-12-17 エシコン エルエルシーEthicon LLC 外科用エンドエフェクタ及び交換式ツールアセンブリのためのロックアウト構成
US10835245B2 (en) 2016-12-21 2020-11-17 Ethicon Llc Method for attaching a shaft assembly to a surgical instrument and, alternatively, to a surgical robot
US11419606B2 (en) 2016-12-21 2022-08-23 Cilag Gmbh International Shaft assembly comprising a clutch configured to adapt the output of a rotary firing member to two different systems
US10524789B2 (en) 2016-12-21 2020-01-07 Ethicon Llc Laterally actuatable articulation lock arrangements for locking an end effector of a surgical instrument in an articulated configuration
US20180168625A1 (en) 2016-12-21 2018-06-21 Ethicon Endo-Surgery, Llc Surgical stapling instruments with smart staple cartridges
US10588632B2 (en) 2016-12-21 2020-03-17 Ethicon Llc Surgical end effectors and firing members thereof
US10675026B2 (en) 2016-12-21 2020-06-09 Ethicon Llc Methods of stapling tissue
US10588630B2 (en) 2016-12-21 2020-03-17 Ethicon Llc Surgical tool assemblies with closure stroke reduction features
JP7010956B2 (ja) 2016-12-21 2022-01-26 エシコン エルエルシー 組織をステープル留めする方法
US20180168615A1 (en) 2016-12-21 2018-06-21 Ethicon Endo-Surgery, Llc Method of deforming staples from two different types of staple cartridges with the same surgical stapling instrument
US11517325B2 (en) 2017-06-20 2022-12-06 Cilag Gmbh International Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on measured displacement distance traveled over a specified time interval
US10779820B2 (en) 2017-06-20 2020-09-22 Ethicon Llc Systems and methods for controlling motor speed according to user input for a surgical instrument
US11653914B2 (en) 2017-06-20 2023-05-23 Cilag Gmbh International Systems and methods for controlling motor velocity of a surgical stapling and cutting instrument according to articulation angle of end effector
US10307170B2 (en) 2017-06-20 2019-06-04 Ethicon Llc Method for closed loop control of motor velocity of a surgical stapling and cutting instrument
US10881399B2 (en) 2017-06-20 2021-01-05 Ethicon Llc Techniques for adaptive control of motor velocity of a surgical stapling and cutting instrument
US11382638B2 (en) 2017-06-20 2022-07-12 Cilag Gmbh International Closed loop feedback control of motor velocity of a surgical stapling and cutting instrument based on measured time over a specified displacement distance
US11324503B2 (en) 2017-06-27 2022-05-10 Cilag Gmbh International Surgical firing member arrangements
US10993716B2 (en) 2017-06-27 2021-05-04 Ethicon Llc Surgical anvil arrangements
USD906355S1 (en) 2017-06-28 2020-12-29 Ethicon Llc Display screen or portion thereof with a graphical user interface for a surgical instrument
US11000279B2 (en) 2017-06-28 2021-05-11 Ethicon Llc Surgical instrument comprising an articulation system ratio
US10786253B2 (en) 2017-06-28 2020-09-29 Ethicon Llc Surgical end effectors with improved jaw aperture arrangements
US11564686B2 (en) 2017-06-28 2023-01-31 Cilag Gmbh International Surgical shaft assemblies with flexible interfaces
EP4070740A1 (en) 2017-06-28 2022-10-12 Cilag GmbH International Surgical instrument comprising selectively actuatable rotatable couplers
US10765427B2 (en) 2017-06-28 2020-09-08 Ethicon Llc Method for articulating a surgical instrument
US10932772B2 (en) 2017-06-29 2021-03-02 Ethicon Llc Methods for closed loop velocity control for robotic surgical instrument
US11304695B2 (en) 2017-08-03 2022-04-19 Cilag Gmbh International Surgical system shaft interconnection
US11944300B2 (en) 2017-08-03 2024-04-02 Cilag Gmbh International Method for operating a surgical system bailout
US11471155B2 (en) 2017-08-03 2022-10-18 Cilag Gmbh International Surgical system bailout
CN111050629B (zh) * 2017-08-23 2022-09-06 富士胶片株式会社 内窥镜系统
EP3682791B1 (en) * 2017-09-15 2023-12-20 FUJIFILM Corporation Medical image processing device
US10842490B2 (en) 2017-10-31 2020-11-24 Ethicon Llc Cartridge body design with force reduction based on firing completion
US10779826B2 (en) 2017-12-15 2020-09-22 Ethicon Llc Methods of operating surgical end effectors
US10682134B2 (en) 2017-12-21 2020-06-16 Ethicon Llc Continuous use self-propelled stapling instrument
US11311290B2 (en) 2017-12-21 2022-04-26 Cilag Gmbh International Surgical instrument comprising an end effector dampener
WO2019167623A1 (ja) * 2018-03-02 2019-09-06 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
US11207065B2 (en) 2018-08-20 2021-12-28 Cilag Gmbh International Method for fabricating surgical stapler anvils
US11696761B2 (en) 2019-03-25 2023-07-11 Cilag Gmbh International Firing drive arrangements for surgical systems
US11903581B2 (en) 2019-04-30 2024-02-20 Cilag Gmbh International Methods for stapling tissue using a surgical instrument
US11471157B2 (en) 2019-04-30 2022-10-18 Cilag Gmbh International Articulation control mapping for a surgical instrument
US11452528B2 (en) 2019-04-30 2022-09-27 Cilag Gmbh International Articulation actuators for a surgical instrument
US11426251B2 (en) 2019-04-30 2022-08-30 Cilag Gmbh International Articulation directional lights on a surgical instrument
US11432816B2 (en) 2019-04-30 2022-09-06 Cilag Gmbh International Articulation pin for a surgical instrument
US11648009B2 (en) 2019-04-30 2023-05-16 Cilag Gmbh International Rotatable jaw tip for a surgical instrument
US11550057B2 (en) 2019-06-20 2023-01-10 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11903563B2 (en) 2019-06-20 2024-02-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a fluorescence imaging system
US11931009B2 (en) 2019-06-20 2024-03-19 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral imaging system
US11531112B2 (en) * 2019-06-20 2022-12-20 Cilag Gmbh International Offset illumination of a scene using multiple emitters in a hyperspectral, fluorescence, and laser mapping imaging system
US11361176B2 (en) 2019-06-28 2022-06-14 Cilag Gmbh International Surgical RFID assemblies for compatibility detection
US11771419B2 (en) 2019-06-28 2023-10-03 Cilag Gmbh International Packaging for a replaceable component of a surgical stapling system
US11464601B2 (en) 2019-06-28 2022-10-11 Cilag Gmbh International Surgical instrument comprising an RFID system for tracking a movable component
US11660163B2 (en) 2019-06-28 2023-05-30 Cilag Gmbh International Surgical system with RFID tags for updating motor assembly parameters
US11426167B2 (en) 2019-06-28 2022-08-30 Cilag Gmbh International Mechanisms for proper anvil attachment surgical stapling head assembly
US11627959B2 (en) 2019-06-28 2023-04-18 Cilag Gmbh International Surgical instruments including manual and powered system lockouts
US11298132B2 (en) 2019-06-28 2022-04-12 Cilag GmbH Inlernational Staple cartridge including a honeycomb extension
US11553971B2 (en) 2019-06-28 2023-01-17 Cilag Gmbh International Surgical RFID assemblies for display and communication
US11638587B2 (en) 2019-06-28 2023-05-02 Cilag Gmbh International RFID identification systems for surgical instruments
US11497492B2 (en) 2019-06-28 2022-11-15 Cilag Gmbh International Surgical instrument including an articulation lock
US11853835B2 (en) 2019-06-28 2023-12-26 Cilag Gmbh International RFID identification systems for surgical instruments
US11478241B2 (en) 2019-06-28 2022-10-25 Cilag Gmbh International Staple cartridge including projections
US11298127B2 (en) 2019-06-28 2022-04-12 Cilag GmbH Interational Surgical stapling system having a lockout mechanism for an incompatible cartridge
US11376098B2 (en) 2019-06-28 2022-07-05 Cilag Gmbh International Surgical instrument system comprising an RFID system
US11229437B2 (en) 2019-06-28 2022-01-25 Cilag Gmbh International Method for authenticating the compatibility of a staple cartridge with a surgical instrument
US11684434B2 (en) 2019-06-28 2023-06-27 Cilag Gmbh International Surgical RFID assemblies for instrument operational setting control
US11399837B2 (en) 2019-06-28 2022-08-02 Cilag Gmbh International Mechanisms for motor control adjustments of a motorized surgical instrument
US11523822B2 (en) 2019-06-28 2022-12-13 Cilag Gmbh International Battery pack including a circuit interrupter
US11701111B2 (en) 2019-12-19 2023-07-18 Cilag Gmbh International Method for operating a surgical stapling instrument
US11304696B2 (en) 2019-12-19 2022-04-19 Cilag Gmbh International Surgical instrument comprising a powered articulation system
US11529139B2 (en) 2019-12-19 2022-12-20 Cilag Gmbh International Motor driven surgical instrument
US11844520B2 (en) 2019-12-19 2023-12-19 Cilag Gmbh International Staple cartridge comprising driver retention members
US11464512B2 (en) 2019-12-19 2022-10-11 Cilag Gmbh International Staple cartridge comprising a curved deck surface
US11576672B2 (en) 2019-12-19 2023-02-14 Cilag Gmbh International Surgical instrument comprising a closure system including a closure member and an opening member driven by a drive screw
US11504122B2 (en) 2019-12-19 2022-11-22 Cilag Gmbh International Surgical instrument comprising a nested firing member
US11607219B2 (en) 2019-12-19 2023-03-21 Cilag Gmbh International Staple cartridge comprising a detachable tissue cutting knife
US11911032B2 (en) 2019-12-19 2024-02-27 Cilag Gmbh International Staple cartridge comprising a seating cam
US11559304B2 (en) 2019-12-19 2023-01-24 Cilag Gmbh International Surgical instrument comprising a rapid closure mechanism
US11529137B2 (en) 2019-12-19 2022-12-20 Cilag Gmbh International Staple cartridge comprising driver retention members
US11446029B2 (en) 2019-12-19 2022-09-20 Cilag Gmbh International Staple cartridge comprising projections extending from a curved deck surface
USD974560S1 (en) 2020-06-02 2023-01-03 Cilag Gmbh International Staple cartridge
USD967421S1 (en) 2020-06-02 2022-10-18 Cilag Gmbh International Staple cartridge
USD975850S1 (en) 2020-06-02 2023-01-17 Cilag Gmbh International Staple cartridge
USD975851S1 (en) 2020-06-02 2023-01-17 Cilag Gmbh International Staple cartridge
USD966512S1 (en) 2020-06-02 2022-10-11 Cilag Gmbh International Staple cartridge
USD976401S1 (en) 2020-06-02 2023-01-24 Cilag Gmbh International Staple cartridge
USD975278S1 (en) 2020-06-02 2023-01-10 Cilag Gmbh International Staple cartridge
US11864756B2 (en) 2020-07-28 2024-01-09 Cilag Gmbh International Surgical instruments with flexible ball chain drive arrangements
US11617577B2 (en) 2020-10-29 2023-04-04 Cilag Gmbh International Surgical instrument comprising a sensor configured to sense whether an articulation drive of the surgical instrument is actuatable
US11844518B2 (en) 2020-10-29 2023-12-19 Cilag Gmbh International Method for operating a surgical instrument
USD980425S1 (en) 2020-10-29 2023-03-07 Cilag Gmbh International Surgical instrument assembly
US11452526B2 (en) 2020-10-29 2022-09-27 Cilag Gmbh International Surgical instrument comprising a staged voltage regulation start-up system
US11717289B2 (en) 2020-10-29 2023-08-08 Cilag Gmbh International Surgical instrument comprising an indicator which indicates that an articulation drive is actuatable
US11517390B2 (en) 2020-10-29 2022-12-06 Cilag Gmbh International Surgical instrument comprising a limited travel switch
US11931025B2 (en) 2020-10-29 2024-03-19 Cilag Gmbh International Surgical instrument comprising a releasable closure drive lock
US11534259B2 (en) 2020-10-29 2022-12-27 Cilag Gmbh International Surgical instrument comprising an articulation indicator
USD1013170S1 (en) 2020-10-29 2024-01-30 Cilag Gmbh International Surgical instrument assembly
US11896217B2 (en) 2020-10-29 2024-02-13 Cilag Gmbh International Surgical instrument comprising an articulation lock
US11779330B2 (en) 2020-10-29 2023-10-10 Cilag Gmbh International Surgical instrument comprising a jaw alignment system
US11737751B2 (en) 2020-12-02 2023-08-29 Cilag Gmbh International Devices and methods of managing energy dissipated within sterile barriers of surgical instrument housings
US11944296B2 (en) 2020-12-02 2024-04-02 Cilag Gmbh International Powered surgical instruments with external connectors
US11744581B2 (en) 2020-12-02 2023-09-05 Cilag Gmbh International Powered surgical instruments with multi-phase tissue treatment
US11678882B2 (en) 2020-12-02 2023-06-20 Cilag Gmbh International Surgical instruments with interactive features to remedy incidental sled movements
US11653915B2 (en) 2020-12-02 2023-05-23 Cilag Gmbh International Surgical instruments with sled location detection and adjustment features
US11849943B2 (en) 2020-12-02 2023-12-26 Cilag Gmbh International Surgical instrument with cartridge release mechanisms
US11627960B2 (en) 2020-12-02 2023-04-18 Cilag Gmbh International Powered surgical instruments with smart reload with separately attachable exteriorly mounted wiring connections
US11653920B2 (en) 2020-12-02 2023-05-23 Cilag Gmbh International Powered surgical instruments with communication interfaces through sterile barrier
US11890010B2 (en) 2020-12-02 2024-02-06 Cllag GmbH International Dual-sided reinforced reload for surgical instruments
US11744583B2 (en) 2021-02-26 2023-09-05 Cilag Gmbh International Distal communication array to tune frequency of RF systems
US11793514B2 (en) 2021-02-26 2023-10-24 Cilag Gmbh International Staple cartridge comprising sensor array which may be embedded in cartridge body
US11925349B2 (en) 2021-02-26 2024-03-12 Cilag Gmbh International Adjustment to transfer parameters to improve available power
US11950777B2 (en) 2021-02-26 2024-04-09 Cilag Gmbh International Staple cartridge comprising an information access control system
US11749877B2 (en) 2021-02-26 2023-09-05 Cilag Gmbh International Stapling instrument comprising a signal antenna
US11730473B2 (en) 2021-02-26 2023-08-22 Cilag Gmbh International Monitoring of manufacturing life-cycle
US11950779B2 (en) 2021-02-26 2024-04-09 Cilag Gmbh International Method of powering and communicating with a staple cartridge
US11812964B2 (en) 2021-02-26 2023-11-14 Cilag Gmbh International Staple cartridge comprising a power management circuit
US11701113B2 (en) 2021-02-26 2023-07-18 Cilag Gmbh International Stapling instrument comprising a separate power antenna and a data transfer antenna
US11751869B2 (en) 2021-02-26 2023-09-12 Cilag Gmbh International Monitoring of multiple sensors over time to detect moving characteristics of tissue
US11723657B2 (en) 2021-02-26 2023-08-15 Cilag Gmbh International Adjustable communication based on available bandwidth and power capacity
US11696757B2 (en) 2021-02-26 2023-07-11 Cilag Gmbh International Monitoring of internal systems to detect and track cartridge motion status
US11717291B2 (en) 2021-03-22 2023-08-08 Cilag Gmbh International Staple cartridge comprising staples configured to apply different tissue compression
US11826012B2 (en) 2021-03-22 2023-11-28 Cilag Gmbh International Stapling instrument comprising a pulsed motor-driven firing rack
US11826042B2 (en) 2021-03-22 2023-11-28 Cilag Gmbh International Surgical instrument comprising a firing drive including a selectable leverage mechanism
US11723658B2 (en) 2021-03-22 2023-08-15 Cilag Gmbh International Staple cartridge comprising a firing lockout
US11806011B2 (en) 2021-03-22 2023-11-07 Cilag Gmbh International Stapling instrument comprising tissue compression systems
US11737749B2 (en) 2021-03-22 2023-08-29 Cilag Gmbh International Surgical stapling instrument comprising a retraction system
US11759202B2 (en) 2021-03-22 2023-09-19 Cilag Gmbh International Staple cartridge comprising an implantable layer
US11793516B2 (en) 2021-03-24 2023-10-24 Cilag Gmbh International Surgical staple cartridge comprising longitudinal support beam
US11849945B2 (en) 2021-03-24 2023-12-26 Cilag Gmbh International Rotary-driven surgical stapling assembly comprising eccentrically driven firing member
US11786243B2 (en) 2021-03-24 2023-10-17 Cilag Gmbh International Firing members having flexible portions for adapting to a load during a surgical firing stroke
US11896219B2 (en) 2021-03-24 2024-02-13 Cilag Gmbh International Mating features between drivers and underside of a cartridge deck
US11857183B2 (en) 2021-03-24 2024-01-02 Cilag Gmbh International Stapling assembly components having metal substrates and plastic bodies
US11744603B2 (en) 2021-03-24 2023-09-05 Cilag Gmbh International Multi-axis pivot joints for surgical instruments and methods for manufacturing same
US11944336B2 (en) 2021-03-24 2024-04-02 Cilag Gmbh International Joint arrangements for multi-planar alignment and support of operational drive shafts in articulatable surgical instruments
US11903582B2 (en) 2021-03-24 2024-02-20 Cilag Gmbh International Leveraging surfaces for cartridge installation
US11832816B2 (en) 2021-03-24 2023-12-05 Cilag Gmbh International Surgical stapling assembly comprising nonplanar staples and planar staples
US11849944B2 (en) 2021-03-24 2023-12-26 Cilag Gmbh International Drivers for fastener cartridge assemblies having rotary drive screws
US11786239B2 (en) 2021-03-24 2023-10-17 Cilag Gmbh International Surgical instrument articulation joint arrangements comprising multiple moving linkage features
US11896218B2 (en) 2021-03-24 2024-02-13 Cilag Gmbh International Method of using a powered stapling device
US20220378424A1 (en) 2021-05-28 2022-12-01 Cilag Gmbh International Stapling instrument comprising a firing lockout
US11877745B2 (en) 2021-10-18 2024-01-23 Cilag Gmbh International Surgical stapling assembly having longitudinally-repeating staple leg clusters
US11957337B2 (en) 2021-10-18 2024-04-16 Cilag Gmbh International Surgical stapling assembly with offset ramped drive surfaces
US11937816B2 (en) 2021-10-28 2024-03-26 Cilag Gmbh International Electrical lead arrangements for surgical instruments

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001556A (en) * 1987-09-30 1991-03-19 Olympus Optical Co., Ltd. Endoscope apparatus for processing a picture image of an object based on a selected wavelength range
JP3217343B2 (ja) 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
JP3078085B2 (ja) * 1991-03-26 2000-08-21 オリンパス光学工業株式会社 画像処理装置および画像処理方法
US5408998A (en) * 1994-03-10 1995-04-25 Ethicon Endo-Surgery Video based tissue oximetry
JP5267143B2 (ja) * 2008-03-27 2013-08-21 富士フイルム株式会社 撮像装置およびプログラム
JP5216429B2 (ja) * 2008-06-13 2013-06-19 富士フイルム株式会社 光源装置および内視鏡装置
JP5242479B2 (ja) * 2009-03-26 2013-07-24 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP5389742B2 (ja) * 2009-09-30 2014-01-15 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5393554B2 (ja) * 2010-03-23 2014-01-22 富士フイルム株式会社 電子内視鏡システム
JP5405373B2 (ja) * 2010-03-26 2014-02-05 富士フイルム株式会社 電子内視鏡システム
JP5457247B2 (ja) 2010-03-26 2014-04-02 富士フイルム株式会社 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP2012024283A (ja) * 2010-07-22 2012-02-09 Fujifilm Corp 内視鏡診断装置
JP5302984B2 (ja) * 2011-01-12 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP2013099464A (ja) * 2011-11-09 2013-05-23 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法

Also Published As

Publication number Publication date
US9167960B2 (en) 2015-10-27
EP2628437B1 (en) 2016-01-13
EP2628437A1 (en) 2013-08-21
JP2013165776A (ja) 2013-08-29
CN103251370A (zh) 2013-08-21
CN103251370B (zh) 2016-12-28
US20130211217A1 (en) 2013-08-15

Similar Documents

Publication Publication Date Title
JP5620932B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
US9345392B2 (en) Endoscope system and method for imaging exposure control
JP5587932B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5568584B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
US9801573B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5457247B2 (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び電子内視鏡システムの作動方法
JP5887350B2 (ja) 内視鏡システム及びその作動方法
EP2468187B1 (en) Endoscope system and processor apparatus thereof, and method for generating images
US9629527B2 (en) Endoscope system, processor device of endoscope system, and image processing method
US20140031628A1 (en) Endoscope system, processor device of endoscope system, and method for controlling display of endoscope image
JP2013150713A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP5690788B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及びカプセル内視鏡システム
JP2013013656A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
JP2013099464A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
JP5729881B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡画像の画像処理方法
WO2014156604A1 (ja) 内視鏡システム及びその作動方法並びにプロセッサ装置
JP5558331B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140919

R150 Certificate of patent or registration of utility model

Ref document number: 5620932

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250