JPWO2019093355A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
JPWO2019093355A1
JPWO2019093355A1 JP2019552830A JP2019552830A JPWO2019093355A1 JP WO2019093355 A1 JPWO2019093355 A1 JP WO2019093355A1 JP 2019552830 A JP2019552830 A JP 2019552830A JP 2019552830 A JP2019552830 A JP 2019552830A JP WO2019093355 A1 JPWO2019093355 A1 JP WO2019093355A1
Authority
JP
Japan
Prior art keywords
display
illumination light
light
image
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019552830A
Other languages
English (en)
Inventor
久保 雅裕
雅裕 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019093355A1 publication Critical patent/JPWO2019093355A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0676Endoscope light sources at distal tip of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00165Optical arrangements with light-conductive means, e.g. fibre optics
    • A61B1/0017Details of single optical fibres, e.g. material or cladding
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)

Abstract

複数の照明光を切り替えて発光し、各照明光に対応する観察画像を切り替えて表示する場合において、特定の被写体情報だけを強調するために、装置全体に負荷をかけることなく、各観察画像の表示内容を設定することができる内視鏡システム及びその作動方法を提供する。複数の照明光を、特定の発光パターンに従って、切り替えながら発光する。各照明光により照明された観察対象を撮像して得られる複数の観察画像を取得する。複数の観察画像を、特定の表示パターンに従って、切り替えて表示部に表示する制御を行う。特定の発光パターンは固定であり、特定の表示パターンは変更可能である。

Description

本発明は、波長帯域が異なる複数の照明光を切り替えて照明し、各照明光に対応する観察画像を切り替えて表示する内視鏡システム及びその作動方法に関する。
近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるRGB画像信号に基づいて、観察対象の画像をモニタ上に表示する。
また、近年においては、波長帯域が異なる複数の照明光を用いて、観察対象の照明を行うことにより、観察対象から多くの診断情報を得ることも行われている。例えば、特許文献1では、400nm台、500nm台、600nm台の狭帯域光からなる波長セットを自動的に切り替えて照明することにより、観察対象に含まれる表層血管の酸素飽和度、中層血管の酸素飽和度、深層血管の酸素飽和度をそれぞれ観察できるようにしている。
特開2012−213551号公報
上記のように、波長帯域が異なる複数の照明光を観察対象に照明する場合には、各照明光に対応する観察画像は見え方が異なっている。例えば、青色光を照明して得られる青色の観察画像は、表層血管が強調されて表示されるのに対して、緑色光を照明して得られる緑色の観察画像は、中深層血管が強調されて表示される。これら表層血管や中深層血管はいずれも診断上重要であることから、青色の観察画像や緑色の観察画像の両方を確認しながら、診断することが行われている。
ここで、複数の観察画像をそれぞれ頻繁に確認するような場合においては、照明光を自動的に切り替えて、各照明光に対応する観察画像を自動的に切り替えて表示することで、ユーザーに負担をかけることなく、各観察画像を確認することができるようになる。そして、このように、複数の観察画像を自動的に切り替えて表示する場合には、観察対象に含まれる特定の被写体情報(例えば、病変部)が強調し、それ以外の被写体情報(例えば、正常粘膜)は強調されないように、各観察画像の表示内容を設定することが必要となる。そこで、特定の被写体情報だけを強調するために、装置全体に負荷をかけることなく、各観察画像の表示内容を設定できるようにすることが求められていた。
本発明は、複数の照明光を切り替えて発光し、各照明光に対応する観察画像を切り替えて表示する場合において、特定の被写体情報だけを強調するために、装置全体に負荷をかけることなく、各観察画像の表示内容を設定することができる内視鏡システム及びその作動方法を提供することを目的とする。
本発明の内視鏡システムは、複数の半導体光源と、光源制御部と、画像取得部と、表示制御部とを備える。複数の半導体光源は、互いに異なる波長帯域の光を発光する。光源制御部は、複数の半導体光源を制御する。光源制御部は、第1発光比率を有する第1照明光と第1発光比率と異なる第2発光比率を有する第2照明光とを含む複数の照明光を、特定の発光パターンに従って、切り替えながら発光する制御を行う。画像取得部は、各照明光により照明された観察対象を撮像して得られる複数の観察画像を取得する。複数の観察画像には、第1照明光に対応する第1観察画像と第2照明光に対応する第2観察画像とが含まれる。表示制御部は、複数の観察画像を、特定の表示パターンに従って、切り替えて表示部に表示する制御を行う。特定の発光パターンは固定であり、特定の表示パターンは変更可能である。
特定の発光パターンは、予め定められた特定の発光サイクルにおいて、第1照明光を第1発光フレーム数に対応する時間、発光した後、第1照明光を第2照明光に切り替えて、第2照明光を第2発光フレーム数に対応する時間、発光するパターンであり、特定の表示パターンは、特定の発光サイクルにおいて、第1観察画像を第1表示フレーム数に対応する時間、表示部に表示した後、第1観察画像を第2観察画像に切り替えて、第2観察画像を第2表示フレーム数に対応する時間、表示部に表示するパターンであり、第1発光フレーム数と第2発光フレーム数は固定であり、第1表示フレーム数と第2表示フレーム数は変更可能であることが好ましい。
第1表示フレーム数を第2表示フレーム数よりも大きくする第1の表示パターンとする場合には、第2照明光の発光期間において表示部に表示する第2照明光発光期間内の第1観察画像は、第2照明光の発光期間よりも前の第1照明光の発光期間に得られた第1照明光発光期間内の第1観察画像に基づいて表示されることが好ましい。
第1表示フレーム数を第2表示フレーム数よりも小さくする第2の表示パターンとする場合には、第1照明光の発光期間において表示部に表示する第1照明光発光期間内の第2観察画像は、第1照明光の発光期間よりも前の第2照明光の発光期間に得られた第2照明光発光期間内の第2観察画像に基づいて表示されることが好ましい。第1表示フレーム数を2表示フレーム数よりも小さくする第2の表示パターンとする場合には、第1照明光の発光期間においては、第1観察画像を表示部に表示しない期間が設けられることが好ましい。
第1表示フレーム数を第2表示フレーム数よりも大きくする第1の表示パターンと、第1表示フレーム数を第2表示フレーム数よりも小さくする第2の表示パターンとを切り替えるための表示パターン切替部を有することが好ましい。表示部は、複数の観察画像を切り替えて表示する切替表示画面と、複数の観察画像のうちのいずれかの観察画像のみを表示する単一画像表示画面とを表示することが好ましい。単一画像表示画面において、第1観察画像及び第2観察画像のうちのいずれかの観察画像のみを表示する場合には、第1観察画像及び第2観察画像のうち単一画像表示画面に表示しない観察画像の表示フレーム数を「0」にすることが好ましい。表示制御部は、各照明光の切替直後に得られた切替直後の観察画像は破棄して表示部に表示しないことが好ましい。
本発明の内視鏡システムの作動方法は、光源制御ステップと、画像取得ステップと、表示制御ステップとを有する。光源制御ステップでは、互いに異なる波長帯域の光を発光する複数の半導体光源を制御する光源制御部が、第1発光比率を有する第1照明光と第1発光比率と異なる第2の発光比率を有する第2照明光とを含む複数の照明光を、特定の発光パターンに従って、切り替えながら発光する制御を行う。画像取得ステップでは、画像取得部が、各照明光により照明された観察対象を撮像して得られる複数の観察画像を取得するステップであり、複数の観察画像には、第1照明光に対応する第1観察画像と第2照明光に対応する第2観察画像とを含めて取得を行う。表示制御ステップでは、表示制御部が、複数の観察画像を、特定の表示パターンに従って、切り替えて表示部に表示する制御を行う。特定の発光パターンは固定であり、特定の表示パターンは変更可能である。
本発明によれば、複数の照明光を切り替えて、各照明光に対応する観察画像を切り替えて表示する場合において、特定の被写体情報だけを強調するために、装置全体に負荷をかけることなく、各観察画像の表示内容を設定することができる。
第1実施形態の内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。 紫色光V、青色光B、緑色光G、及び赤色光Rを含む第1照明光の発光スペクトルを示すグラフである。 第1観察画像を示す画像図である。 紫色光V、青色光B、緑色光G、及び赤色光Rを含む第2照明光の発光スペクトルを示すグラフである。 第2観察画像を示す画像図である。 モード切替が行われる場合の情報の流れを示すブロック図である。 表示フレーム数設定メニューを示す説明図である。 第1の表示パターンを示す説明図である。 第2の表示パターンを示す説明図である。 第1の表示パターンと第2の表示パターンとが切り替え可能であることを示す説明図である。 第1表示フレーム数を減少させた場合における第1観察画像と第2観察画像の表示態様を示す説明図である。 切替表示画面と単一画像表画面を有するモニタの画像図である。 切替直後の第2観察画像を表示しないことを示す説明図である。 マルチ観察モードの流れを示すフローチャートである。
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース部19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、ユーザーインターフェース部19は図示したキーボードの他、マウスなどが含まれる。
また、操作部12bには、アングルノブ12eの他、モード切替SW13aが設けられている。モード切替SW13aは、通常観察モードと、第1特殊観察モードと、第2特殊観察モードと、マルチ観察モードとの切替操作に用いられる。通常観察モードは、通常画像をモニタ18上に表示するモードである。第1特殊観察モードは、表層血管を強調した第1観察画像をモニタ18上に表示するモードである。第2特殊観察モードは、深層血管を強調した第2観察画像をモニタ18上に表示するモードである。マルチ観察モードでは、第1特殊観察モードと第2特殊観察モードを自動的に切り替えることにより、第1観察画像と第2観察画像を、特定の表示パターンに従って、切り替えてモニタ18に表示する。
なお、モードを切り替えるためのモード切替部としては、モード切替SW13aの他に、フットスイッチを用いてもよい。また、操作部12bには、静止画を取得するためのフリーズボタン(図示しない)が設けられている。ユーザーが診断に有効と思われる部位を検出した場合には、モード切替SW13aとフリーズボタンが交互に操作されることがある。
プロセッサ装置16は、モニタ18及びユーザーインターフェース部19と電気的に接続される。モニタ18は、画像情報等を出力表示する。ユーザーインターフェース部19はキーボードやマウスなどを有し、機能設定等の入力操作を受け付ける。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、光源部20と、光源制御部21と、光路結合部23とを有している。光源部20は、複数波長帯域の光を発光し、且つ、各波長帯域の光の発光比率の変更が可能となっている。なお、本明細書において、「互いに異なる複数の波長帯域の光」とは、複数の波長帯域が全く重ならないことを意味するものではなく、複数の波長帯域が一部重なっていてもよいことを意味する。光源部20は、複数波長帯域の光を発するために、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20dを有している。なお、光源部20には複数の半導体光源を設けられていればよいため、LEDの代わりに、LD(Laser Diode)を用いてもよい。
光源制御部21は、LED20a〜20dの駆動を制御する。光路結合部23は、4色のLED20a〜20dから発せられる4色の光の光路を結合する。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380〜420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420〜500nmの青色光Bを発生する。G-LED20cは、波長範囲が480〜600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620〜630nmで、波長範囲が600〜650nmに及ぶ赤色光Rを発生する。
光源制御部21は、いずれの観察モードにおいても、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを点灯する制御を行う。また、光源制御部21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a〜20dを制御する。なお、本明細書において、発光比率とは、各半導体光源の光強度比をいい、光強度比は0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、発光比率を有するものとする。
また、光源制御部21は、第1特殊観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光Rの発光比率がVs1:Bs1:Gs1:Rs1である第1照明光を発光するように、各LED20a〜20dを制御する。第1照明光は、400nm以上440nm以下にピークを有することが好ましい。そのため、第1照明光は、図4に示すように、紫色光Vの光強度が、その他の青色光B、緑色光G、及び赤色光Rの光強度よりも大きくなるように、Vs1:Bs1:Gs1:Rs1が設定されている(Vs1>Bs1、Gs1、Rs1)。この第1照明光により照明された観察対象を撮像することにより、図5に示すように、表層血管が強調された第1観察画像が得られる。
また、第1照明光には、赤色光Rのような第1の赤色帯域を有しているため、粘膜の色を正確に再現することができる。さらに、第1照明光には、紫色光V、青色光B、緑色光Gのように第1の青色帯域及び第1の緑色帯域を有しているため、上記のような表層血管の他、腺管構造や凹凸など各種構造も強調することができる。
また、光源制御部21は、第2特殊観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光Rの発光比率がVs2:Bs2:Gs2:Rs2である第2照明光を発光するように、各LED20a〜20dを制御する。第2照明光は、第1照明光に対して、460nm、540nm、630nmの強度比を大きくすることが好ましい。
そのため、第2照明光は、図6に示すように、第1照明光における青色光B、緑色光G、及び赤色光Rの光量と比較して、青色光B、緑色光G、及び赤色光Rの光量が大きくなるように、Vs2:Bs2:Gs2:Rs2が設定されている。この第2照明光により照明された観察対象を撮像することにより、図7に示すように、中深層血管が強調された第1観察画像が得られる。
また、紫色光Vの光強度は、青色光B、緑色光G、及び赤色光Rの光強度よりも小さくなるように、Vs2:Bs2:Gs2:Rs2が設定されている(Vs2<Bs2、Gs2、Rs2)。また、第2照明光には、赤色光Rのような第2の赤色帯域を有しているため、粘膜の色を正確に再現することができる。さらに、第2照明光には、紫色光V、青色光B、緑色光Gのように第2の青色帯域及び第2の緑色帯域を有しているため、上記のような深層血管の他、腺管構造や凹凸など各種構造も強調することができる。
また、光源制御部21は、マルチ観察モードに設定されている場合には、第1照明光と第2照明光とを、特定の発光パターンに従って、自動的に切り替えて発光する制御を行う。特定の発光パターンは、予め定められた特定の発光サイクルにおいて、第1照明光を第1発光フレーム数に対応する時間、発光した後、第1照明光を第2照明光に切り替えて、第2照明光を第2発光フレーム数に対応する時間、発光するパターンである。ここで、本実施形態では、照明光を発光する発光時間を、観察対象を撮像する撮像センサ48(図2参照)を制御するための単位であるフレーム数に換算した値で表す。したがって、特定の発光サイクルにおける第1照明光の発光時間は、第1発光フレーム数分の時間として表され、第2照明光の発光時間は、第2発光フレーム数分の時間として表される。なお、複数の照明光を切り替えて発光する場合には、特定の発光パターンには、各照明光の発光時間の他、各照明光の発光順序が含まれる。
以上の特定の発光サイクルにおける第1発光フレーム数と第2発光フレーム数は、固定されている。ここで、「固定」とは、光源装置14の工場出荷時に、第1発光フレーム数や第2発光フレーム数の他、第1照明光と第2照明光の発光順序など特定の発光パターンを設定した後は、ユーザーによる特定の発光パターンの変更が不可能であることをいう。例えば、内視鏡12の使用時、即ち、内視鏡12が接続される光源装置14を駆動する際には、ユーザーは、特定の発光パターンを変更することができない。ただし、光源装置14の管理者など変更権限を持った者が特定の発光パターンを変更できることを妨げるものではない。また、各発光フレーム数を2フレーム以上の期間にしている。このように2フレーム以上の期間にするのは、光源装置14における照明光の切替は直ぐに行われるものの、プロセッサ装置16における画像処理の切替は直ぐに行われず、少なくとも2フレーム以上を有するためである。
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3〜0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色−原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
撮像センサ48から出力される画像信号は、CDS/AGC回路50に送信される。CDS/AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS/AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、内視鏡12で得られた画像などの医用画像を処理する医用画像処理装置に対応している。このプロセッサ装置16は、画像取得部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、画像処理部60と、パラメータ切替部62と、表示制御部66と、中央制御部68とを備えている。画像取得部53には、内視鏡12からのデジタルのカラー画像信号が入力される。カラー画像信号は、撮像センサ48のR画素から出力されるR画像信号と、撮像センサ48のG画素から出力されるG画像信号と、撮像センサ48のB画素から出力されるB画像信号とから構成されるRGB画像信号である。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン処理、色調整処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。
ゲイン処理では、オフセット処理後のRGB画像信号に特定のゲインパラメータを乗じることにより信号レベルが整えられる。特定のゲインパラメータは、観察モード毎に異なっている。例えば、通常観察モードの場合であれば、通常光の照明及び撮像により得られた画像信号に対して、特定のゲインパラメータとして、通常光用ゲインパラメータを乗じる通常光用ゲイン処理を行う。また、第1特殊観察モードの場合であれば、第1照明光の照明及び撮像により得られたRGB画像信号(第1観察画像)に対して、特定のゲインパラメータとして、第1照明光用ゲインパラメータを乗じる第1照明光用ゲイン処理を行う。また、第2特殊観察モードの場合であれば、第2照明光の照明及び撮像により得られたRGB画像信号(第2観察画像)に対して、特定のゲインパラメータとして、第2照明光用ゲインパラメータを乗じる第2照明光用ゲイン処理を行う。
また、マルチ観察モードの場合であれば、第1照明光の照明時には、第1照明光の照明及び撮像により得られたRGB画像信号に対して、第1照明光用ゲイン処理が行われ、且つ、第2照明光の照明時には、第2照明光の照明及び撮像により得られたRGB画像信号に対して、第2照明光用ゲイン処理が行われる。
その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
ノイズ除去部58は、DSP56でガンマ補正等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、画像処理部60に送信される。
画像処理部60は、RGB画像信号に対して、各種の画像処理を施す。各種の画像処理には、観察モードに関わらず同じ条件で行われる画像処理の他、観察モード毎に異なる条件で行われる画像処理がある。観察モード毎に異なる条件で行われる画像処理には、色再現性を高めるための色調整処理、及び、血管や凹凸などの各種構造を強調するための構造強調処理が含まれる。色調整処理及び構造強調処理は、2次元LUT(Look Up Table)、3次元LUT(Look Up Table)、又はマトリックスなどを用いる処理である。画像処理部60では、色強調処理及び構造強調処理を行う場合には、観察モード毎に設定された色強調処理パラメータと、構造強調処理パラメータが用いられる。これら色強調処理パラメータ又は構造強調処理パラメータの切替は、パラメータ切替部62により行われる。
画像処理部60は、通常観察モードにセットされている場合には、パラメータ切替部62によって通常光用色強調処理パラメータと通常光用構造強調処理パラメータに切り替えられる。そして、通常光用色強調処理パラメータを用いて、RGB画像信号に対して通常光用色強調処理を施し、且つ、通常光用構造強調処理パラメータを用いて、RGB画像信号に対して通常光用構造強調処理を施す。そして、以上の処理が施されたRGB画像信号は、通常画像として、表示制御部66に入力される。
画像処理部60は、第1特殊観察モードにセットされている場合には、パラメータ切替部62によって第1照明光用色強調処理パラメータと第1照明光用構造強調処理パラメータに切り替えられる。そして、第1照明光用色強調処理パラメータを用いて、RGB画像信号に対して第1照明光用色強調処理を施し、且つ、第1照明光用構造強調処理パラメータを用いて、RGB画像信号に対して第1照明光用構造強調処理を施す。そして、以上の処理が施されたRGB画像信号は、第1観察画像として、表示制御部66に入力される。
画像処理部60は、第2特殊観察モードにセットされている場合には、パラメータ切替部62によって第2照明光用色強調処理パラメータと第2照明光用構造強調処理パラメータに切り替えられる。そして、第2照明光用色強調処理パラメータを用いて、RGB画像信号に対して第2照明光用色強調処理を施し、且つ、第2照明光用構造強調処理パラメータを用いて、RGB画像信号に対して第2照明光用構造強調処理を施す。そして、以上の処理が施されたRGB画像信号は、第2観察画像として、表示制御部66に入力される。
画像処理部60は、マルチ観察モードにセットされている場合には、第1照明光の照明時には、RGB画像信号に対して第1照明光用色強調処理及び第1照明光用構造強調処理を施す。そして、以上の処理が施されたRGB画像信号は、第1観察画像として、表示制御部66に入力される。また、第2照明光の照明時には、RGB画像信号に対して第2照明光用色強調処理及び第2照明光用構造強調処理を施す。また、画像処理部60は、マルチ観察モードにセットされている場合には、第1観察画像と第2観察画像との間において、観察対象に含まれる正常粘膜の色を同じにする粘膜色バランス処理が行われる。第1観察画像に対しては、第1粘膜色バランス処理が行われ、第2観察画像に対しては、第1粘膜色バランス処理の結果に基づく第2粘膜色バランス処理が行われる。そして、以上の処理が施されたRGB画像信号は、第2観察画像として、表示制御部66に入力される。
なお、第1粘膜色バランス処理については、第1観察画像に含まれるB1画像信号、G1画像信号、R1画像信号において、例えば、下記D1)〜D3)に示すように、画面全体の平均色が特定のカラーバランスになるように自動的に調整される。この第1粘膜色バランス処理は、観察対象において粘膜の色が支配的と仮定して行われる。そして、第1粘膜色バランス処理を行うことにより、第1粘膜色バランス処理済みのB1*画像信号、G1*画像信号、R1*画像信号が得られる。
D1)B1*画像信号=B1/B1ave
D2)G1*画像信号=G1/G1ave
D3)R1*画像信号=R1/R1ave
ここで、B1aveは、B1画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。G1aveは、G1画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。R1aveは、R1画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。
また、第2粘膜色バランス処理については、第2観察画像に含まれるB2画像信号、G2画像信号、R2画像信号において、例えば、下記E1)〜E3)に示すように、画面全体の平均色が特定のカラーバランスになるように自動的に調整される。この第2粘膜色バランス処理では、第1粘膜色バランス処理で算出したB1ave、G1ave、R1aveが用いられる。そして、第2粘膜色バランス処理を行うことにより、第2粘膜色バランス処理済みのB2*画像信号、G2*画像信号、R2*画像信号が得られる。
E1)B2*画像信号=B2/B1ave
E2)G2*画像信号=G2/G1ave
E3)R2*画像信号=R2/R1ave
表示制御部66は、画像処理部60から入力された通常画像、第1観察画像、又は第2観察画像を、モニタ18で表示可能な画像として表示するための制御を行う。通常観察モードの場合には、表示制御部66は、モニタ18に通常画像を表示する。第1特殊観察モードの場合には、表示制御部66は、モニタ18に第1観察画像を表示する。第2特殊観察モードの場合には、表示制御部66は、モニタ18に第2観察画像を表示する。マルチ観察モードの場合には、表示制御部66は、第1観察画像又は第2観察画像を、特定の表示パターンに従って、切り替えながらモニタ18に表示する。マルチ観察モードにおける表示制御の詳細については、後述する。
中央制御部68は、プロセッサ装置16の各部の制御を行う。また、中央制御部68は、内視鏡12又は光源装置14からの情報を受信し、受信した情報に基づいて、プロセッサ装置16の各部の制御や、内視鏡12又は光源装置14の制御を行う。
例えば、図8に示すように、内視鏡12において、観察モードの切替が行われた場合には、モード切替に関する情報が中央制御部68に送信される。中央制御部68は、モード切替に関する情報を受信したことを契機に、光源装置14に対して、切替後のモードに対応する光を発光するように指示する。光源装置14においては、光源制御部21が、切替後のモードに対応する光の発光に関する指示を受信したことを契機に、切替後のモードに対応する光を発光するために、光源部20から発光する光の発光比率の変更を行う。光源制御部21では、中央制御部68からの指示に対して、ほとんど時間を要することなく光源制御を行うことができる。例えば、モード切替が行われてから1フレームかからずに、発光比率の変更を行うことができる。
また、中央制御部68は、モード切替に関する情報を受信したことを契機に、プロセッサ装置16内のDSP56、又はパラメータ切替部62に対して、モード切替により各処理を変更するように指示を行う。例えば、第1特殊観察モードから第2特殊観察モードに切り替えられた場合には、DSP56は、第1照明光用ゲインパラメータから第2照明光用ゲインパラメータに切り替えることにより、ゲイン処理を、第1照明光用ゲイン処理から第2照明光用ゲイン処理に切り替える。また、パラメータ切替部62は、第1照明光用色調整処理パラメータから第2照明光用色調整処理パラメータに切り替えることにより、第1照明光用色調整処理から第2照明光用色調整処理に切り替える。また、パラメータ切替部62は、第1照明光用構造強調処理パラメータから第2照明光用構造強調処理パラメータに切り替えることにより、第1照明光用構造強調処理から第2照明光用構造強調処理に切り替える。
以上のゲイン処理、色調整処理等の切替は、プロセッサ装置16の内部の処理状況等から、直ぐには行われないことが多い。例えば、切替後のモードに対応するゲイン処理、色調整処理等に完全に切り替わるまで、モード切替が行われてから、2フレーム以上要する場合がある。したがって、フレーム数は2フレーム以上とすることが好ましい。
マルチ観察モードにおいては、特定の表示パターンに従って、複数の観察画像の表示制御が行われる。特定の表示パターンは、特定の発光サイクルにおいて、第1観察画像を第1表示フレーム数に対応する時間、モニタ18に表示した後、第1観察画像を第2観察画像に切り替えて、第2観察画像を第2表示フレーム数に対応する時間、モニタ18に表示するパターンである。ここで、本実施形態では、観察画像をモニタ18に表示する時間を、観察対象を撮像する撮像センサ48(図2参照)を制御するための単位であるフレーム数に換算した値で表す。したがって、特定の発光サイクルにおける第1観察画像の表示時間は、第1表示フレーム数分の時間として表され、第2観察画像の表示時間は、第2表示フレーム数分の時間として表される。なお、複数の観察画像を切り替えて表示する場合には、特定の表示パターンには、各観察画像の表示時間の他、各観察画像の表示順序が含まれる。
第1表示フレーム数又は第2表示フレーム数は、ユーザーによって変更可能であり、各表示フレーム数の変更は、図9に示す表示フレーム数設定メニュー70において行われる。表示フレーム数設定メニュー70において行われた各表示フレーム数の変更に関する情報は、表示制御部66に送られる。
ここで、第1表示フレーム数と第2表示フレーム数は、第1観察画像と第2観察画像に含まれる特定の被写体情報(例えば、血管部)の違いを強調することができるように、決められる。ここで、第1観察画像と第2観察画像をそれぞれ比較的長い時間表示して切り替える場合には、それら画像の違い、特に、血管の違いには気付きにくい場合がある。また、第1表示フレーム数又は第2表示フレーム数のそれぞれを短くして、第1観察画像と第2観察画像とを短時間で高速に切り替えて表示する場合には、2種類の観察画像ではなく、1種類の観察画像として認識されてしまう。したがって、2種類の画像における特定の被写体情報の違いを強調することができ、且つ1種類の画像として認識されないようにするために、第1表示フレーム数と第2表示フレーム数は、それぞれ一定フレーム数以上(例えば、3フレーム以上)とすることが好ましい。
また、第1表示フレーム数と第2表示フレーム数を同じにして、第1観察画像と第2観察画像を同じ表示時間にて切り替えて表示した場合には、ちらついて見える場合もあることから、第1表示フレーム数と第2表示フレーム数のうちの一方を長くし、他方を短くすることにより、第1観察画像と第2観察画像の違いを際立たせて表示することができる。なお、第1観察画像又は第2観察画像に加えて、第1照明光と第2照明光の間の波長帯域を有する第3照明光に基づいて得られる第3観察画像を切り替えて表示することにより、中深層から表層に延びる血管を立体的に見せることが可能となる。この場合には、例えば、ベースとなる観察画像(例えば、第1観察画像)の表示フレーム数を大きく設定し、中深層から表層に延びる血管が強調された第3観察画像と中深層血管が強調された第2観察画像をそれぞれ小さい表示フレーム数にて順に表示することが好ましい。
第1表示フレーム数は、例えば、「0」フレームから「10」フレームの間で変更可能である。第1表示フレーム数を変更する場合は、ユーザーインターフェース部19を操作して、第1表示フレーム数を表すスライドバー72においてスライダ72aを左側又は右側に動かすことにより、第1表示フレーム数が変更される。また、第2表示フレーム数についても、第1表示フレーム数と同様、「0」フレームから「10」フレームの間で変更可能である。第2表示フレーム数を変更する場合も、ユーザーインターフェース部19を操作して、第2表示フレーム数を表すスライドバー74においてスライダ74aを左側又は右側に動かすことにより、第2表示フレーム数が変更される。なお、スライドバー72においては、第1表示フレーム数は、右側に位置する程、大きくなっている。スライドバー74についても同様である。
ただし、特定の発光サイクルにおける第1表示フレーム数と第2表示フレーム数を合計した総表示フレーム数は固定、例えば、「10」フレームに固定されている。したがって、第1表示フレーム数又は第2表示フレーム数の一方を増加させた場合には、その増加分だけ他方を減少させる。例えば、総表示フレーム数を「10」フレームとした場合において、第1表示フレーム数を「8」フレームに変更すると、この変更に伴って、第2表示フレーム数は「2」フレームに変更される。
また、本実施形態では、第1発光フレーム数又は第2発光フレーム数を固定で変更せず、第1表示フレーム数又は第2表示フレーム数のみを変更する。ここで、第1表示フレーム数又は第2表示フレーム数だけでなく、第1発光フレーム数又は第2発光フレーム数も変更しようとすると、光源装置14における照明光の発光タイミングとプロセッサ装置16における画像処理の処理タイミングとの同期をとる必要がある。しかしながら、照明光の発光タイミングの変更に要する時間と、画像処理の処理タイミングの変更に要する時間にはズレがあるため、それらの同期をとるためには一定以上の時間を要して、プロセッサ装置16などに負荷を掛けることになる。また、照明光の発光タイミングを1フレーム単位で変更することは、画像処理が煩雑になる可能性がある。そこで、本実施形態では、第1発光フレーム数又は第2発光フレーム数を固定で変更せず、第1表示フレーム数又は第2表示フレーム数のみを変更しているため、プロセッサ装置16などに負荷を掛けることがない。
表示制御部66では、第1表示フレーム数又は第2表示フレーム数の変更が行われた場合には、変更後の各表示フレーム数にて各観察画像を表示する制御を行う。ここで、図10に示すように、第1表示フレーム数を第2表示フレーム数よりも大きくする第1の表示パターンとして、第1表示フレーム数を「8」とし、第2表示フレーム数を「2」とする場合には、第1照明光の発光期間は、5フレームの全ての時間において第1観察画像を表示する。そして、第1照明光の発光期間の次の第2照明光の発光期間のうち、最初の3フレーム分の時間は、第1観察画像を表示し、且つ第2観察画像を表示しないようにする。そして、第2照明光の発光期間の最後の2フレームの時間は、第2観察画像を表示する。
なお、図10では、「発光」の横に配列された四角のボックスはある時間における発光フレームを表しており、ボックス内の「1」は第1照明光の発光を、ボックス内の「2」は第2照明光の発光を表している。また、「表示」の横に配列された四角のボックスはある時間における表示フレームを表しており、ボックス内の「1」は第1観察画像の表示を、ボックス内の「2」は第2観察画像の表示を表している。
ここで、第2照明光の発光期間に表示する第1観察画像(第2照明光発光期間内の第1観察画像)は、第2照明光の発光期間の前の第1照明光の発光期間に得られた第1照明光発光期間内の第1観察画像に基づいて表示される。例えば、第2照明光発光期間内の第1観察画像は、5フレーム分の第1照明光発光期間内の第1観察画像のうち最後の5フレーム目に得られた第1観察画像としてもよい。また、第2照明光発光期間内の第1観察画像は、5フレーム分の第1照明光発光期間内の第1観察画像を合成して得られる画像としてもよい。また、第2照明光発光期間内の第1観察画像は、3フレーム分全て同じ画像としてもよく、異なる画像としてもよい。
一方、図11に示すように、第1表示フレーム数を第2表示フレーム数よりも小さくする第2の表示パターンとして、第1表示フレーム数を「2」とし、第2表示フレーム数を「8」とする場合、第1照明光の発光期間のうち最初の3フレーム分の時間は、第2観察画像を表示し、且つ第1観察画像を表示しないようにする。そして、第1照明光の発光期間のうち、最後の2フレーム分の時間は、第1観察画像を表示する。そして、第2照明光の発光期間は、5フレーム全ての時間、第2観察画像を表示する。
ここで、第1照明光の発光期間に表示する第2観察画像(第1照明光発光期間内の第2観察画像)は、第1照明光の発光期間の前の第2照明光の発光期間に得られた第2照明光発光期間内の第2観察画像に基づいて生成され、且つ、第1照明光発光期間内において、第1観察画像よりも前に表示することが好ましい。例えば、第1照明光発光期間内の第2観察画像は、第2照明光発光期間内の第2観察画像のうち最後の5フレーム目に得られた第2観察画像に基づいて生成することが好ましい。また、第1照明光発光期間内の第2観察画像は、第2照明光発光期間内の第2観察画像に得られる全部又は一部の画像を合成した画像としてもよい。また、第1照明光発光期間内の第2観察画像は、3フレーム分全て同じ画像としてもよく、異なる画像としてもよい。
なお、上記に示した第1表示パターンと第2表示パターン(図10、図11参照)については、図12に示すように、ユーザーによって切り替えることができるようにしてもよい。そのため、内視鏡の操作部12bには、第1表示パターンと第2表示パターンのいずれかに切り替えるための表示パターン切替部13b(図1参照)を設ける。ユーザーは、表示パターン切替部13bを操作することで、ユーザーが使用したい表示パターンに切り替えることができるようになる。
また、上記においては、第1表示フレーム数又は第2表示フレーム数のうち一方の表示フレーム数を減少させた場合には、その減少分だけ他方の表示フレーム数を増加するようにしているが、これに限られない。例えば、図13に示すように、第1表示フレーム数を「5」から「2」に減少した場合、この第1表示フレーム数の減少に関わらず、第2表示フレーム数は「5」を維持する。この場合、第1照明光の発光期間のうち最初の2フレームの時間だけ第1観察画像を表示し、残りの3フレームの第1観察画像は、破棄して第1観察画像を表示しない期間を設けるようにしてもよい(図13において、ボックス内の「×」は破棄による非表示を表している。図15も同様。)。そして、第2照明光の発光期間は、5フレーム全ての時間において第2観察画像を表示するようにする。
また、上記においては、図14に示すように、モニタ18には、第1観察画像又は第2観察画像を、特定の表示パターンに従って、切り替えて表示する切替表示画面80の他、第1観察画像又は第2観察画像のうちいずれか一方の観察画像のみを表示する単一画像表示画面82(図14では単一画像表示画面において「第1観察画像」を表示)を設けるようにしてもよい。単一画像表示画面82においては、第1観察画像又は第2観察画像のうち表示しない観察画像の表示フレーム数を「0」にすることで、表示する観察画像のみが連続的に表示されるようになる。図14では、第2観察画像の第2表示フレーム数を「0」にすることで、第1観察画像が連続的に単一画像表示画面82に表示されている。
また、上記においては、第1照明光から第2照明光に切り替えた直後に得られる第2観察画像(切替直後の第2観察画像)はそのまま表示するようにしているが、この切替直後の第2観察画像は、第1照明光と第2照明光が混色した光に基づいているため、本来の第2観察画像とは異なる画像(表層血管と中深層血管が混ざり合った画像)となっている。そのため、第1観察画像と第2観察画像に含まれる特定の被写体情報の違いを明確に表示したい場合には、図15に示すように、切替直後の第2観察画像(第2照明光の発光期間のうち最初の1フレーム目に得られる第2観察画像)は破棄してモニタ18に表示しないようにすることが好ましい。なお、第2照明光から第1照明光に切り替えた直後に得られる第1観察画像についても、同様に、破棄してモニタ18に表示しないようにしてもよい。
次に、マルチ観察モードについて、図16のフローチャートに沿って説明を行う。マルチ観察モードに切り替えられると、モニタ18に表示フレ―ム数設定メニュー70が表示される。ユーザーは、ユーザーインターフェース部19を操作して、スライドバー72上のスライダ72aを左側又は右側に移動させることにより、第1観察画像の第1表示フレーム数の変更を行う。同様にして、ユーザーは、ユーザーインターフェース部19を操作して、スライドバー74上のスライダ74aを左側又は右側に移動させることにより、第2観察画像の第2表示フレーム数の変更を行う。このように、第1表示フレ―ム数又は第2表示フレーム数の変更を行った場合であっても、第1照明光の第1発光フレーム数や第2照明光の第2発光フレーム数の変更は行われない。
ユーザーは、第1表示フレーム数又は第2表示フレーム数の変更が完了したら、ユーザーインターフェース部19を操作して、表示フレーム数設定を終了する。これにより、モニタ18から、表示フレーム数設定メニュー70が消える。そして、マルチ観察モードの実行が行われる。これに従って、予め定められた発光サイクルにおいて、第1照明光を第1発光フレーム数に対応する時間、発光する。その後に、第1照明光を第2照明光に切り替えて、第2照明光を第2発光フレーム数に対応する時間、発光を行う。また、発光サイクルにおいて、第1照明光の発光に基づく第1観察画像を第1表示フレーム数に対応する時間、モニタ18に表示する。その後に、第1観察画像を第2観察画像に切り替えて、第2観察画像を第2表示フレーム数に対応する時間、モニタ18に表示する。以上の照明光の発光及び観察対象の表示については、マルチ観察モードが終了するまで繰り返し行われる。
なお、上記実施形態においては、第1照明光と第2照明光とを、特定の発光パターンに従って、切り替えながら発光し、且つ、第1照明光に対応する第1観察画像と第2照明光に対応する第2観察画像とを、特定の表示パターンに従って、切り替えてモニタ18に表示するようにしているが、互いに波長帯域が異なる3種類以上の照明光を、特定の発光パターンに従って、切り替えながら発光し、且つ、各照明光に対応する3種類以上の観察画像を、特定の表示パターンに従って、切り替えてモニタ18に表示するようにしてもよい。
また、上記実施形態では、特定の発光パターンとして、予め定められた発光サイクルにおいて、第1照明光を第1発光フレーム数に対応する時間、発光した後、第1照明光を第2照明光に切り替えて、第2照明光を第2発光フレーム数に対応する時間、発光するようにしているが、その他の発光パターンで発光するようにしてもよい。例えば、第1照明光と第2照明光の他に、第1照明光と第2照明光の間の波長帯域を有する第3照明光を発光する場合には、特定の発光パターンとして、例えば、第1照明光、第3照明光、第2照明光の順番で切り替えて発光し、第1照明光、第2照明光、及び第3照明光のうちいずれか1つの照明光の発光フレーム数を他の2つの照明光の発光フレーム数よりも大きくする。
また、上記実施形態では、特定の表示パターンとして、特定の発光サイクルにおいて、第1観察画像を第1表示フレーム数に対応する時間、モニタ18に表示した後、第1観察画像を第2観察画像に切り替えて、第2観察画像を第2表示フレーム数に対応する時間、モニタ18に表示するようにしているが、その他の表示パターンで表示を行うようにしてもよい。例えば、第1観察画像と第2観察画像の他に、第1照明光と第2照明光の間の波長帯域を有する第3照明光に基づいて得られる第3観察画像を表示する場合には、特定の表示パターンとして、例えば、第1観察画像、第3観察画像、第2観察画像の順番で切り替えて表示し、第1観察画像、第2観察画像、及び第3観察画像のうちいずれか1つの観察画像の表示フレーム数を他の2つの観察画像の表示フレーム数よりも大きくする。
なお、上記実施形態では、第1表示フレーム数または第2表示フレーム数をユーザーが変更するようにしているが、観察画像に基づいて自動的に第1表示フレーム数または第2表示フレーム数を変更するようにしてもよい。例えば、第1照明光と第2照明光の他に、表層血管と中深層血管の両方を強調できる特定の照明光(紫色光Vと青色光Bの光強度がその他の緑色光G、赤色光Rの光強度よりも大きい)を照明し、特定の照明光を観察対象に照明して得られる特定観察画像を取得する。そして、特定観察画像と第1観察画像との第1差分画像、及び特定観察画像と第2観察画像の第2差分画像を求め、第1差分画像と第2差分画像とを比較する。この比較の結果に基づいて、第1表示フレーム数と第2表示フレーム数を決定するようにしてもよい。
例えば、第1差分画像が第2差分画像よりも画素値が大きい場合(差分値が大きい)には、観察対象には表層血管が多く含まれていることから、表層血管が強調されるように、第1表示フレーム数又は第2表示フレーム数を変更する。これに対して、第2差分画像が第1差分画像よりも画素値が大きい場合(差分値が大きい)には、観察対象には中深層血管が多く含まれていることから、中深層血管が強調されるように、第1表示フレーム数又は第2表示フレーム数を変更する。
上記実施形態において、画像取得部53、DSP56、ノイズ除去部58、画像処理部60、パラメータ切替部62、中央制御部68など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
[付記項1]
互いに異なる波長帯域の光を発光する複数の半導体光源と、
前記半導体光源を制御する光源制御部であり、第1発光比率を有する第1照明光、及び前記第1発光比率と異なる第2発光比率を有する第2照明光を含む複数の照明光を、特定の発光パターンに従って、切り替えながら発光する制御を行う光源制御部と、
各照明光により照明された観察対象を撮像して得られる複数の観察画像を取得する画像取得部であり、前記複数の観察画像には、前記第1照明光に対応する第1観察画像、及び前記第2照明光に対応する第2観察画像が含まれる画像取得部と、
前記複数の観察画像を、特定の表示パターンに従って、切り替えて表示部に表示する制御を行う表示制御部とを備え
前記特定の発光パターンは変更可能であり、且つ、前記特定の表示パターンは変更可能である内視鏡システム。
[付記項2]
前記特定の発光パターンは、予め定められた特定の発光サイクルにおいて、前記第1照明光を第1発光フレーム数に対応する時間、発光した後、前記第1照明光を前記第2照明光に切り替えて、前記第2照明光を第2発光フレーム数に対応する時間、発光するパターンであり、
前記特定の表示パターンは、前記特定の発光サイクルにおいて、前記第1観察画像を第1表示フレーム数に対応する時間、前記表示部に表示した後、前記第1観察画像を前記第2観察画像に切り替えて、前記第2観察画像を第2表示フレーム数に対応する時間、前記表示部に表示するパターンであり、
前記第1発光フレーム数と前記第2発光フレーム数は変更可能であり、前記第1表示フレーム数と前記第2表示フレーム数は変更可能である付記項1記載の内視鏡システム。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13b 表示パターン切替部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース部
20 光源部
20a V−LED(Violet Light Emitting Diode)
20b B−LED(Blue Light Emitting Diode)
20c G−LED(Green Light Emitting Diode)
20d R−LED(Red Light Emitting Diode)
21 光源制御部
23 光路結合部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
50 CDS/AGC回路
53 画像取得部
56 DSP(Digital Signal Processor)
58 ノイズ除去部
60 画像処理部
62 パラメータ切替部
66 表示制御部
68 中央制御部
70 表示フレーム数設定メニュー
72 スライドバー
72a スライダ
74 スライドバー
74a スライダ
80 切替表示画面
82 単一画像表示画面

Claims (10)

  1. 互いに異なる波長帯域の光を発光する複数の半導体光源と、
    前記複数の半導体光源を制御する光源制御部であり、第1発光比率を有する第1照明光と前記第1発光比率と異なる第2発光比率を有する第2照明光とを含む複数の照明光を、特定の発光パターンに従って、切り替えながら発光する制御を行う光源制御部と、
    各照明光により照明された観察対象を撮像して得られる複数の観察画像を取得する画像取得部であり、前記複数の観察画像には、前記第1照明光に対応する第1観察画像と前記第2照明光に対応する第2観察画像とが含まれる画像取得部と、
    前記複数の観察画像を、特定の表示パターンに従って、切り替えて表示部に表示する制御を行う表示制御部とを備え、
    前記特定の発光パターンは固定であり、前記特定の表示パターンは変更可能である内視鏡システム。
  2. 前記特定の発光パターンは、予め定められた特定の発光サイクルにおいて、前記第1照明光を第1発光フレーム数に対応する時間、発光した後、前記第1照明光を前記第2照明光に切り替えて、前記第2照明光を第2発光フレーム数に対応する時間、発光するパターンであり、
    前記特定の表示パターンは、前記特定の発光サイクルにおいて、前記第1観察画像を第1表示フレーム数に対応する時間、前記表示部に表示した後、前記第1観察画像を前記第2観察画像に切り替えて、前記第2観察画像を第2表示フレーム数に対応する時間、前記表示部に表示するパターンであり、
    前記第1発光フレーム数と前記第2発光フレーム数は固定であり、前記第1表示フレーム数と前記第2表示フレーム数は変更可能である請求項1記載の内視鏡システム。
  3. 前記第1表示フレーム数を前記第2表示フレーム数よりも大きくする第1の表示パターンとする場合には、前記第2照明光の発光期間において前記表示部に表示する第2照明光発光期間内の第1観察画像は、前記第2照明光の発光期間よりも前の前記第1照明光の発光期間に得られた第1照明光発光期間内の第1観察画像に基づいて表示される請求項2記載の内視鏡システム。
  4. 前記第1表示フレーム数を前記第2表示フレーム数よりも小さくする第2の表示パターンとする場合には、前記第1照明光の発光期間において前記表示部に表示する第1照明光発光期間内の第2観察画像は、前記第1照明光の発光期間よりも前の前記第2照明光の発光期間に得られた第2照明光発光期間内の第2観察画像に基づいて表示される請求項2記載の内視鏡システム。
  5. 前記第1表示フレーム数を前記2表示フレーム数よりも小さくする第2の表示パターンとする場合には、前記第1照明光の発光期間においては、前記第1観察画像を前記表示部に表示しない期間が設けられる請求項2記載の内視鏡システム。
  6. 前記第1表示フレーム数を前記第2表示フレーム数よりも大きくする第1の表示パターンと、前記第1表示フレーム数を前記第2表示フレーム数よりも小さくする第2の表示パターンとを切り替えるための表示パターン切替部を有する請求項2記載の内視鏡システム。
  7. 前記表示部は、前記複数の観察画像を切り替えて表示する切替表示画面と、前記複数の観察画像のうちのいずれかの観察画像のみを表示する単一画像表示画面とを表示する請求項1ないし6いずれか1項記載の内視鏡システム。
  8. 前記単一画像表示画面において、前記第1観察画像及び前記第2観察画像のうちのいずれかの観察画像のみを表示する場合には、前記第1観察画像及び前記第2観察画像のうち前記単一画像表示画面に表示しない観察画像の表示フレーム数を「0」にする請求項7記載の内視鏡システム。
  9. 前記表示制御部は、各照明光の切替直後に得られた切替直後の観察画像は破棄して前記表示部に表示しない請求項1ないし8いずれか1項記載の内視鏡システム。
  10. 互いに異なる波長帯域の光を発光する複数の半導体光源を制御する光源制御部が、第1発光比率を有する第1照明光と前記第1発光比率と異なる第2の発光比率を有する第2照明光とを含む複数の照明光を、特定の発光パターンに従って、切り替えながら発光する制御を行う光源制御ステップと、
    画像取得部が、各照明光により照明された観察対象を撮像して得られる複数の観察画像を取得するステップであり、前記複数の観察画像には、前記第1照明光に対応する第1観察画像と前記第2照明光に対応する第2観察画像とを含めて取得を行う画像取得ステップと、
    表示制御部が、前記複数の観察画像を、特定の表示パターンに従って、切り替えて表示部に表示する制御を行う表示制御ステップとを有し、
    前記特定の発光パターンは固定であり、前記特定の表示パターンは変更可能である内視鏡システムの作動方法。
JP2019552830A 2017-11-13 2018-11-07 内視鏡システム及びその作動方法 Pending JPWO2019093355A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017217889 2017-11-13
JP2017217889 2017-11-13
PCT/JP2018/041288 WO2019093355A1 (ja) 2017-11-13 2018-11-07 内視鏡システム及びその作動方法

Publications (1)

Publication Number Publication Date
JPWO2019093355A1 true JPWO2019093355A1 (ja) 2020-11-19

Family

ID=66437797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019552830A Pending JPWO2019093355A1 (ja) 2017-11-13 2018-11-07 内視鏡システム及びその作動方法

Country Status (5)

Country Link
US (1) US11523733B2 (ja)
EP (1) EP3711652A4 (ja)
JP (1) JPWO2019093355A1 (ja)
CN (1) CN111343898B (ja)
WO (1) WO2019093355A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111683583B (zh) * 2018-01-30 2023-09-05 富士胶片株式会社 内窥镜系统及其工作方法
EP3756532B1 (en) * 2018-02-20 2024-04-17 FUJIFILM Corporation Endoscope system
JP7273988B2 (ja) * 2019-11-12 2023-05-15 富士フイルム株式会社 内視鏡システム
JP7337190B2 (ja) * 2019-11-27 2023-09-01 富士フイルム株式会社 内視鏡システム及びその作動方法
CN115209778A (zh) * 2020-02-28 2022-10-18 富士胶片株式会社 内窥镜系统及内窥镜系统的工作方法
WO2021176890A1 (ja) * 2020-03-06 2021-09-10 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001149303A (ja) * 1999-11-25 2001-06-05 Asahi Optical Co Ltd 通常光照明と特殊波長光照明との切換可能な電子内視鏡システム
JP2005143991A (ja) * 2003-11-18 2005-06-09 Olympus Corp カプセル型医療システム
JP2012110485A (ja) * 2010-11-24 2012-06-14 Fujifilm Corp 光源装置および内視鏡装置
WO2014156938A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP2015159957A (ja) * 2014-02-27 2015-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2016055052A (ja) * 2014-09-11 2016-04-21 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
WO2017057392A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5309120B2 (ja) * 2010-12-20 2013-10-09 富士フイルム株式会社 内視鏡装置
JP5550574B2 (ja) * 2011-01-27 2014-07-16 富士フイルム株式会社 電子内視鏡システム
JP5329593B2 (ja) 2011-04-01 2013-10-30 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP5419931B2 (ja) * 2011-07-04 2014-02-19 富士フイルム株式会社 内視鏡システム、光源装置、及び内視鏡システムの作動方法
JP5587932B2 (ja) * 2012-03-14 2014-09-10 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5931031B2 (ja) * 2013-09-23 2016-06-08 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
CN106535739A (zh) * 2014-07-09 2017-03-22 奥林巴斯株式会社 内窥镜系统以及内窥镜用光源装置
JP6581984B2 (ja) 2015-01-21 2019-09-25 Hoya株式会社 内視鏡システム
CN107072508B (zh) * 2015-03-25 2019-12-20 奥林巴斯株式会社 观察系统
JPWO2017216883A1 (ja) * 2016-06-14 2019-04-04 オリンパス株式会社 内視鏡装置
JP6690003B2 (ja) * 2016-10-03 2020-04-28 富士フイルム株式会社 内視鏡システム及びその作動方法
JP6550420B2 (ja) * 2017-06-02 2019-07-24 富士フイルム株式会社 内視鏡装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001149303A (ja) * 1999-11-25 2001-06-05 Asahi Optical Co Ltd 通常光照明と特殊波長光照明との切換可能な電子内視鏡システム
JP2005143991A (ja) * 2003-11-18 2005-06-09 Olympus Corp カプセル型医療システム
JP2012110485A (ja) * 2010-11-24 2012-06-14 Fujifilm Corp 光源装置および内視鏡装置
WO2014156938A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP2015159957A (ja) * 2014-02-27 2015-09-07 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2016055052A (ja) * 2014-09-11 2016-04-21 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
WO2017057392A1 (ja) * 2015-09-28 2017-04-06 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法

Also Published As

Publication number Publication date
US20200260942A1 (en) 2020-08-20
CN111343898B (zh) 2023-08-04
EP3711652A1 (en) 2020-09-23
WO2019093355A1 (ja) 2019-05-16
CN111343898A (zh) 2020-06-26
EP3711652A4 (en) 2021-01-06
US11523733B2 (en) 2022-12-13

Similar Documents

Publication Publication Date Title
US11523733B2 (en) Endoscope system and method of operating the same
JP6917518B2 (ja) 内視鏡システム
US11089943B2 (en) Endoscope system and method of operating the same
US11311185B2 (en) Endoscope system
US11937788B2 (en) Endoscope system
WO2019159817A1 (ja) 内視鏡システム及びその作動方法
JPWO2019208235A1 (ja) 医療画像処理システム
US11969152B2 (en) Medical image processing system
JP7163243B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP7171885B2 (ja) 内視鏡システム
JP7273988B2 (ja) 内視鏡システム
WO2021250952A1 (ja) 内視鏡システム及びその作動方法
JP7208876B2 (ja) 内視鏡システム及びその作動方法
WO2021182048A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法
WO2021131468A1 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211026

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211213

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220301

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220607

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220705

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220705