JP7335976B2 - 内視鏡システム、制御プログラム、及び表示方法 - Google Patents

内視鏡システム、制御プログラム、及び表示方法 Download PDF

Info

Publication number
JP7335976B2
JP7335976B2 JP2021562491A JP2021562491A JP7335976B2 JP 7335976 B2 JP7335976 B2 JP 7335976B2 JP 2021562491 A JP2021562491 A JP 2021562491A JP 2021562491 A JP2021562491 A JP 2021562491A JP 7335976 B2 JP7335976 B2 JP 7335976B2
Authority
JP
Japan
Prior art keywords
endoscope
stage
information
subject
endoscope system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021562491A
Other languages
English (en)
Other versions
JPWO2021111756A1 (ja
Inventor
浩司 下村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021111756A1 publication Critical patent/JPWO2021111756A1/ja
Application granted granted Critical
Publication of JP7335976B2 publication Critical patent/JP7335976B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00055Operational features of endoscopes provided with output arrangements for alerting the user
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097Sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00158Holding or positioning arrangements using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Description

本発明は、内視鏡システム、制御プログラム、及び表示方法に関する。
従来、内視鏡の先端部に撮像素子を備え、撮像素子により得られるライブ画像を表示可能な内視鏡システムが知られている。また、特許文献1には、内視鏡の先端部が目標位置に到達したことをライブ画像に基づいて自動的に判断し、表示画面を切り替える工業用内視鏡システムが記載されている。
特許文献2には、挿入部先端が所定の位置に到達したか否かを撮像画像に基づいて判断し、表示出力の状態を切り替える挿入支援装置が記載されている。特許文献3には、外部医療機器の使用状態に応じたモードにより、モニタに表示される映像を変化させる医療用画像処理装置が記載されている。
特開2005-77832号公報 特開2014-83289号公報 特開2009-226170号公報
一般的に、内視鏡を用いた大腸内等の検査においては、内視鏡の挿入部を被検体内に挿入した後、内視鏡の挿入部を被検体内から引き抜きながら被検体内の観察が行われる。このような検査において、内視鏡の挿入部を被検体内に挿入する段階と、内視鏡の挿入部を被検体内から引き抜きながら観察を行う段階とでは、医師等の内視鏡の操作者にとって有用な情報が異なる。
例えば、内視鏡の挿入部を被検体内に挿入する段階においては、被検体に過度な負荷をかけないようにする必要があるため、内視鏡の操作の難易度が高く、内視鏡の挿入部の被検体内への円滑な挿入を支援する情報が有用である。
一方で、内視鏡の挿入部を被検体内から引き抜きながら観察を行う段階においては、内視鏡の操作の難易度は挿入時ほど高くないが、ライブ画像等に基づく観察で特異箇所の見落とし等が無いように、観察を支援する情報が有用である。
しかしながら、上記の従来技術では、検査の段階に応じた有用な情報を内視鏡の操作者に提供することができない。
本発明は、上記事情に鑑みてなされたものであり、検査の段階に応じた有用な情報を内視鏡の操作者に提供することのできる内視鏡システム、制御プログラム、及び表示方法を提供することを目的とする。
本発明の内視鏡システムは、内視鏡による検査の段階を判別する判別部と、上記判別部による判別結果に応じて表示画像を切り替える表示部と、を備え、上記検査の段階は、上記内視鏡が被検体内へ挿入される第1段階と、上記内視鏡が上記被検体内から引き抜かれる第2段階と、を含み、上記表示部は、上記検査の段階が上記第1段階であると判別された場合に、上記内視鏡の上記被検体内への挿入を支援するための情報を含む画面を表示し、上記検査の段階が上記第2段階であると判別された場合に、上記内視鏡により得られる画像の観察を支援するための情報を含む画面を表示するものである。
本発明の制御プログラムは、コンピュータを、上記の内視鏡システムの上記判別部及び上記表示部として機能させるためのものである。
本発明の表示方法は、内視鏡による検査の段階を判別し、上記検査の段階の判別結果に応じて表示画像を切り替える表示方法であって、上記検査の段階は、上記内視鏡が被検体内へ挿入される第1段階と、上記内視鏡が上記被検体内から引き抜かれる第2段階と、を含み、上記検査の段階が上記第1段階であると判別された場合に、上記内視鏡の上記被検体内への挿入を支援するための情報を含む画面を表示し、上記検査の段階が上記第2段階であると判別された場合に、上記内視鏡により得られる画像の観察を支援するための情報を含む画面を表示するものである。
本発明の別の内視鏡システムは、内視鏡による検査の段階を判別する判別部と、上記判別部による判別結果に応じて表示画像を切り替える表示部と、を備え、上記検査の段階は、上記内視鏡が被検体内の第1部位へ挿入される第1段階と、上記内視鏡が上記第1部位と異なる上記被検体内の第2部位へ挿入される第2段階と、を含み、上記表示部は、上記判別部による判別結果に基づいて、上記被検体内の部位のうち上記内視鏡を挿入中の部位への上記内視鏡の挿入を支援するための情報と、上記挿入中の部位の観察を支援するための情報と、の少なくともいずれかを含む画面を表示するものである。
本発明の別の制御プログラムは、コンピュータを、上記の内視鏡システムの上記判別部及び上記表示部として機能させるためのものである。
本発明の別の制御方法は、内視鏡による検査の段階を判別し、上記検査の段階の判別結果に応じて表示画像を切り替える表示方法であって、上記検査の段階は、上記内視鏡が被検体内の第1部位へ挿入される第1段階と、上記内視鏡が上記第1部位と異なる上記被検体内の第2部位へ挿入される第2段階と、を含み、上記検査の段階の判別結果に基づいて、上記被検体内の部位のうち上記内視鏡を挿入中の部位への上記内視鏡の挿入を支援するための情報と、上記挿入中の部位の観察を支援するための情報と、の少なくともいずれかを含む画面を表示するものである。
本発明によれば、検査の段階に応じた有用な情報を内視鏡の操作者に提供することのできる内視鏡システム、制御プログラム、及び表示方法を提供することができる。
本発明の一実施形態である内視鏡装置100の一例を示す図である。 図1に示す内視鏡装置100の内部構成を示す模式図である。 図2に示した制御装置4のシステム制御部44の機能ブロックの一例を示す図である。 実施の形態1において内視鏡1の挿入段階で表示装置7に表示される画面の一例を示す図である。 実施の形態1において内視鏡1の引き抜き段階で表示装置7に表示される画面の一例を示す図である。 実施の形態1における制御装置4による表示制御処理の一例を示すフローチャートである。 実施の形態2において内視鏡1の食道挿入段階で表示装置7に表示される画面の一例を示す図である。 実施の形態2において内視鏡1の胃挿入段階で表示装置7に表示される画面の一例を示す図である。 実施の形態2における制御装置4による表示制御処理の一例を示すフローチャートである。 互いに発光スペクトルが異なる照明光を切り替えて照射可能な光源装置5の一例を示す図である。 図10に示した光源装置5が発生させる光のスペクトルの一例を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
(実施の形態1)
図1は、本発明の一実施形態である内視鏡装置100の一例を示す図である。
内視鏡装置100は、本発明の内視鏡システムの一例である。図1に示すように、内視鏡装置100は、内視鏡1と、この内視鏡1が接続される制御装置4及び光源装置5と、を備える。
制御装置4には、内視鏡1によって被検体内を撮像して得られる撮像画像等を表示する表示装置7と、制御装置4に対して各種情報を入力するためのインタフェースである入力部6と、が接続されている。制御装置4は、内視鏡1、光源装置5、及び表示装置7を制御する。
表示装置7は、表示画素が二次元状に配列された表示面を有し、この表示面の各表示画素に、画像データを構成する画素データが描画されることで、この画像データに基づく画像の表示が行われる。表示装置7は、制御装置4からの指令に応じて表示画像を切り替える表示部を構成する。
内視鏡1は、一方向に延びる管状部材であって被検体内に挿入される挿入部10と、挿入部10の基端部に設けられ、観察モード切替操作、撮像記録操作、鉗子操作、送気送水操作、及び吸引操作等を行うための操作部材が設けられた操作部11と、操作部11に隣接して設けられたアングルノブ12と、内視鏡1を光源装置5と制御装置4にそれぞれ着脱自在に接続するコネクタ部13A,13Bを含むユニバーサルコード13と、を含む。
なお、図1では省略されているが、操作部11及び挿入部10の内部には、細胞又はポリープ等の生体組織を採取するための鉗子を挿入する鉗子孔、送気及び送水用のチャンネル、吸引用のチャンネル等の各種のチャンネルが設けられる。
挿入部10は、可撓性を有する軟性部10Aと、軟性部10Aの先端に設けられた湾曲部10Bと、湾曲部10Bの先端に設けられた硬質の先端部10Cとから構成される。
湾曲部10Bは、アングルノブ12の回動操作により湾曲自在に構成されている。この湾曲部10Bは、内視鏡1が使用される被検体の部位等に応じて、任意の方向及び任意の角度に湾曲でき、先端部10Cを所望の方向に向けることができる。
図2は、図1に示す内視鏡装置100の内部構成を示す模式図である。
光源装置5は、光源用プロセッサ51と、光源部52と、を備える。光源部52は、被写体に照射するための照明光を出射する。光源部52から出射された照明光は、ユニバーサルコード13に内蔵されたライトガイド53に入射し、挿入部10の先端部10Cに設けられた照明用レンズ50を通って被写体に照射される。
光源部52としては、白色光を出射する白色光源、又は、白色光源とその他の色の光を出射する光源(例えば青色光を出射する青色光源)を含む複数の光源等が用いられる。先端部10Cの先端面には、光源部52から出射させる光の種類に合わせて照明用レンズ50が複数設けられていてもよい。
また、光源部52は、互いに発光スペクトルが異なる照明光を切り替えて照射可能であってもよい。互いに発光スペクトルが異なる照明光を切り替えて照射可能な光源部52の具体的な構成については図10,図11において説明する。
光源用プロセッサ51は、制御装置4のシステム制御部44と接続されている。光源用プロセッサ51は、システム制御部44からの指令に基づいて光源部52を制御する。
内視鏡1の先端部10Cには、対物レンズ21及びレンズ群22を含む撮像光学系と、この撮像光学系を通して被写体を撮像する撮像素子23と、アナログデジタル変換回路(ADC)24と、RAM(Random Access Memory)等のメモリ25と、通信インタフェース(I/F)26と、撮像制御部27と、光源部52から出射された照明光を照明用レンズ50に導くためのライトガイド53と、が設けられている。
ライトガイド53は、先端部10Cからユニバーサルコード13のコネクタ部13Aまで延びている。ユニバーサルコード13のコネクタ部13Aが光源装置5に接続された状態で、光源装置5の光源部52から出射される照明光がライトガイド53に入射可能な状態となる。
撮像素子23は、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等が用いられる。
撮像素子23は、複数の画素が二次元状に配置された受光面を有し、上記の撮像光学系によってこの受光面に結像された光学像を各画素において電気信号(撮像信号)に変換し、ADC24に出力する。撮像素子23は、例えば原色又は補色等のカラーフィルタを搭載するものが用いられる。撮像素子23の受光面の各画素から出力される撮像信号の集合を撮像画像信号という。
なお、光源部52として、白色光源から出射される白色光を複数色のカラーフィルタによって時分割で分光して照明光を生成するものを用いる場合には、撮像素子23はカラーフィルタを搭載していないものを用いてもよい。
撮像素子23は、対物レンズ21の光軸Axに対して受光面が垂直となる状態で先端部10Cに配置されていてもよいし、対物レンズ21の光軸Axに対して受光面が平行となる状態で先端部10Cに配置されていてもよい。
内視鏡1に設けられる撮像光学系は、撮像素子23と対物レンズ21との間における被写体からの光の光路上にあるレンズ、プリズム等の光学部材(上記のレンズ群22を含む)と、対物レンズ21と、によって構成される。撮像光学系は、対物レンズ21のみで構成される場合もある。
ADC24は、撮像素子23から出力された撮像信号を所定のビット数のデジタル信号に変換する。
メモリ25は、ADC24でデジタル変換された撮像信号を一時的に記録する。
通信I/F26は、制御装置4の通信インタフェース(I/F)41と接続される。通信I/F26は、メモリ25に記録された撮像信号を、ユニバーサルコード13内の信号線を通して制御装置4に伝送する。
撮像制御部27は、通信I/F26を介して制御装置4のシステム制御部44と接続されている。撮像制御部27は、通信I/F26で受信されるシステム制御部44からの指令に基づいて、撮像素子23、ADC24、及びメモリ25を制御する。
制御装置4は、ユニバーサルコード13によって内視鏡1の通信I/F26と接続される通信I/F41と、信号処理部42と、表示コントローラ43と、システム制御部44と、記録媒体45と、を備える。
通信I/F41は、内視鏡1の通信I/F26から伝送されてきた撮像信号を受信して信号処理部42に伝達する。
信号処理部42は、通信I/F41から受けた撮像信号を一時記録するメモリを内蔵しており、メモリに記録された撮像信号の集合である撮像画像信号を処理(デモザイク処理又はガンマ補正処理等の画像処理)して、後述する認識処理が可能な形式の撮像画像データを生成する。信号処理部42によって生成された撮像画像データは、ハードディスク又はフラッシュメモリ等の記録媒体45に記録される。
表示コントローラ43は、信号処理部42によって生成された撮像画像データに基づく撮像画像を表示装置7に表示させる。信号処理部42によって生成された撮像画像データを構成する各画素データの座標は、表示装置7の表示面を構成するいずれかの表示画素の座標と対応付けて管理されている。
システム制御部44は、制御装置4の各部を制御すると共に、内視鏡1の撮像制御部27と光源装置5の光源用プロセッサ51とに指令を送り、内視鏡装置100の全体を統括制御する。例えば、システム制御部44は、撮像制御部27を介して撮像素子23の制御を行う。また、システム制御部44は、光源用プロセッサ51を介して光源部52の制御を行う。
システム制御部44は、プログラムを実行して処理を行う各種のプロセッサと、RAMと、ROM(Read Only Memory)を含む。
各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、又はASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
システム制御部44は、各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ又はCPUとFPGAの組み合わせ)で構成されてもよい。
図3は、図2に示した制御装置4のシステム制御部44の機能ブロックの一例を示す図である。
システム制御部44のプロセッサは、システム制御部44に内蔵されるROMに格納された検査支援プログラムを実行することにより、撮像画像データ取得部44A、段階判別部44B、及び表示制御部44Cを備える表示制御装置として機能する。
撮像画像データ取得部44Aは、撮像素子23によって被検体内を撮像して得られた撮像信号を信号処理部42によって処理して得られた撮像画像データを順次取得する。
段階判別部44Bは、各種の情報に基づいて、内視鏡1を用いた検査の段階を判別する。段階判別部44Bによる各種の情報に基づく検査の段階の判別は、各種の情報に基づく特定のアルゴリズムによる判別であってもよいし、各種の情報と検索段階の情報との組み合わせによる機械学習を行った学習モデルによる判別であってもよい。
内視鏡1を用いた検査の段階には、例えば、内視鏡1の挿入部10が被検体内へ挿入される挿入段階と、内視鏡1の挿入部10が被検体内から引き抜かれる引き抜き段階と、が含まれる。挿入段階は、本発明の第1段階の一例である。引き抜き段階は、本発明の第2段階の一例である。また、内視鏡1を用いた検査の段階には、これらの他に、内視鏡1の挿入部10が被検体内へ挿入される前の段階や、内視鏡1の挿入部10が被検体内から引き抜かれた後の段階が含まれてもよい。
例えば、段階判別部44Bは、撮像画像データ取得部44Aにより得られる撮像画像データに基づいて検査の段階を判別する。具体的には、一般的に、内視鏡を用いた大腸内等の検査においては、内視鏡1の挿入部10を盲腸まで挿入した後に、内視鏡1の挿入部10の引き抜きが開始される。このため、撮像画像データに基づいて盲腸が検出されるまでは挿入段階、撮像画像データに基づいて盲腸が検出された後は引き抜き段階であると判別することができる。
表示制御部44Cは、表示コントローラ43に指令を出して、表示装置7に表示させる画面の制御を行う。具体的には、表示制御部44Cは、段階判別部44Bによる検査の段階の判別結果に応じた情報を含む画面を表示装置7に表示させる。
図4は、実施の形態1において内視鏡1の挿入段階で表示装置7に表示される画面の一例を示す図である。
段階判別部44Bによって検査の段階が内視鏡装置100の挿入段階であると判別されると、表示制御部44Cは、例えば図4に示す画面60を表示装置7に表示させる。画面60には、ライブ画像61と、大腸マップ62と、挿入形状画像63と、が含まれる。
画面60の左側はメイン領域となっており、ライブ画像61はこのメイン領域に配置されている。画面60の右側はサブ領域となっており、大腸マップ62及び挿入形状画像63はこのサブ領域に配置されている。
ライブ画像61は、撮像素子23から連続して出力される撮像信号により得られる画像をリアルタイムで示す動画像である。
大腸マップ62及び挿入形状画像63は、内視鏡1の挿入部10の被検体内への挿入を支援するための挿入支援情報を構成する。大腸マップ62は、内視鏡1の挿入対象の被検体内のマップの一例であり、内視鏡1の挿入対象の被検体の大腸を示す画像である。大腸マップ62は、例えば被検体内を撮像して得られたものであってもよいし、予め用意された一般的な大腸の画像であってもよい。
挿入形状画像63は、被検体内へ挿入された内視鏡1の挿入部10の挿入形状を示す画像である。例えば、挿入形状画像63は、内視鏡1の先端部10Cに備えられた磁界発生素子から発生した磁界の検出結果に基づいて生成された画像である。この場合に、例えば、内視鏡装置100は、被検体外から、被検体内に挿入された内視鏡1の磁界発生素子からの磁界を検出する磁界検出装置をさらに備え、システム制御部44はその磁界検出装置による検出結果に基づいて挿入形状画像63を生成する。
また、挿入形状画像63は、内視鏡1の先端部10Cに備えられた磁界検出素子による磁界の検出結果に基づいて生成された画像であってもよい。この場合に、例えば、内視鏡装置100は、被検体外から被検体内へ向けて磁界を発生させる磁界発生素子をさらに備え、システム制御部44は、内視鏡1に備えられた磁界検出素子による磁界の検出結果に基づいて挿入形状画像63を生成する。
内視鏡1の操作者は、大腸マップ62及び挿入形状画像63を見ることで、内視鏡1の挿入部10の被検体内への挿入を容易に行うことができる。
図5は、実施の形態1において内視鏡1の引き抜き段階で表示装置7に表示される画面の一例を示す図である。
段階判別部44Bによって検査の段階が内視鏡装置100の引き抜き段階であると判別されると、表示制御部44Cは、例えば図5に示す画面70を表示装置7に表示させる。画面70には、ライブ画像61と、サムネイル情報71と、大腸撮像マップ72と、が含まれる。
ライブ画像61は図4の例と同様にメイン領域に配置されている。サムネイル情報71及び大腸撮像マップ72は、図4に示した大腸マップ62及び挿入形状画像63に代えてサブ領域(左側の領域)に配置されている。
サムネイル情報71及び大腸撮像マップ72は、内視鏡1により得られる撮像画像の観察を支援するための観察支援情報を構成する。観察支援情報は、例えば内視鏡1により得られる撮像画像に基づく診断を支援するための情報であってもよい。
サムネイル情報71は、内視鏡1の被検体への挿入中、又は内視鏡1の被検体からの引き抜き中に得られた複数の静止画像を縮小して示す情報である。図5に示す例では、サムネイル情報71には4枚の静止画像が含まれており、各静止画像には通し番号「01」、「02」、「03」、「04」が付されている。
また、サムネイル情報71には、図5に示す例のように、各静止画像に関する他のテキスト情報(図5の「~~~~」の部分)が含まれてもよい。このテキスト情報は、例えば、対応する静止画像が得られた位置や時間、対応する静止画像が得られた際に操作者が入力した所見、又は対応する静止画像が得られた際の画像解析の結果等である。
大腸撮像マップ72は、図4に示した大腸マップ62において、上記の各静止画像が得られた箇所を、上記の通し番号によって示すものである。
サムネイル情報71及び大腸撮像マップ72を見ることで、内視鏡1の操作者は、内視鏡1により得られる撮像画像の観察や、内視鏡1により得られる撮像画像に基づく診断を容易に行うことができる。
また、図4,図5に示したように、システム制御部44は、挿入段階においてライブ画像61と挿入支援情報とを含む画面を表示装置7に表示させ、引き抜き段階においてライブ画像61と、観察支援情報とを含む画面を表示装置7に表示させてもよい。これにより、主にライブ画像61を観察しながら行う検査において、ライブ画像61を表示しつつ、挿入段階及び挿入段階のそれぞれにおいて有用な各支援情報を表示することができる。
図6は、実施の形態1における制御装置4による表示制御処理の一例を示すフローチャートである。内視鏡1を用いた検査時に、制御装置4は、例えば図6に示す処理を実行する。
まず、制御装置4は、内視鏡1を用いた検査の段階を判別する(ステップS61)。次に、制御装置4は、ステップS61の結果に基づいて、内視鏡1を用いた検査の段階が、内視鏡1が被検体内へ挿入される挿入段階であるか否かを判断する(ステップS62)。挿入段階でない場合(ステップS62:No)は、制御装置4はステップS61へ戻る。
ステップS62において、挿入段階である場合(ステップS62:Yes)は、制御装置4は、表示装置7のメイン領域(左側の領域)へのライブ画像61の表示を開始する(ステップS63)。また、制御装置4は、サブ領域(右側の領域)への挿入支援情報(大腸マップ62及び挿入形状画像63)の表示を開始する(ステップS64)。
次に、制御装置4は、内視鏡1を用いた検査の段階を判別する(ステップS65)。次に、制御装置4は、ステップS65の結果に基づいて、内視鏡1を用いた検査の段階が、内視鏡1が被検体内から引き抜かれる引き抜き段階であるか否かを判断する(ステップS66)。引き抜き段階でない場合(ステップS66:No)は、制御装置4はステップS65へ戻る。
ステップS66において、引き抜き段階である場合(ステップS66:Yes)は、制御装置4は、サブ領域への観察支援情報(サムネイル情報71及び大腸撮像マップ72)の表示を開始し(ステップS67)、一連の処理を終了する。
このように、実施の形態1の内視鏡装置100は、内視鏡1による検査の段階を判別し、挿入段階である場合に、内視鏡1の被検体内への挿入を支援するための挿入支援情報を含む画面を表示し、引き抜き段階である場合に、内視鏡1により得られる画像の観察を支援するための観察支援情報を含む画面を表示する。これにより、検査の段階に応じた有用な情報を内視鏡の操作者に提供することができる。
<検査の段階の判別方法の変形例>
段階判別部44Bが撮像画像データに基づいて検査の段階を判別する構成について説明したが、このような構成に限らない。
例えば、段階判別部44Bは、内視鏡1の先端部10Cに備えられた磁界発生素子から発生した磁界の検出結果に基づいて検査の段階を判別してもよい。この場合に、例えば、内視鏡装置100は、被検体外から、被検体内に挿入された内視鏡1の磁界発生素子からの磁界を検出する磁界検出装置をさらに備え、段階判別部44Bはその磁界検出装置による検出結果に基づいて検査の段階を判別する。
また、段階判別部44Bは、内視鏡1の先端部10Cに備えられた磁界検出素子による磁界の検出結果に基づいて検査の段階を判別してもよい。この場合に、例えば、内視鏡装置100は、被検体外から被検体内へ向けて磁界を発生させる磁界発生素子をさらに備え、段階判別部44Bは、内視鏡1に備えられた磁界検出素子による磁界の検出結果に基づいて検査の段階を判別する。
また、段階判別部44Bは、内視鏡1の先端部10Cに備えられた加速度計から得られる加速度情報に基づいて検査の段階を判別してもよい。例えば、挿入段階において内視鏡1は内視鏡1の先端の方向へ移動しており、引き抜き段階において内視鏡1は内視鏡1の先端の方向とは反対側に移動している。このため、上記の加速度情報に基づいて内視鏡1の移動方向を特定することにより、検査の段階が挿入段階及び引き抜き段階のいずれであるかを判別することができる。
また、内視鏡1が、互いに発光スペクトルが異なる照明光を切り替えて照射可能である場合に、段階判別部44Bは、内視鏡1が照射する照明光の切り替わりに基づいて検査の段階を判別してもよい。例えば、図2に示した光源装置5において、白色光と、画像強調用の特殊光と、を切り替え可能であるとする。
この切り替えは、内視鏡1の操作者による光源切り替え操作によるものであってもよいし、上記の撮像画像データ取得部44Aにより得られる撮像画像データ等に基づいて自動的に行われるものであってもよい。一般的に、挿入段階においては白色光が用いられ、引き抜き段階においては特殊光が用いられるため、内視鏡1が照射する照明光の切り替わりに基づいて、検査の段階を判別することが可能である。
<挿入支援情報の変形例>
システム制御部44が、内視鏡1の被検体内への挿入を支援するための情報として、被検体内のマップ(大腸マップ62)及び内視鏡1の挿入形状の画像(挿入形状画像63)を表示させる構成について説明したが、このような構成に限らない。
例えば、システム制御部44は、内視鏡1の被検体内への挿入を支援するための情報として、被検体内のマップ(大腸マップ62)及び内視鏡1の挿入形状の画像(挿入形状画像63)のいずれかを表示装置7に表示させてもよい。
又は、システム制御部44は、内視鏡1の被検体内への挿入を支援するための情報として、内視鏡1の被検体内への挿入が開始されてからの経過時間等を表示装置7に表示させてもよい。これにより、内視鏡1の操作者は、内視鏡1の挿入に伴う被検体への負荷を容易に把握しながら挿入操作を行うことができる。
<観察支援情報の変形例>
システム制御部44が、観察を支援するための情報として、内視鏡1に備えられた撮像素子23により得られた静止画像(サムネイル情報71)及び静止画像が得られた被検体内の位置を示す情報(大腸撮像マップ72)を表示させる構成について説明したが、このような構成に限らない。
例えば、システム制御部44が、観察を支援するための情報として、内視鏡1に備えられた撮像素子23により得られた静止画像(サムネイル情報71)のみを表示装置7に表示させる構成であってもよい。また、サムネイル情報71は、上記のテキスト情報や通し番号を含まないものであってもよい。
また、システム制御部44が、観察を支援するための情報として、内視鏡1に備えられた撮像素子23より得られる画像に基づいて検出された各種の情報を表示装置7に表示させる構成であってもよい。
撮像素子23より得られる画像に基づいて検出される情報は、例えば注目領域に関する情報である。注目領域に関する情報は、例えば腫瘍等の病変などの画像や、病変の輪郭線などである。又は、注目領域に関する情報は、検出された病変などの数や大きさ等の情報であってもよい。
また、撮像素子23より得られる画像に基づいて検出される情報は、撮像素子23より得られる画像に基づいて選択された類似症例画像であってもよい。例えば、過去の様々な症例における撮像画像が、内視鏡装置100の内部又は外部のデータベースに登録されておいる。システム制御部44は、撮像素子23より得られる画像に類似する画像を上記のデータベースから検索し、検索により得られた画像を類似症例画像として表示装置7に表示させる。
また、システム制御部44が、観察を支援するための情報として、内視鏡1を挿入中の被検体内の部位において発生しやすい腫瘍を示す情報を表示装置7に表示させる構成であってもよい。例えば、大腸の各部位について、発生しやすい腫瘍の名称等が内視鏡装置100の内部又は外部のデータベースに登録されている。システム制御部44は、内視鏡1を挿入中の大腸内の部位を特定し、特定した部位について発生しやすい腫瘍の名称等を上記のデータベースから検索し、検索により得られた腫瘍の名称等を表示装置7に表示させる。内視鏡1を挿入中の大腸内の部位の特定は、例えば、撮像素子23より得られる画像や、上記の磁界発生素子及び磁界検出装置の各組み合わせを用いて行うことができる。
また、システム制御部44が、観察を支援するための情報として、内視鏡1を挿入中の被検体内の部位の推奨観察方法を示す情報を表示装置7に表示させる構成であってもよい。例えば、大腸の各部位について、推奨されるライブ画像の観察方法が内視鏡装置100の内部又は外部のデータベースに登録されている。システム制御部44は、内視鏡1を挿入中の大腸内の部位を特定し、特定した部位について推奨される観察方法を上記のデータベースから検索し、検索により得られた観察方法を表示装置7に表示させる。内視鏡1を挿入中の大腸内の部位の特定は、例えば、撮像素子23より得られる画像や、上記の磁界発生素子及び磁界検出装置の各組み合わせを用いて行うことができる。
また、システム制御部44が、観察を支援するための情報として、被検体内の過去の検査結果を示す情報を表示装置7に表示させる構成であってもよい。例えば、システム制御部44は、内視鏡1を挿入中の被検体について過去に行われた検査の結果を示す情報を、内視鏡装置100の内部又は外部のデータベースから取得し、取得した検査の結果を示す情報を表示装置7に表示させる。検査の結果を示す情報は、例えば、その検査における撮像により得られた画像や、その画像に基づく解析の結果などである。
また、システム制御部44が、観察を支援するための情報として、内視鏡1の被検体内からの引き抜きが開始されてからの経過時間を示す情報を表示装置7に表示させてもよい。これにより、内視鏡1の操作者は、内視鏡1の引き抜きに伴う被検体への負荷を容易に把握しながら引き抜き操作を行うことができる。
<挿入支援情報及び観察支援情報の変形例>
又は、システム制御部44が、挿入段階において、挿入を支援するための情報として、被検体内に白色光を照射した状態で撮像素子23により得られた画像を含む画面を表示装置7に表示させ、引き抜き段階において、観察を支援するための情報として、被検体内に白色光と発光スペクトルが異なる特殊光を照射した状態で撮像素子23により得られた画像を含む画面を表示装置7に表示させてもよい。特殊光を照射した状態で撮像素子23により得られる画像は、上記の観察や診断に適した画像である。
例えば、システム制御部44は、挿入段階において、光源装置5を制御して白色光を照射しつつ、撮像素子23により得られた撮像信号に基づくライブ画像61を含む画面を表示装置7に表示させる。また、システム制御部44は、引き抜き段階において、光源装置5を制御して特殊光を照射しつつ、撮像素子23により得られた撮像信号に基づくライブ画像61を含む画面を表示装置7に表示させる。互いに発光スペクトルが異なる照明光を切り替えて照射可能な光源装置5の構成については図10,図11において説明する。
(実施の形態2)
実施の形態2について、実施の形態1と異なる部分について説明する。実施の形態1においては挿入段階及び引き抜き段階を判別し、これらの各段階において有用な情報を表示する構成について説明した。実施の形態2においては、内視鏡1の挿入部10が被検体内のいずれの部位に挿入されている段階かを判別し、これらの各段階において有用な情報を表示する構成について説明する。
ここでは、内視鏡1の挿入部10を、被検体の口から、食道を経由して胃に挿入して行われる検査について説明する。この場合に、段階判別部44Bによって判別される検査の段階には、例えば、内視鏡1の挿入部10が食道へ挿入される食道挿入段階と、内視鏡1の挿入部10が胃へ挿入される胃挿入段階と、が含まれる。食道は、被検体内の第1部位の一例である。胃は、被検体内の第2部位の一例である。
例えば、段階判別部44Bは、撮像画像データ取得部44Aにより得られる撮像画像データに基づいて食道挿入段階及び胃挿入段階を判別する。
図7は、実施の形態2において内視鏡1の食道挿入段階で表示装置7に表示される画面の一例を示す図である。
段階判別部44Bによって検査の段階が内視鏡装置100の食道挿入段階であると判別されると、表示制御部44Cは、例えば図7に示す画面80を表示装置7に表示させる。画面80には、ライブ画像61と、食道マップ101と、挿入形状画像63と、が含まれる。
ライブ画像61はメイン領域(左側の領域)に配置されている。食道マップ101及び挿入形状画像63はサブ領域(右側の領域)に配置されている。
ライブ画像61は、撮像素子23から連続して出力される撮像信号により得られる画像をリアルタイムで示す動画像である。
食道マップ101及び挿入形状画像63は、内視鏡1の挿入部10の食道への挿入を支援するための食道挿入支援情報を構成する。
食道マップ101は、内視鏡1の挿入対象の被検体の食道を示す画像である。食道マップ101は、例えば被検体内を撮像して得られたものであってもよいし、予め用意された一般的な大腸の画像であってもよい。図7に示す例では、挿入形状画像63は、被検体内の食道へ挿入されている内視鏡1の挿入部10の形状を示している。
食道マップ101及び挿入形状画像63を見ることで、内視鏡1の操作者は、内視鏡1の挿入部10の食道への挿入を容易に行うことができる。
図8は、実施の形態2において内視鏡1の胃挿入段階で表示装置7に表示される画面の一例を示す図である。
段階判別部44Bによって検査の段階が内視鏡装置100の胃挿入段階であると判別されると、表示制御部44Cは、例えば図8に示す画面90を表示装置7に表示させる。画面90には、ライブ画像61と、胃マップ102と、挿入形状画像63と、が含まれる。
ライブ画像61は図7の例と同様にメイン領域に配置されている。胃マップ102及び挿入形状画像63は、図7に示した食道マップ101及び挿入形状画像63に代えてサブ領域に配置されている。
胃マップ102及び挿入形状画像63は、内視鏡1の挿入部10の被検体内の胃への挿入を支援するための胃挿入支援情報を構成する。
胃マップ102は、内視鏡1の挿入対象の被検体の胃を示す画像である。胃マップ102は、例えば被検体内を撮像して得られたものであってもよいし、予め用意された一般的な大腸の画像であってもよい。図8に示す例では、挿入形状画像63は、被検体内の胃へ挿入されている内視鏡1の挿入部10の形状を示している。
胃マップ102及び挿入形状画像63を見ることで、内視鏡1の操作者は、内視鏡1の挿入部10の胃への挿入を容易に行うことができる。
図9は、実施の形態2における制御装置4による表示制御処理の一例を示すフローチャートである。内視鏡1を用いた検査時に、制御装置4は、例えば図9に示す処理を実行する。
まず、制御装置4は、内視鏡1を用いた検査の段階を判別する(ステップS91)。次に、制御装置4は、ステップS91の結果に基づいて、内視鏡1を用いた検査の段階が、内視鏡1が被検体内の食道へ挿入される食道挿入段階であるか否かを判断する(ステップS92)。食道挿入段階でない場合(ステップS92:No)は、制御装置4はステップS91へ戻る。
ステップS92において、食道挿入段階である場合(ステップS92:Yes)は、制御装置4は、表示装置7のメイン領域(左側の領域)へのライブ画像61の表示を開始する(ステップS93)。また、制御装置4は、サブ領域(右側の領域)への食道挿入支援情報(食道マップ101及び挿入形状画像63)の表示を開始する(ステップS94)。
次に、制御装置4は、内視鏡1を用いた検査の段階を判別する(ステップS95)。次に、制御装置4は、ステップS95の結果に基づいて、内視鏡1を用いた検査の段階が、内視鏡1が被検体内の胃へ挿入される胃挿入段階であるか否かを判断する(ステップS96)。胃挿入段階でない場合(ステップS96:No)は、制御装置4はステップS95へ戻る。
ステップS96において、胃挿入段階である場合(ステップS96:Yes)は、制御装置4は、サブ領域への胃挿入支援情報(胃マップ102及び挿入形状画像63)の表示を開始し(ステップS97)、一連の処理を終了する。
このように、実施の形態2の内視鏡装置100は、内視鏡1による検査の段階を判別し、食道挿入段階である場合に、内視鏡1の食道への挿入を支援するための食道挿入支援情報を含む画面を表示し、胃挿入段階である場合に、内視鏡1の胃への挿入を支援するための胃挿入支援情報を含む画面を表示する。これにより、検査の段階に応じた有用な情報を内視鏡の操作者に提供することができる。
<第1部位及び第2部位の変形例>
第1部位及び第2部位の一例として食道及び胃について説明したが、第1部位及び第2部位はこれらに限らない。例えば、内視鏡1を用いて大腸の検査を行う場合、第1部位及び第2部位は、S状結腸、下行結腸、横行結腸及び上行結腸のうちの2つの部位であってもよい。また、挿入が判別される部位は3つ以上であってもよく、システム制御部44は、挿入が判別された各部位を対象に、対象の部位の挿入部10の挿入を支援する情報を表示装置7に表示させてもよい。
<検査の段階の判別方法の変形例>
段階判別部44Bが撮像画像データに基づいて検査の段階(挿入部位)を判別する構成について説明したが、このような構成に限らない。
例えば、段階判別部44Bは、内視鏡1の先端部10Cに備えられた磁界発生素子から発生した磁界の検出結果に基づいて検査の段階を判別してもよい。この場合に、例えば、内視鏡装置100は、被検体外から、被検体内に挿入された内視鏡1の磁界発生素子からの磁界を検出する磁界検出装置をさらに備え、段階判別部44Bはその磁界検出装置による検出結果に基づいて検査の段階を判別する。
また、段階判別部44Bは、内視鏡1の先端部10Cに備えられた磁界検出素子による磁界の検出結果に基づいて検査の段階を判別してもよい。この場合に、例えば、内視鏡装置100は、被検体外から被検体内へ向けて磁界を発生させる磁界発生素子をさらに備え、段階判別部44Bは、内視鏡1に備えられた磁界検出素子による磁界の検出結果に基づいて検査の段階を判別する。
(実施の形態1,2の組み合わせ)
実施の形態1,2を組み合わせてもよい。すなわち、システム制御部44は、例えば、被検体内の複数の部位毎の挿入段階と、引き抜き段階と、を判別し、判別した段階に応じて、挿入中の部位毎の挿入支援情報、あるいは観察支援情報を表示装置7に表示させてもよい。
(光源装置5について)
図10は、互いに発光スペクトルが異なる照明光を切り替えて照射可能な光源装置5の一例を示す図である。図11は、図10に示した光源装置5が発生させる光のスペクトルの一例を示す図である。
図10に示すように、図2に示した光源装置5は、光源用プロセッサ51と、光源部52と、光路結合部54と、を備える。
光源部52は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯又は消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部52は、V-LED(Violet Light Emitting Diode)52a、B-LED(Blue Light Emitting Diode)52b、G-LED(Green Light Emitting Diode)52c、及びR-LED(Red Light Emitting Diode)52dの4色のLEDを有する。
図11に示すように、V-LED52aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED52bは、中心波長450±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED52cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED52dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
光源用プロセッサ51は、V-LED52a、B-LED52b、G-LED52c、及びR-LED52dを制御する。光源用プロセッサ51は、各LED52a~52dをそれぞれ独立に制御することで、紫色光V、青色光B、緑色光G、又は赤色光Rをそれぞれ独立に光量を変えて発光可能である。また、光源用プロセッサ51は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVc:Bc:Gc:Rcとなる白色光を発光するように、各LED52a~52dを制御する。なお、Vc、Bc、Gc、Rc>0である。
また、光源用プロセッサ51は、特殊観察モード時には、短波長の狭帯域光としての紫色光V、青色光B、緑色光G、及び赤色光Rとの光量比がVs:Bs:Gs:Rsとなる特殊光を発光するように、各LED52a~52dを制御する。光量比Vs:Bs:Gs:Rsは、通常観察モード時に使用する光量比Vc:Bc:Gc:Rcと異なっており、観察目的に応じて適宜定められる。例えば、表層血管を強調する場合には、Vsを、他のBs、Gs、Rsよりも大きくすることが好ましく、中深層血管を強調する場合には、Gsを、他のVs、Gs、Rsよりも大きくすることが好ましい。
図10,図11に示した光源装置5の構成によれば、制御装置4からの指令により、互いに発光スペクトルが異なる照明光を切り替えて照射することが可能である。
(制御プログラム)
制御装置4のROMに記憶される制御プログラムは、プログラムをコンピュータが読取可能な一時的でない(non-transitory)記憶媒体に記憶される。このような「コンピュータ読取可能な記憶媒体」は、例えば、CD-ROM(Compact Disc-ROM)等の光学媒体や、USB(Universal Serial Bus)メモリ又はメモリカード等の磁気記憶媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。
(内視鏡システムの別の形態)
本発明の内視鏡システムの一例として内視鏡装置100を説明したが、本発明の内視鏡システムは、ネットワークを介して互いに接続される複数の装置によって実現されてもよい。例えば、上記の制御装置4による処理の少なくとも一部を、内視鏡装置100とネットワークを介して接続される他の装置により実行する構成としてもよい。
(表示部の別の形態)
本発明の表示部の一例として表示装置7を説明したが、本発明の表示部は、複数の表示装置によって実現されてもよい。この場合に、複数の表示装置のうち1つの表示装置により上記のメイン領域を構成し、複数の表示装置のうち残りの表示装置により上記のサブ領域を構成してもよい。
以上説明してきたように、本明細書には以下の事項が開示されている。
(1)
内視鏡による検査の段階を判別する判別部と、
上記判別部による判別結果に応じて表示画像を切り替える表示部と、を備え、
上記検査の段階は、上記内視鏡が被検体内へ挿入される第1段階と、上記内視鏡が上記被検体内から引き抜かれる第2段階と、を含み、
上記表示部は、上記検査の段階が上記第1段階であると判別された場合に、上記内視鏡の上記被検体内への挿入を支援するための情報を含む画面を表示し、上記検査の段階が上記第2段階であると判別された場合に、上記内視鏡により得られる画像の観察を支援するための情報を含む画面を表示する内視鏡システム。
(2)
(1)記載の内視鏡システムであって、
上記判別部は、上記内視鏡に備えられた撮像素子により得られる画像に基づいて上記検査の段階を判別する内視鏡システム。
(3)
(1)記載の内視鏡システムであって、
上記判別部は、上記内視鏡に備えられた磁界発生素子から発生した磁界の検出結果に基づいて上記検査の段階を判別する内視鏡システム。
(4)
(1)記載の内視鏡システムであって、
上記判別部は、上記内視鏡に備えられた磁界検出素子による磁界の検出結果に基づいて上記検査の段階を判別する内視鏡システム。
(5)
(1)記載の内視鏡システムであって、
上記判別部は、上記内視鏡に備えられた加速度計から得られる加速度情報に基づいて上記検査の段階を判別する内視鏡システム。
(6)
(1)記載の内視鏡システムであって、
上記内視鏡は、互いに発光スペクトルが異なる照明光を切り替えて照射可能であり、
上記判別部は、上記内視鏡が照射する上記照明光の切り替わりに基づいて上記検査の段階を判別する内視鏡システム。
(7)
(1)から(6)のいずれか1つに記載の内視鏡システムであって、
上記表示部は、上記検査の段階が上記第1段階であると判別された場合に、上記内視鏡に備えられた撮像素子により得られるライブ画像と、上記挿入を支援するための情報と、を含む画面を表示し、上記検査の段階が上記第2段階であると判別された場合に、上記ライブ画像と、上記観察を支援するための情報と、を含む画面を表示する内視鏡システム。
(8)
(1)から(7)のいずれか1つに記載の内視鏡システムであって、
上記挿入を支援するための情報は、上記内視鏡の挿入形状の画像を含む内視鏡システム。
(9)
(1)から(8)のいずれか1つに記載の内視鏡システムであって、
上記挿入を支援するための情報は、上記被検体内のマップを含む内視鏡システム。
(10)
(1)から(9)のいずれか1つに記載の内視鏡システムであって、
上記挿入を支援するための情報は、上記内視鏡の上記被検体内への挿入が開始されてからの経過時間を示す情報を含む内視鏡システム。
(11)
(1)から(10)のいずれか1つに記載の内視鏡システムであって、
上記観察を支援するための情報は、上記内視鏡に備えられた撮像素子により得られた静止画像を含む内視鏡システム。
(12)
(1)から(11)のいずれか1つに記載の内視鏡システムであって、
上記観察を支援するための情報は、上記内視鏡に備えられた撮像素子より得られる画像に基づいて検出された注目領域に関する情報を含む内視鏡システム。
(13)
(1)から(12)のいずれか1つに記載の内視鏡システムであって、
上記観察を支援するための情報は、上記内視鏡に備えられた撮像素子により得られる画像に基づいて選択された類似症例画像を含む内視鏡システム。
(14)
(1)から(13)のいずれか1つに記載の内視鏡システムであって、
上記観察を支援するための情報は、上記内視鏡を挿入中の上記被検体内の部位において発生しやすい腫瘍を示す情報を含む内視鏡システム。
(15)
(1)から(14)のいずれか1つに記載の内視鏡システムであって、
上記観察を支援するための情報は、上記内視鏡を挿入中の上記被検体内の部位の推奨観察方法を示す情報を含む内視鏡システム。
(16)
(1)から(15)のいずれか1つに記載の内視鏡システムであって、
上記観察を支援するための情報は、上記被検体内の過去の検査結果を示す情報を含む内視鏡システム。
(17)
(1)から(16)のいずれか1つに記載の内視鏡システムであって、
上記挿入を支援するための情報は、上記被検体内に白色光を照射した状態で上記内視鏡に備えられた撮像素子により得られた画像を含み、
上記観察を支援するための情報は、上記被検体内に上記白色光と発光スペクトルが異なる光を照射した状態で上記撮像素子により得られた画像を含む内視鏡システム。
(18)
(1)から(17)のいずれか1つに記載の内視鏡システムであって、
上記観察を支援するための情報は、上記内視鏡の上記被検体内からの引き抜きが開始されてからの経過時間を示す情報を含む内視鏡システム。
(19)
コンピュータを、(1)から(18)のいずれか1つに記載の内視鏡システムの上記判別部及び上記表示部として機能させるための制御プログラム。
(20)
内視鏡による検査の段階を判別し、
上記検査の段階の判別結果に応じて表示画像を切り替える表示方法であって、
上記検査の段階は、上記内視鏡が被検体内へ挿入される第1段階と、上記内視鏡が上記被検体内から引き抜かれる第2段階と、を含み、
上記検査の段階が上記第1段階であると判別された場合に、上記内視鏡の上記被検体内への挿入を支援するための情報を含む画面を表示し、上記検査の段階が上記第2段階であると判別された場合に、上記内視鏡により得られる画像の観察を支援するための情報を含む画面を表示する表示方法。
(21)
内視鏡による検査の段階を判別する判別部と、
上記判別部による判別結果に応じて表示画像を切り替える表示部と、を備え、
上記検査の段階は、上記内視鏡が被検体内の第1部位へ挿入される第1段階と、上記内視鏡が上記第1部位と異なる上記被検体内の第2部位へ挿入される第2段階と、を含み、
上記表示部は、上記判別部による判別結果に基づいて、上記被検体内の部位のうち上記内視鏡を挿入中の部位への上記内視鏡の挿入を支援するための情報と、上記挿入中の部位の観察を支援するための情報と、の少なくともいずれかを含む画面を表示する内視鏡システム。
(22)
(21)記載の内視鏡システムであって、
上記判別部は、上記内視鏡に備えられた撮像素子により得られる画像に基づいて上記検査の段階を判別する内視鏡システム。
(23)
(21)又は(22)記載の内視鏡システムであって、
上記挿入を支援するための情報は、上記挿入中の部位のマップを含む内視鏡システム。
(24)
(21)から(23)のいずれか1つに記載の内視鏡システムであって、
上記観察を支援するための情報は、上記挿入中の部位において発生し易い腫瘍を示す情報を含む内視鏡システム。
(25)
(21)から(24)のいずれか1つに記載の内視鏡システムであって、
上記観察を支援するための情報は、上記挿入中の部位の推奨観察方法を示す情報を含む内視鏡システム。
(26)
(21)から(25)のいずれか1つに記載の内視鏡システムであって、
上記第1部位及び上記第2部位は、食道及び胃である内視鏡システム。
(27)
(21)から(25)のいずれか1つに記載の内視鏡システムであって、
上記第1部位及び上記第2部位は、S状結腸、下行結腸、横行結腸及び上行結腸のうちの2つの部位である内視鏡システム。
(28)
コンピュータを、(21)から(27)のいずれか1つに記載の内視鏡システムの上記判別部及び上記表示部として機能させるための制御プログラム。
(29)
内視鏡による検査の段階を判別し、
上記検査の段階の判別結果に応じて表示画像を切り替える表示方法であって、
上記検査の段階は、上記内視鏡が被検体内の第1部位へ挿入される第1段階と、上記内視鏡が上記第1部位と異なる上記被検体内の第2部位へ挿入される第2段階と、を含み、
上記検査の段階の判別結果に基づいて、上記被検体内の部位のうち上記内視鏡を挿入中の部位への上記内視鏡の挿入を支援するための情報と、上記挿入中の部位の観察を支援するための情報と、の少なくともいずれかを含む画面を表示する表示方法。
本発明によれば、検査の段階に応じた有用な情報を内視鏡の操作者に提供することのできる内視鏡システム、制御プログラム、及び表示方法を提供することができる。
1 内視鏡
4 制御装置
5 光源装置
6 入力部
7 表示装置
10 挿入部
10A 軟性部
10B 湾曲部
10C 先端部
11 操作部
12 アングルノブ
13 ユニバーサルコード
13A,13B コネクタ部
21 対物レンズ
22 レンズ群
23 撮像素子
24 ADC
25 メモリ
26,41 通信I/F
27 撮像制御部
42 信号処理部
43 表示コントローラ
44 システム制御部
44A 撮像画像データ取得部
44B 段階判別部
44C 表示制御部
45 記録媒体
50 照明用レンズ
51 光源用プロセッサ
52 光源部
52a V-LED
52b B-LED
52c G-LED
52d R-LED
53 ライトガイド
54 光路結合部
60,70,80,90 画面
61 ライブ画像
62 大腸マップ
63 挿入形状画像
71 サムネイル情報
72 大腸撮像マップ
100 内視鏡装置
101 食道マップ
102 胃マップ

Claims (15)

  1. 互いに発光スペクトルが異なる照明光を切り替えて照射可能な内視鏡による検査の段階を、前記内視鏡が照射する前記照明光の切り替わりに基づいて判別する判別部と、
    前記判別部による判別結果に応じて表示画像を切り替える表示部と、を備え、
    前記検査の段階は、前記内視鏡が被検体内へ挿入される第1段階と、前記内視鏡が前記被検体内から引き抜かれる第2段階と、を含み、
    前記表示部は、前記検査の段階が前記第1段階であると判別された場合に、前記内視鏡の前記被検体内への挿入を支援するための情報を含む画面を表示し、前記検査の段階が前記第2段階であると判別された場合に、前記内視鏡により得られる画像の観察を支援するための情報を含む画面を表示する内視鏡システム。
  2. 請求項1記載の内視鏡システムであって、
    前記表示部は、前記検査の段階が前記第1段階であると判別された場合に、前記内視鏡に備えられた撮像素子により得られるライブ画像と、前記挿入を支援するための情報と、を含む画面を表示し、前記検査の段階が前記第2段階であると判別された場合に、前記ライブ画像と、前記観察を支援するための情報と、を含む画面を表示する内視鏡システム。
  3. 請求項1又は2記載の内視鏡システムであって、
    前記挿入を支援するための情報は、前記内視鏡の挿入形状の画像を含む内視鏡システム。
  4. 請求項1から3のいずれか1項記載の内視鏡システムであって、
    前記挿入を支援するための情報は、前記被検体内のマップを含む内視鏡システム。
  5. 請求項1から4のいずれか1項記載の内視鏡システムであって、
    前記挿入を支援するための情報は、前記内視鏡の前記被検体内への挿入が開始されてからの経過時間を示す情報を含む内視鏡システム。
  6. 請求項1から5のいずれか1項記載の内視鏡システムであって、
    前記観察を支援するための情報は、前記内視鏡に備えられた撮像素子により得られた静止画像を含む内視鏡システム。
  7. 請求項1から6のいずれか1項記載の内視鏡システムであって、
    前記観察を支援するための情報は、前記内視鏡に備えられた撮像素子より得られる画像に基づいて検出された注目領域に関する情報を含む内視鏡システム。
  8. 請求項1から7のいずれか1項記載の内視鏡システムであって、
    前記観察を支援するための情報は、前記内視鏡に備えられた撮像素子により得られる画像に基づいて選択された類似症例画像を含む内視鏡システム。
  9. 請求項1から8のいずれか1項記載の内視鏡システムであって、
    前記観察を支援するための情報は、前記内視鏡を挿入中の前記被検体内の部位において発生しやすい腫瘍を示す情報を含む内視鏡システム。
  10. 請求項1から9のいずれか1項記載の内視鏡システムであって、
    前記観察を支援するための情報は、前記内視鏡を挿入中の前記被検体内の部位の推奨観察方法を示す情報を含む内視鏡システム。
  11. 請求項1から10のいずれか1項記載の内視鏡システムであって、
    前記観察を支援するための情報は、前記被検体内の過去の検査結果を示す情報を含む内視鏡システム。
  12. 請求項1から11のいずれか1項記載の内視鏡システムであって、
    前記挿入を支援するための情報は、前記被検体内に白色光を照射した状態で前記内視鏡に備えられた撮像素子により得られた画像を含み、
    前記観察を支援するための情報は、前記被検体内に前記白色光と発光スペクトルが異なる光を照射した状態で前記撮像素子により得られた画像を含む内視鏡システム。
  13. 請求項1から12のいずれか1項記載の内視鏡システムであって、
    前記観察を支援するための情報は、前記内視鏡の前記被検体内からの引き抜きが開始されてからの経過時間を示す情報を含む内視鏡システム。
  14. コンピュータを、請求項1から13のいずれか1項記載の内視鏡システムの前記判別部及び前記表示部として機能させるための制御プログラム。
  15. 内視鏡システムの制御部が、
    互いに発光スペクトルが異なる照明光を切り替えて照射可能な内視鏡による検査の段階を、前記内視鏡が照射する前記照明光の切り替わりに基づいて判別し、
    前記検査の段階の判別結果に応じて表示画像を切り替える内視鏡システムの表示方法であって、
    前記検査の段階は、前記内視鏡が被検体内へ挿入される第1段階と、前記内視鏡が前記被検体内から引き抜かれる第2段階と、を含み、
    前記検査の段階が前記第1段階であると判別された場合に、前記内視鏡の前記被検体内への挿入を支援するための情報を含む画面を表示し、前記検査の段階が前記第2段階であると判別された場合に、前記内視鏡により得られる画像の観察を支援するための情報を含む画面を表示する表示方法。
JP2021562491A 2019-12-02 2020-10-22 内視鏡システム、制御プログラム、及び表示方法 Active JP7335976B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019218060 2019-12-02
JP2019218060 2019-12-02
PCT/JP2020/039696 WO2021111756A1 (ja) 2019-12-02 2020-10-22 内視鏡システム、制御プログラム、及び表示方法

Publications (2)

Publication Number Publication Date
JPWO2021111756A1 JPWO2021111756A1 (ja) 2021-06-10
JP7335976B2 true JP7335976B2 (ja) 2023-08-30

Family

ID=76221191

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021562491A Active JP7335976B2 (ja) 2019-12-02 2020-10-22 内視鏡システム、制御プログラム、及び表示方法

Country Status (4)

Country Link
EP (1) EP4070713A4 (ja)
JP (1) JP7335976B2 (ja)
CN (1) CN114554937A (ja)
WO (1) WO2021111756A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023195103A1 (ja) * 2022-04-06 2023-10-12 オリンパスメディカルシステムズ株式会社 検査支援システムおよび検査支援方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001046318A (ja) 1999-08-05 2001-02-20 Olympus Optical Co Ltd 内視鏡形状検出装置
JP2008264313A (ja) 2007-04-23 2008-11-06 Olympus Medical Systems Corp 内視鏡システム
WO2010122823A1 (ja) 2009-04-20 2010-10-28 オリンパスメディカルシステムズ株式会社 被検体内検査システム
JP2012509715A (ja) 2008-11-21 2012-04-26 メイヨ・ファウンデーション・フォー・メディカル・エデュケーション・アンド・リサーチ 大腸内視鏡検査追跡および評価システム
WO2017068650A1 (ja) 2015-10-20 2017-04-27 オリンパス株式会社 挿入体支援システム
WO2018043550A1 (ja) 2016-08-31 2018-03-08 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
WO2018069992A1 (ja) 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム
WO2018116572A1 (ja) 2016-12-22 2018-06-28 オリンパス株式会社 内視鏡挿入形状観測装置
WO2018135041A1 (ja) 2017-01-17 2018-07-26 オリンパス株式会社 内視鏡挿入形状観測装置
WO2018180631A1 (ja) 2017-03-30 2018-10-04 富士フイルム株式会社 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4464641B2 (ja) 2003-09-01 2010-05-19 オリンパス株式会社 工業用内視鏡システム
JP4868959B2 (ja) * 2006-06-29 2012-02-01 オリンパスメディカルシステムズ株式会社 体腔内プローブ装置
JP2009226170A (ja) 2008-03-25 2009-10-08 Olympus Medical Systems Corp 医療用画像処理装置
JP6128796B2 (ja) 2012-10-25 2017-05-17 オリンパス株式会社 挿入システム、挿入支援装置、挿入支援装置の作動方法及びプログラム
JP6688243B2 (ja) * 2017-02-28 2020-04-28 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2019078237A1 (ja) * 2017-10-18 2019-04-25 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001046318A (ja) 1999-08-05 2001-02-20 Olympus Optical Co Ltd 内視鏡形状検出装置
JP2008264313A (ja) 2007-04-23 2008-11-06 Olympus Medical Systems Corp 内視鏡システム
JP2012509715A (ja) 2008-11-21 2012-04-26 メイヨ・ファウンデーション・フォー・メディカル・エデュケーション・アンド・リサーチ 大腸内視鏡検査追跡および評価システム
WO2010122823A1 (ja) 2009-04-20 2010-10-28 オリンパスメディカルシステムズ株式会社 被検体内検査システム
WO2017068650A1 (ja) 2015-10-20 2017-04-27 オリンパス株式会社 挿入体支援システム
WO2018043550A1 (ja) 2016-08-31 2018-03-08 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム
WO2018069992A1 (ja) 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム
WO2018116572A1 (ja) 2016-12-22 2018-06-28 オリンパス株式会社 内視鏡挿入形状観測装置
WO2018135041A1 (ja) 2017-01-17 2018-07-26 オリンパス株式会社 内視鏡挿入形状観測装置
WO2018180631A1 (ja) 2017-03-30 2018-10-04 富士フイルム株式会社 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法

Also Published As

Publication number Publication date
EP4070713A4 (en) 2022-12-28
JPWO2021111756A1 (ja) 2021-06-10
WO2021111756A1 (ja) 2021-06-10
EP4070713A1 (en) 2022-10-12
CN114554937A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
US11600385B2 (en) Medical image processing device, endoscope system, diagnosis support method, and program
JP6067264B2 (ja) 画像処理装置及び内視鏡装置
JP7170032B2 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
CN110913746B (zh) 诊断辅助装置、诊断辅助方法及存储介质
JP7135082B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
JP7166430B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP7374280B2 (ja) 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
CN114945314A (zh) 医疗图像处理装置、内窥镜系统、诊断辅助方法及程序
JPWO2020184257A1 (ja) 医用画像処理装置及び方法
JP6270967B2 (ja) 画像処理装置及び内視鏡装置
JP7335976B2 (ja) 内視鏡システム、制御プログラム、及び表示方法
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
JP6731065B2 (ja) 内視鏡システム及びその作動方法
JP6967493B2 (ja) 内視鏡の制御装置、内視鏡装置、内視鏡の状態識別方法、内視鏡の状態識別プログラム
JP7470776B2 (ja) 内視鏡システム、制御方法、及び制御プログラム
JP7470779B2 (ja) 内視鏡システム、制御方法、及び制御プログラム
CN114269221A (zh) 医疗图像处理装置、内窥镜系统、医疗图像处理方法以及程序
JP7236564B2 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2021176890A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
US20240074638A1 (en) Medical image processing apparatus, medical image processing method, and program
WO2022230607A1 (ja) 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法
US20220375089A1 (en) Endoscope apparatus, information processing method, and storage medium
WO2021199566A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
JP2023178526A (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230818

R150 Certificate of patent or registration of utility model

Ref document number: 7335976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150