JP6624705B2 - 内視鏡挿入形状観測装置 - Google Patents

内視鏡挿入形状観測装置 Download PDF

Info

Publication number
JP6624705B2
JP6624705B2 JP2018562871A JP2018562871A JP6624705B2 JP 6624705 B2 JP6624705 B2 JP 6624705B2 JP 2018562871 A JP2018562871 A JP 2018562871A JP 2018562871 A JP2018562871 A JP 2018562871A JP 6624705 B2 JP6624705 B2 JP 6624705B2
Authority
JP
Japan
Prior art keywords
operation information
unit
displayed
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018562871A
Other languages
English (en)
Other versions
JPWO2018135041A1 (ja
Inventor
中満 竹千代
竹千代 中満
憲輔 三宅
憲輔 三宅
晃 村田
晃 村田
勇 中嶋
勇 中嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2018135041A1 publication Critical patent/JPWO2018135041A1/ja
Application granted granted Critical
Publication of JP6624705B2 publication Critical patent/JP6624705B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005Flexible endoscopes
    • A61B1/0051Flexible endoscopes with controlled bending of insertion part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Description

本発明は、内視鏡の挿入状態を観測する内視鏡挿入形状観測装置に関するものである。
従来、被検体の内部の被写体を撮像する内視鏡と、内視鏡により撮像された被写体の観察画像を生成するビデオプロセッサと、ビデオプロセッサにより生成された観察画像を表示するモニタとを備えた内視鏡装置が、医療分野及び工業分野等において広く用いられている。しかしながら、観察画像では、内視鏡挿入部が被検体の内部にどのように挿入されているかを知ることができない。
そこで、内視鏡挿入時において内視鏡の挿入状態を知ることができる装置として、挿入部内に組み込まれた複数のソースコイルと、コイルブロックに配置された複数のセンスコイルから成る受信アンテナと、挿入部の挿入形状が表示されるモニタとを有する内視鏡挿入形状観測装置が開発されている。
内視鏡挿入部を被検体内に挿入していくと、内視鏡挿入部が挿入を阻害する形状、例えば、ループやステッキ形状となることがある。術者は、モニタに表示される挿入部の挿入形状を確認し、これらの状態を解除するように操作する。
例えば、日本国特開2007−54401号公報には、内視鏡の挿入形状を表示する装置であって、内視鏡の挿入形状、例えば、ループやステッキ状態の際に、それらを解除するための操作補助情報を表示する内視鏡挿入形状解析装置が開示されている。
しかしながら、モニタに表示する情報としては、挿入形状や特殊な状態を解除するための情報だけでは不足することがある。また、内視鏡挿入部の挿入位置や形状などの挿入状態によって表示したい操作情報も異なる。
そこで、本発明は、内視鏡挿入部の挿入位置に応じて最適な操作情報を表示することができる内視鏡挿入形状観測装置を提供することを目的とする。
本発明の一態様の内視鏡挿入形状観測装置は、被検体に挿入される挿入部の挿入形状を検出する挿入形状検出部と、前記挿入部の挿入操作する際に得られる操作者の右手操作及び左手操作に関する操作情報を算出する操作情報算出部と、第1の表示部に表示する前記操作者の右手操作及び左手操作に関する操作情報であって、前記挿入部の挿入長に応じて、前記挿入部の挿入操作が簡単な部位で表示する操作情報、または、挿入操作が難しい部位で表示する操作情報を生成する操作情報生成部と、前記操作情報生成部により生成された前記操作情報前記挿入形状検出部により検出された前記挿入形状とを前記第1の表示部に同時に表示するように制御し、かつ、前記挿入部の挿入長に応じて、前記挿入操作が簡単な部位で表示する操作情報または、前記挿入操作が難しい部位で表示する操作情報を前記第1の表示部に表示するように制御する第1の制御部と、を有する。
本発明の第1の実施の形態に係る内視鏡挿入形状観測装置を示すブロック図である。 図1の内視鏡挿入形状観測装置を含む医療システムの全体構成を示す構成図である。 内視鏡挿入形状観測装置の利用方法を説明するための説明図である。 プローブ21の具体的な構成の一例を示すブロック図である。 第1の実施形態の操作情報設定部41に設定される設定情報の一例を示す図である。 特定部位に到達した前後にモニタ50の表示画面に表示される表示画像を示す説明図である、 特定形状が発生した際にモニタ50の表示画面に表示される表示画像を示す説明図である。 第1の実施の形態の動作を説明するためのフローチャートである。 変形例の操作情報設定部41に設定される設定情報の一例を示す図である。 変形例に係る、モニタ50の表示画面に表示される表示画像の一例を示す説明図である。 変形例に係る、モニタ50の表示画面に表示される表示画像の一例を示す説明図である。 変形例に係る、モニタ50の表示画面に表示される表示画像の一例を示す説明図である。 変形例に係る、モニタ50の表示画面に表示される表示画像の一例を示す説明図である。 変形例に係る、モニタ50の表示画面に表示される表示画像の一例を示す説明図である。 変形例の動作を説明するためのフローチャートである。 第2の実施の形態に係る内視鏡挿入形状観測装置を示すブロック図である。 所定の時間経過後にモニタ50の表示画面に表示される表示画像を示す説明図である。 第2の実施の形態の動作を説明するためのフローチャートである。 モニタ50の表示画面に表示される表示画像を示す説明図である。 モニタ50の表示画面に表示される表示画像を示す説明図である。 モニタ50の表示画面に表示される表示画像を示す説明図である。 通過している特定部位に応じてモニタ50の表示画面に表示される表示画像を示す説明図である。 通過している特定部位に応じてモニタ50の表示画面に表示される表示画像を示す説明図である。 通過している特定部位に応じてモニタ50の表示画面に表示される表示画像を示す説明図である。 S状結腸を通過中にモニタ50の表示画面に表示される表示画像を示す説明図である。 S状結腸を通過中にモニタ50の表示画面に表示される表示画像を示す説明図である S状結腸を通過後にモニタ50の表示画面に表示される表示画像を示す説明図である。 第3の実施の形態に係る内視鏡挿入形状観測装置を示すブロック図である。 モニタ50の表示画面に表示される術者用の表示画像を示す説明図である。 モニタ110の表示画面に表示される指導医用の表示画像を示す説明図である。 挿入長または特定形状に応じて設定されるサイズ情報の一例を示す図である。 直腸を通過中にモニタ110の表示画面に表示される表示画像を示す説明図である。 S状結腸を通過中にモニタ110の表示画面に表示される表示画像を示す説明図である。 特定形状(ループ)が発生時にモニタ110の表示画面に表示される表示画像を示す説明図である。 直腸を通過中にモニタ110の表示画面に表示される表示画像を示す説明図である。 S状結腸を通過中にモニタ110の表示画面に表示される表示画像を示す説明図である。
以下、図面を参照して本発明の実施形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る内視鏡挿入形状観測装置を示すブロック図である。また、図2は図1の内視鏡挿入形状観測装置を含む医療システムの全体構成を示す構成図である。また、図3は内視鏡挿入形状観測装置の利用方法を説明するための説明図である。
本実施の形態は、内視鏡の挿入部の挿入位置に応じて操作情報を任意に変更して表示することで、挿入位置に応じた最適な情報を術者に提供するものである。
図2及び図3において、医療システム1は、内視鏡装置2と内視鏡挿入形状観測装置3とを含んで構成されている。内視鏡装置2は、内視鏡4と、光源装置11と、プロセッサ12と、モニタ5とを含む。内視鏡4は、被検体である被検体Pの体腔内に挿入される細長で可撓性を有する挿入部4bと、挿入部4bの基端に接続され、各種操作器が設けられた操作部4aと、操作部4aとプロセッサ12とを接続するためのケーブル4cとを有している。
図2では、これらの光源装置11及びプロセッサ12が医療用トロリー9上に載置されている例を示している。また、モニタ5は医療用トロリー9に設けられた可動式アームに取り付けられている。内視鏡4は医療用トロリー9のフックに掛止させておくことが可能である。
図3は挿入部4bが、検査用のベッド6上に横たわる被検体Pの肛門から大腸内に挿入されている状態を示している。図3では、術者Oが医療用トロリー9上のプロセッサ12にケーブル4cによって接続された内視鏡4の操作部4aと挿入部4bを把持している様子を示している。
光源装置11は、被検体を照明するための照明光を発生する。光源装置11からの照明光は、内視鏡4の挿入部4b内に挿通されたライトガイドによって挿入部4bの先端部に導かれて、挿入部4bの先端部から被検体に照射される。挿入部4bの先端部には図示しない撮像素子が配置されており、撮像素子の受光面には、被検体によって反射された被検体からの反射光(戻り光)が被写体光学像として結像するようになっている。撮像素子は、プロセッサ12によって駆動制御されて、被写体光学像を画像信号に変換してプロセッサ12に出力する。プロセッサ12は図示しない画像信号処理部を有しており、この画像信号処理部は撮像素子からの画像信号を受信して信号処理を行い、信号処理後の内視鏡画像をモニタ5に出力する。こうして、モニタ5の画面5a上に被検体の内視鏡画像5bが表示される。
挿入部4bの先端には湾曲部が設けられており、この湾曲部は、操作部4aに設けられた湾曲ノブ4dによって湾曲駆動されるようになっている。術者は、湾曲ノブ4dを操作して湾曲部を湾曲させながら、挿入部4bを体腔内へ押し込むことができる。
本実施の形態においては、挿入部4bの挿入状態を観測するための内視鏡挿入形状観測装置3は、制御ユニット10と、挿入状態検出用のプローブ21と、受信アンテナ7とモニタ50とによって構成される。内視鏡挿入形状観測装置3の制御ユニット10は医療用トロリー9上に載置され、挿入状態検出用のプローブ21は後述するように挿入部4bに挿入されている。受信アンテナ7は、ケーブル8cによって制御ユニット10に接続されている。
図4はプローブ21の具体的な構成の一例を示すブロック図である。図4に示すように、プローブ21は、挿入部4b内の図示しない処置具挿通チャンネル内に挿入される。プローブ21にはそのプローブ軸に沿って例えば所定の間隔で複数の送信コイル24−1,24−2,…(以下、個々を区別する必要がない場合には単に送信コイル24という)が取り付けられている。プローブ21を処置具挿通チャンネル内に挿通して、プローブ21の先端或いは後端を固定することにより、挿入部4bの軸方向に所定の間隔で複数の送信コイル24−1,24−2,…が配置されることになる。
なお、本実施の形態では、内視鏡4の処置具挿通チャンネル内にプローブ21を挿入固定することにより、内視鏡4の挿入部4b内に送信コイル24を組み込んでいるが、直接内視鏡4の挿入部4b内に送信コイル24を組み込んだものでも良い。
受信アンテナ7は、図示しない複数のコイルブロックを有しており、例えば、ベッド6の側方に配置される。受信アンテナ7の各コイルブロックは、それぞれのコイル面が直交するように3方向にそれぞれ巻回された例えば3個のセンスコイルによって構成されており、受信アンテナ7全体では、例えば4個のコイルブロック、即ち12個のセンスコイルが配置される。各センスコイルはそのコイル面に直交する軸方向成分の磁界の強度に比例した信号を検出するようになっている。例えば、コイルブロックは、発生している磁界を受信して電圧信号に変換し、検出結果として出力するようになっている。これらのプローブ21及び受信アンテナ7は、制御ユニット10によって動作状態制御される。
図1に示すように、制御ユニット10には、制御部31が設けられている。制御部31は、例えばCPU等を用いたプロセッサによって構成することができ、図示しないメモリに記憶されたプログラムに基づいて動作するものであってもよい。制御部31は、制御ユニット10の全体を制御する。なお、図示しないメモリには、制御部31の処理を記述したプログラムだけでなく後述する位置算出において用いるデータ等も記憶されている。
制御部31は、送信部32を制御する。送信部32は、例えばFPGA等によって構成されており、制御部31に制御されて、プローブ21において発生させる磁界の元となる波形データを用いてプローブ21を駆動するための例えば正弦波信号を発生して出力するようになっている。なお、送信部32は、制御部31に制御されて、プローブ21の各コイル24に個別に正弦波を供給することができるようになっている。即ち、制御部31において、プローブ21のいずれの送信コイル24に正弦波を供給するかを制御することができる。
各送信コイル24は、I/F25を介して制御ユニット10から高周波の正弦波がそれぞれ供給されるようになっている。各送信コイル24は高周波正弦波が印加されることで、磁界を伴う電磁波を周囲に放射する。なお、制御ユニット10は、適宜の時間間隔、例えば数m秒間隔で、各送信コイル24−1,24−2,…を順次駆動することができる。また、制御ユニット10は、各送信コイル24−1,24−2,…が磁界を発生するタイミングを個別に指定することができる。
受信アンテナ7は、センスコイルによって、送信コイル24が発生した磁界を受信して電圧信号に変換し、検出結果として出力する。受信アンテナ7の検出結果は制御ユニット10の受信部33に与えられる。受信部33は、受信アンテナ7からの信号に対して増幅処理等の所定の信号処理を施した後位置算出部34に出力する。
位置算出部34は、例えばDSPによって構成されており、入力されたデジタルデータに対して周波数抽出処理(フーリエ変換:FFT)を行い、各送信コイル24の高周波正弦波に対応する周波数成分の磁界検出情報に分離抽出し、分離した磁界検出情報の各デジタルデータからプローブ21に設けられた各送信コイル24の空間位置座標を算出する。位置算出部34による位置座標の算出結果はスコープモデル生成部35、挿入長算出部39及び操作情報算出部40に供給される。挿入形状検出部としてのスコープモデル生成部35は、各送信コイル24の位置座標を連結して線状の画像を挿入形状画像として生成する。スコープモデル生成部35が生成した挿入形状画像は、スコープモデル表示部36及び形状検出部38に与えられる。
形状検出部38は、スコープモデル生成部35からの挿入形状画像に基づいて、挿入部4bの体腔内における所定の形状を検出することができるようになっている。例えば、形状検出部38に直線形状、ステッキ形状、ループ形状、撓み形状等を示す形状パターンを記憶させておき、挿入形状画像がその形状パターンを形成しているかを検出するようにすることで、挿入部4bの形状が直線形状、ステッキ形状、ループ形状、撓み形状等のいずれの形状になっているかを検出できる。形状検出部38は検出した形状についての情報をスコープモデル表示部36及び操作情報生成部42に出力するようになっている。
挿入長算出部39は、体腔内に挿入されている挿入部4bの長さを算出する。各送信コイル24のうち位置算出部34において検出された位置座標が肛門位置座標に相当する送信コイル24が配置されている挿入部4bの部分が肛門に位置することになり、当該コイル24の位置から挿入部4bの先端までが、体腔内に挿入されていることになる。挿入部4bに挿入されている各送信コイル24の挿入部4b先端からの位置は既知であり、挿入長算出部39は、肛門位置に位置するコイル24の位置から挿入部4bの先端までの長さを挿入長として算出する。挿入長算出部39は、算出した挿入長(例えば1cm単位の挿入長)の情報をスコープモデル表示部36及び操作情報生成部42に出力するようになっている。
被検体Pの肛門の位置を設定するために、例えば、マーカ43を採用する。マーカ43は図示しない送信コイルを内蔵しており、この送信コイルには送信部32から高周波正弦波が印加されるようになっている。マーカ43は、送信部32から高周波正弦波が印加されると磁界を発生する。この磁界は受信アンテナ7によって受信され、受信アンテナ7の検出結果が受信部33を介して位置算出部34に供給される。これにより、位置算出部34は、計測座標系におけるマーカ43の位置座標を取得することができる。
操作情報算出部40は、挿入部4bの挿入操作の際に得られる挿入操作に関する操作情報を算出する。操作情報算出部40は、位置算出部34が算出した位置座標から挿入操作に関する操作情報を算出する。操作情報算出部40が算出する操作情報は、「上下アングル方向」、「左右アングル方向」、「左手操作方向(捻り)&操作量」、「右手操作方向(捻り)&操作量」、「先端速度」、「先端方向ベクトル」、「最大曲率」及び「奥行き」の8個の項目である。なお、「左手操作方向(捻り)&操作量」、「右手操作方向(捻り)&操作量」は、内視鏡を進める上で重要な手の捻り操作を可視化したものであり、例えば、位置算出部34の位置座標から算出された送信コイル24の角速度(rad/s)の方向と大きさなどで表現するようにしても良い。また、捻り操作に限る必要はなく、例えば、位置算出部34の位置座標から算出された送信コイル24の移動量の方向と大きさを用いて、手の押し操作/引き操作の向きと大きさも表示するようにしても良い。なお、操作情報算出部40が算出する操作情報は、上述した8個の項目に限定されるものではない。操作情報算出部40は、算出した操作情報を操作情報生成部42に出力するようになっている。
操作情報設定部41には、挿入部4bの挿入位置に応じてモニタ50に表示する操作情報が関連付けて設定されている。
図5は、第1の実施形態の操作情報設定部41に設定される設定情報の一例を示す図である。
大腸検査では、挿入部を肛門から、直腸、S状結腸、下行結腸、下行結腸脾湾曲部、横行結腸、上行結腸肝湾曲部、及び、盲腸の順に挿入する。そのため、図5に示す設定情報60には、部位として、直腸、S状結腸、下行結腸、下行結腸脾湾曲部、横行結腸、上行結腸肝湾曲部、及び、盲腸を含む。設定情報60には、各部位と、挿入長と、表示する操作情報とが対応付けられている。
挿入部4bが特定形状、例えば、ループ形状、撓み形状等のなった場合、その特定形状を解除し、一度挿入部4bをニュートラルな状態(特定形状でない状態)に戻す必要がある。そのため、設定情報60には、挿入部4bの特定形状と表示する操作情報が対応付けられている。
操作情報設定部41の設定情報60は、操作パネル37からの操作信号を受け取った制御部31が設定する。操作パネル37は、術者等によるユーザ操作を受け付け、ユーザ操作に基づく操作信号を制御部31に出力することができるようになっている。この操作パネル37によって術者は特定部位または特定形状に応じて表示する操作情報を任意に設定することができるようになっている。操作情報設定部41は、このように設定された設定情報60を操作情報生成部42に出力するようになっている。
操作情報生成部42は、挿入長算出部39により算出された挿入長及び操作情報設定部41からの設定情報60に応じて、モニタ50に表示する操作情報を生成し、スコープモデル表示部36に出力する。例えば、操作情報生成部42は、挿入長算出部39により算出された挿入長が2cmの場合、設定情報60を参照し、挿入部4bが挿入されている部位が直腸と判断する。そして、操作情報生成部42は、設定情報60を参照し、「上下アングル方向」及び「左右アングル方向」の2個の項目の操作情報を生成し、スコープモデル表示部36に出力する。
また、操作情報生成部42は、形状検出部38により検出された挿入部4bの形状が特定形状(ループ形状、撓み形状)の場合、「左手操作方向(捻り)&操作量」、「右手操作方向(捻り)&操作量」、「先端速度」、「先端方向ベクトル」、「最大曲率」及び「奥行き」の6個の項目の操作情報を生成し、スコープモデル表示部36に出力する。
このように、スコープモデル表示部36には、スコープモデル生成部35により生成された挿入形状画像、形状検出部38により検出された特定形状の情報、挿入長算出部39により算出された挿入長の情報、及び、操作情報生成部42により生成された操作情報が与えられる。
第1の制御部としてのスコープモデル表示部36は、スコープモデル生成部35により生成された挿入形状画像、及び、操作情報生成部42により生成された操作情報をモニタ50(第1の表示部)に同時に表示するように制御する。また、スコープモデル表示部36は、挿入長算出部39により算出された挿入長の情報、または、形状検出部38により検出された特定形状の情報を挿入形状画像及び操作情報と同時に表示するように制御する。
ここで、スコープモデル表示部36によりモニタ50に表示される表示画像について説明する。図6Aは特定部位に到達した前後にモニタ50の表示画面に表示される表示画像を示す説明図であり、図6Bは特定形状が発生した際にモニタ50の表示画面に表示される表示画像を示す説明図である。
まず、図6Aを用いて、特定部位に到達した前後の表示画像について説明する。ここでは、挿入長算出部39により算出された挿入長が2cmの場合について説明する。
スコープモデル表示部36には、スコープモデル生成部35により生成された挿入形状70の情報が入力される。
また、操作情報生成部42は、挿入長算出部39により算出された挿入長の情報に基づいて設定情報60を参照し、表示する操作情報を判定する。操作情報生成部42は、例えば挿入長が2cmの場合、設定情報60から「上下アングル方向」及び「左右アングル方向」を表示すると判定する。操作情報生成部42は、操作情報算出部40により算出された操作情報から、「上下アングル方向」及び「左右アングル方向」の操作情報を生成し、スコープモデル表示部36に出力する。すなわち、スコープモデル表示部36には、図6Aに示す操作情報71が入力される。
さらに、スコープモデル表示部36には、挿入長算出部39により算出された挿入長72の情報が入力される。
スコープモデル表示部36は、入力された挿入形状70、操作情報71及び挿入長72の情報を同時に表示するための表示画像を生成し、モニタ50に出力することで、図6Aに示す表示画像をモニタ50に表示するように制御する。なお、スコープモデル表示部36は、挿入形状70、操作情報71及び挿入長72の3つの情報を同時にモニタ50に表示しているが、これに限定されることなく、例えば、挿入形状70及び操作情報71の2つの情報を同時にモニタ50に表示するようにしてもよい。
次に、図6Bを用いて、特定形状を検出した際の表示画像について説明する。ここでは、形状検出部38により検出された形状がループ形状の場合について説明する。
スコープモデル表示部36には、スコープモデル生成部35により生成された挿入形状70の情報が入力される。
また、操作情報生成部42は、形状検出部38により検出された形状の情報に基づいて設定情報60を参照し、表示する操作情報を判定する。操作情報生成部42は、例えば形状検出部38により検出された形状がループ形状の場合、設定情報60から「左手操作方向(捻り)&操作量」、「右手操作方向(捻り)&操作量」、「先端速度」、「先端方向ベクトル」、「最大曲率」及び「奥行き」操作情報を生成し、スコープモデル表示部36に出力する。すなわち、スコープモデル表示部36には、図6Bに示す操作情報71が入力される。
さらに、スコープモデル表示部36には、形状検出部38により検出された特定形状73の情報が入力される。
スコープモデル表示部36は、入力された挿入形状70、操作情報71及び特定形状73の情報を同時に表示するための表示画像を生成し、モニタ50に出力することで、図6Bに示す表示画像をモニタ50に表示するように制御する。
次に、このように構成された実施の形態の動作について図7を参照して説明する。図7は第1の実施の形態の動作を説明するためのフローチャートである。
まず、操作情報設定部41の設定情報60が操作情報生成部42に設定され(S1)、検査モードが開始されたか否かが判定される(S2)。操作情報設定部41に設定された設定情報60は、操作情報生成部42に入力される。制御部31は、検査モードが開始されていないと判定した場合(S2:NO)、S2に戻り同様の処理を繰り返す。一方、制御部31は、検査モードが開始されたと判定した場合(S2:YES)、S3に進む。
次に、挿入長算出部39によって挿入長が取得され(S3)、挿入長が0より大きいか否かが判定される(S4)。挿入長算出部39によって取得された挿入長の情報は、スコープモデル表示部36及び操作情報生成部42に入力される。挿入長が0より大きくないと判定された場合(S4:NO)、S3に戻り同様の処理を繰り返す。一方、挿入長が0より大きいと判定された場合(S4:YES)、操作情報算出部40によって操作情報が算出される(S5)。算出された操作情報は、スコープモデル表示部36及び操作情報生成部42に入力される。
次に、形状検出部38によって検出された形状の情報が操作情報生成部42に入力される。操作情報生成部42は、形状検出部38によって検出された形状が特定形状か否かを判定する(S6)。
操作情報生成部42は、形状検出部38によって検出された形状が特定形状でないと判定した場合(S6:NO)、挿入長と設定情報60の内容を比較し(S7)、挿入長に応じた操作情報を選択する(S8)。操作情報生成部42は、設定情報60を参照することで、挿入長に応じた操作情報(図6Aに示す操作情報71)を選択する。すなわち、操作情報生成部42は、図5の設定情報60を参照することで、挿入長に応じて最適な操作情報を選択することができる。
例えば、挿入長が0から10cmの場合、挿入部4bを挿入している部位が、屈曲が弱く、腹部に固定されているため挿入操作が簡単な直腸であり、設定情報60の設定内容に応じて2つの操作情報が生成される。一方、挿入長が11から35cmの場合、挿入部4bを挿入している部位が、屈曲が強く、腹部に固定されずにぶらぶらした状態であるために挿入操作が難しいS状結腸であり、設定情報60の設定内容に応じて7つの操作情報が生成される。挿入長に応じて選択された操作情報は、スコープモデル表示部36に入力される。
一方、操作情報生成部42は、形状検出部38によって検出された形状が特定形状であると判定した場合(S6:YES)、特定形状に応じた設定情報を選択する(S9)。操作情報生成部42は、設定情報60を参照することで、特定形状に応じた操作情報(図6Bに示す操作情報)を選択する。特定形状に応じて選択された操作情報は、スコープモデル表示部36に入力される。
次に、スコープモデル表示部36は、入力された情報から表示画像を生成し、モニタ50に表示する(S10)。次に、制御部31は、挿入長が0以下になったか否かを判定する(S11)。制御部31は、挿入長が0以下になっていないと判定した場合(S11:NO)、S3に戻り同様の処理を繰り返す。一方、制御部31は、挿入長が0以下になったと判定した場合(S11:YES)、処理を終了する。
なお、スコープモデル表示部36は、挿入部4bが大腸に挿入されているときのみ表示画像を生成してモニタ50に表示し、挿入部4bが大腸から引き抜かれているときには表示画像を生成しないようにしてもよい。すなわち、スコープモデル表示部36は、挿入部4bが大腸に挿入されている検査中のみ、図6Aまたは図6Bに示す表示画像を生成する。そして、スコープモデル表示部36は、検査が終了して挿入部4bが大腸から引き抜かれているときには、図6Aまたは図6Bに示す表示画像を生成しないようにしてもよい。例えば、スコープモデル表示部36は、挿入長が所定時間、増加している場合、検査中であると判定し、挿入長が所定の時間、減少している場合、検査が終了したと判定する。
以上のように、本実施の形態においては、内視鏡挿入形状観測装置3は、操作情報設定部41に設定される設定情報60と挿入長算出部39によって算出された挿入長とに応じて、生成する操作情報を変更するようにした。この結果、内視鏡挿入形状観測装置3は、挿入部4bが挿入されている部位が挿入操作の簡単な部位と、挿入操作が難しい部位とに応じてモニタ50に表示する操作情報を変更することができる。
よって、本実施の形態の内視鏡挿入形状観測装置によれば、内視鏡挿入部の挿入位置に応じて最適な操作情報を表示することができる。
また、本実施の形態においては、内視鏡挿入形状観測装置3は、操作情報設定部41に設定される設定情報60と形状検出部38によって検出された特定形状とに応じて、生成する操作情報を変更するようにしている。この結果、内視鏡挿入形状観測装置3は、挿入部4bの形状が挿入困難な特定形状となった際に、特定形状を解除するための解除操作に必要な操作情報をモニタ50に表示することができる。
(変形例)
第1の実施の形態では、挿入形状から術者の挿入性向上につながる情報(操作情報)の提供を目的としているため、指導医が必要としない情報が表示される、または、指導医が必要とする情報が表示されないことがある。そのため、例えば、指導医が研修医あるいは経験の少ない医師を指導する場合、指導医は、必要とする情報の探索や内容の把握に時間がかかる、あるいは、必要な情報が得られない可能性がある。
そこで、変形例では、挿入位置によって指導医の必要とする操作情報のみを表示することができる内視鏡挿入形状観測装置について説明する。
変形例の内視鏡挿入形状観測装置の全体構成は、第1の実施の形態の内視鏡挿入形状観測装置3と同一である。変形例では、操作情報設定部41に設定される操作情報が第1の実施の形態と異なる。図8は、変形例の操作情報設定部41に設定される設定情報の一例を示す図である。また、図9A〜図9Eは、変形例に係る、モニタ50の表示画面に表示される表示画像の一例を示す説明図である。
指導医は、操作パネル37を用いて、挿入部4bが特定部位に到達前後、および、特定形状を形成した際に表示する操作情報の項目を設定する。この操作情報は、制御部31の制御によって操作情報設定部41に設定される。これにより、図8に示す指導医用の設定情報61が操作情報設定部41に設定される。例えば操作パネル37を用いて、指導医表示モードに変更された場合、操作情報設定部41に設定された指導医用の設定情報61が操作情報生成部42に入力される。
操作情報生成部42は、指導医用の設定情報61と挿入長とに応じて、対応する操作情報71Aをスコープモデル表示部36Aに出力し、図9Aのようにモニタ50へ表示する。あるいは、操作情報生成部42は、指導医用の設定情報61と特定形状とに応じて、対応する操作情報71Aを生成して、スコープモデル表示部36に出力し、図9Bのようにモニタ50へ表示する。その他の構成は、第1の実施形態と同様である。
なお、指導医用の設定情報61に加え、図5に示す術者用の設定情報60を操作情報設定部41に設定し、術者用の設定情報60及び指導医用の設定情報61が操作情報生成部42に入力されるようにしてもよい。これにより、図9Cと図9Dのように、術者用の設定情報60から生成される操作情報71と、指導医用の設定情報61から生成される操作情報71Aとをモニタ50bに同時に表示して、術者と指導医が個別に操作情報を確認できるようにしても良く、また操作情報71Aの表示内容を操作情報71より大きく表示したり、色を変えたりするなど、操作情報71と操作情報71Aの表示方法を異なるようにしても良い。また、操作情報71と操作情報71Aの情報内容を比較し、その結果に応じて表示方法を決定するようにしても良く、例えば図9Cのように操作情報71と操作情報71Aの情報が少ない場合は、図9Eのように設定情報60と設定情報61の内容からの差分を操作情報71Bに表示するなどして、表示エリアを有効に活用できるような表示にしても良い。
次に、このように構成された変形例の動作について図10を参照して説明する。図10は変形例の動作を説明するためのフローチャートである。なお、図10において、図7と同様の処理については、同一の符号を付して説明を省略する。
まず、制御部31は、指導医表示モードか否かを判定する(S21)。制御部31は、指導医表示モードでないと判定した場合(S21:NO)、処理を終了する。一方、制御部31は、指導医表示モードであると判定した場合(S21:YES)、操作情報設定部41の指導医用の設定情報61を操作情報生成部42に設定する(S22)。
その後、S3において、検査モードが開始されると、第1の実施の形態と同様に、指導医用の設定情報61と挿入長、あるいは、指導医用の設定情報61と特定形状に応じて表示する操作情報が選択される。そして、選択された操作情報を含む表示画像が生成され、モニタ50に表示されることになる。
以上のように、本変形例においては、内視鏡挿入形状観測装置3は、指導医が必要とする操作情報を特定部位あるいは特定形状に応じて選択してモニタ50に表示することができる。これにより、指導医は、操作情報の探索、内容の把握に要する時間が短縮でき、表示内容の見逃しも少なくなる。この結果、指導医は、研修医等に対して、より適切な指摘を、従来よりも即時にアドバイスすることができるようになる。
(第2の実施の形態)
次に、第2の実施の形態について説明する。
モニタ50に表示される操作情報71は、時間の経過に伴い表示が順次切り替えられる。そのため、例えば指導医は、必要な操作情報を見逃すことがあった。そこで、本実施の形態では、リアルタイムの操作情報と過去の操作情報とを同時に表示する内視鏡挿入形状観測装置について説明する。なお、本実施の形態では、指導医モードでの制御について説明するが、指導医モードに限定されるものではない。
図11は第2の実施の形態に係る内視鏡挿入形状観測装置を示すブロック図である。なお、図11において、図1と同様の構成については同一の符号を付して説明を省略する。
本実施の形態の内視鏡挿入形状観測装置3は、図1の制御ユニット10に対して操作情報記録部80が追加された制御ユニット10aを有して構成されている。
操作情報生成部42は、生成したリアルタイムの操作情報と現在の時間とを関連付けて操作情報記録部80に記録する。操作情報生成部42は、所定の時間が経過した後、リアルタイムの操作情報と所定の時間前の操作情報(過去の操作情報)とを生成し、スコープモデル表示部36に出力する。この所定の時間は、例えば指導医等のユーザが操作パネル37を用いて任意の時間に設定することができる。制御部31は、操作パネル37からの操作信号に応じて、所定の時間を設定する。
例えば、所定の時間が3秒に設定された場合、操作情報生成部42は、操作情報記録部80に記録された3秒前の操作情報を読み出し、生成したリアルタイムの操作情報と、操作情報記録部80から読み出した3秒前の操作情報とをスコープモデル表示部36に出力する。
スコープモデル表示部36は、リアルタイムの操作情報、過去の操作情報、上述した挿入形状、及び、挿入長の情報を同時に表示するための表示画像を生成し、モニタ50に出力する。
図12は所定の時間経過後にモニタ50の表示画面に表示される表示画像を示す説明図である。なお、図12において、図6Aと同様の構成については、同一の符号を付している。
操作情報生成部42は、挿入長算出部39により算出された挿入長の情報に基づいて設定情報61を参照し、表示する操作情報を判定する。例えば、挿入長が33cmの場合、特定部位がS状結腸となり、「上下アングル方向」、「左右アングル方向」、「左手操作方向(捻り)&操作量」、及び、「右手操作方向(捻り)&操作量」の操作情報71(リアルタイムの操作情報)を生成する。また、操作情報生成部42は、操作情報記録部80から所定の時間前の操作情報81を読み出す。操作情報生成部42は、生成したリアルタイムの操作情報71及び操作情報記録部80から読み出した過去の操作情報81を生成し、スコープモデル表示部36に出力する。
さらに、スコープモデル表示部36には、スコープモデル生成部35により生成された挿入形状70の情報、及び、挿入長算出部39により算出された挿入長72の情報が入力される。
スコープモデル表示部36は、入力された挿入形状70、リアルタイムの操作情報71、過去の操作情報81及び挿入長72の情報を同時に表示するための表示画像を生成し、モニタ50に出力することで、図12に示す表示画像をモニタ50に表示するように制御する。
次に、このように構成された実施の形態の動作について図13、図14A、図14B及び図14Cを参照して説明する。図13は第2の実施の形態の動作を説明するためのフローチャートである。図14A、図14B及び図14Cはモニタ50の表示画面に表示される表示画像を示す説明図である。
まず、制御部31は、過去の操作情報81を表示する過去操作表示モードか否かを判定する(S31)。制御部31は、過去操作表示モードでないと判定した場合(S31:NO)、処理を終了する。一方、制御部31は、過去操作表示モードであると判定した場合(S31:YES)、所定の時間(T)を設定する(S32)。この所定の時間(T)は、リアルタイム表示から何秒前のステータス(操作情報)を表示するかを設定するものであり、操作パネル37を用いて任意の時間に設定することができる。
次に、検査モードが開始されたか否かが判定される(S33)。制御部31は、検査モードが開始されていないと判定した場合(S33:NO)、S33に戻り同様の処理を繰り返す。一方、制御部31は、検査モードが開始されたと判定した場合(S33:YES)、S34に進む。
操作情報生成部42は、時間(t)をカウントし(S4)、リアルタイムの操作情報71と時間(t)を関連付けて操作情報記録部80に登録する(S35)。例えば、t=0の場合、図14Aに示すように、リアルタイムの操作情報及び過去の操作情報81は何も表示されていない。
次に、操作情報生成部42は、時間(t)−所定の時間(T)が0より大きいか否かを判定する。操作情報生成部42は、時間(t)−所定の時間(T)が0より大きくないと判定した場合(S36:NO)、S34に戻り同様の処理を繰り返す。例えば、所定の時間(T)が3秒に設定され、時間(t)が1秒の場合、S34に戻り、S34及びS35の処理が実行され続けることになる。この場合、図14Bに示すように、モニタ50には、リアルタイムの操作情報71が表示され、過去の操作情報81は何も表示されない。
一方、操作情報生成部42は、時間(t)−所定の時間(T)が0より大きいと判定した場合(S36:YES)、時間(t)−所定の時間(T)の過去の操作情報81を操作情報記録部80から読み出す(S37)。この読み出された過去の操作情報81は、リアルタイムの操作情報71とともにスコープモデル表示部36に入力される。
スコープモデル表示部36は、時間(t)−所定の時間(T)の過去の操作情報81をモニタに表示する(S38)。これにより、図14Cに示すように、リアルタイムの操作情報71と過去の操作情報81とが同時に表示されるようになる。
次に、制御部31は、検査モードが終了したか否かを判定する(S39)。制御部31は、検査モードが終了していないと判定した場合(S39:NO)、S34に戻り同様の処理を繰り返す。一方、制御部31は、検査モードが終了したと判定した場合(S39:YES)、処理を終了する。
以上のように、本実施の形態においては、内視鏡挿入形状観測装置3は、所定の時間が経過した後、リアルタイムの操作情報71と過去の操作情報81とを同時に表示するようにした。この結果、指導医は、表示の切り替えによって見逃した情報を所定の時間が経過した後に確認することができる。
(変形例)
第2の実施の形態では、モニタ50に過去の操作情報81を常に表示するようにしていたが、これに限定されるものではない。例えば、操作情報生成部42は、挿入部4bが通過している特定部位に応じて、過去の操作情報81の表示のONまたはOFFを切り替えるようにしてもよい。
図15A、図15B及び図15Cは通過している特定部位に応じてモニタ50の表示画面に表示される表示画像を示す説明図である。
操作情報生成部42は、挿入長の情報に応じて、挿入部4bが通過している部位が直腸であると判定した場合、リアルタイムの操作情報71を生成してスコープモデル表示部36に出力する。これにより、モニタ50には、図15Aに示すように、挿入形状70及び挿入長72の情報に加えて、リアルタイムの操作情報71が表示される。
また、操作情報生成部42は、挿入長の情報に応じて、挿入部4bが通過している部位がS状結腸であると判定した場合、リアルタイムの操作情報71と所定の時間前の過去の操作情報81とを生成してスコープモデル表示部36に出力する。これにより、モニタ50には、図15Bに示すように、挿入形状70及び挿入長72の情報に加えて、リアルタイムの操作情報71及び過去の操作情報81が表示される。
また、操作情報生成部42は、挿入長の情報に応じて、挿入部4bが通過している部位が下行結腸であると判定した場合、リアルタイムの操作情報71を生成してスコープモデル表示部36に出力する。これにより、モニタ50には、図15Cに示すように、挿入形状70及び挿入長72の情報に加えて、リアルタイムの操作情報71が表示される。
このように、スコープモデル表示部36は、挿入部4bの通過している特定部位が、挿入操作が簡単な直腸あるいは下行結腸の場合、リアルタイムの操作情報71のみをモニタ50に表示するように制御する。一方、スコープモデル表示部36は、挿入部4bの通過している特定部位が、屈曲が強く、挿入操作が難しいS状結腸の場合、リアルタイムの操作情報71と過去の操作情報81とをモニタ50に表示するように制御する。
また、操作情報生成部42は、挿入部4bが特定部位を通過後に、特定部位を通過していた時の過去の操作情報を一括でモニタ50に表示するようにしてもよい。
図16A及び図16BはS状結腸を通過中にモニタ50の表示画面に表示される表示画像を示す説明図であり、図16Cは、S状結腸を通過後にモニタ50の表示画面に表示される表示画像を示す説明図である。
操作情報生成部42は、挿入長の情報に応じて、挿入部4bがある特定部位、例えばS状結腸を通過中にはリアルタイムの操作情報71を生成してスコープモデル表示部36に出力する。すなわち、スコープモデル表示部36は、挿入長が11cmから35cmの間は、図16A及び図16Bに示すように、挿入形状70及び挿入長72の情報に加えて、リアルタイムの操作情報71を表示するように制御する。
そして、操作情報生成部42は、挿入長の情報に応じて、挿入部4bがS状結腸を通過したと判定した場合、リアルタイムの操作情報71に加え、S状結腸を通過中の過去の操作情報の全てを操作情報記録部80から読み出し、スコープモデル表示部36に出力する。
スコープモデル表示部36は、挿入長が36cm(挿入部4bが下行結腸を通過中)になると、S状結腸を通過中の少なくとも一つ以上の過去の操作情報81a、81b、・・・、81nを一括してモニタ50に表示するように制御する。この結果、モニタ50には、図16Cに示すように、挿入形状70、挿入長72の情報及びリアルタイムの操作情報71に加え、S状結腸を通過中の過去の操作情報81a、81b、・・・、81nが全て表示されることになる。
これにより、指導医は、ある特定部位を通過させている際の術者による一連の操作をモニタ50により確認することができる。例えば、指導医は、この一連の操作を確認することで、術者が検査対象の曲部突入から通過するまでの間に適切な操作を実施したかを確認することができる。
(第3の実施の形態)
次に、第3の実施の形態について説明する。
図17は第3の実施の形態に係る内視鏡挿入形状観測装置を示すブロック図である。なお、図17において、図1と同様の構成については同一の符号を付して説明を省略する。
本実施の形態の内視鏡挿入形状観測装置3は、図1の制御ユニット10に代わり、制御ユニット10bを用いて構成されている。この制御ユニット10bには、プロセッサ12、モニタ110及び室内カメラ120が接続されている。また、制御ユニット10bは、図1の制御ユニット10に対して、指導医モニタ画像生成部100が追加されて構成されている。
指導医モニタ画像生成部100には、プロセッサ12により生成された被検体の内視鏡画像5bが入力される。また、室内カメラ120は、術者(研修医等)の手元の画像、すなわち、術者の左手及び右手の操作画像121a及び121b(後述する図18B参照)を撮影する。指導医モニタ画像生成部100には、室内カメラ120により撮影された術者の操作画像が入力される。また、指導医モニタ画像生成部100には、操作情報設定部41から指導医用の設定情報61が入力される。さらに、指導医モニタ画像生成部100には、操作情報生成部42により生成された操作情報、及び、スコープモデル表示36により生成された表示画像の情報が入力される。
指導医モニタ画像生成部100は、入力された各情報に基づいて、指導医用の表示画像を生成してモニタ110に出力する。これにより、モニタ110には、指導医用の表示画像が表示される。
このように、本実施の形態では、モニタ50が研修医等の術者用のモニタとなり、モニタ110が指導医用のモニタとなっている。そして、モニタ50に研修医等の術者用の表示画像を表示し、モニタ110に指導医用の表示画像を表示するようになっている。ここで、モニタ50及びモニタ110に表示される表示画像について説明する。
図18Aはモニタ50の表示画面に表示される術者用の表示画像を示す説明図であり、図18Bはモニタ110の表示画面に表示される指導医用の表示画像を示す説明図である。
モニタ50には、図18Aに示すように、第1の実施の形態と同様に、挿入形状70、操作情報71、挿入長72の情報が表示される。ただし、本実施の形態では、図17に示すように、操作情報生成部42に操作情報設定部41が術者用の設定情報60(図5参照)が入力されていない。そのため、操作情報生成部42は、操作情報算出部40により算出された8個の操作情報71を生成してスコープモデル表示部36に出力する。これにより、スコープモデル表示部36により図18Aに示す表示画像が生成され、モニタ50に表示される。
モニタ110には、図18Bに示すように、被検体の内視鏡画像5b、術者の左手の操作画像121a、術者の右手の操作画像121b、挿入形状70及び指導医用の操作情報82が表示される。被検体の内視鏡画像5bはプロセッサ12から指導医モニタ画像生成部100に入力され、術者の左手及び右手の操作画像121a及び121bは室内カメラ120から指導医モニタ画像生成部100に入力される。
また、挿入形状70は、スコープモデル表示部36から指導医モニタ画像生成部100に入力される表示画像の情報に含まれている。
さらに、操作情報生成部42から8個の操作情報71が指導医モニタ画像生成部100に入力される。また、指導医モニタ画像生成部100には、操作情報設定部41に設定された指導医用の設定情報61が入力される。また、挿入長または特定形状の情報は、スコープモデル表示部36から指導医モニタ画像生成部100に入力される表示画像の情報に含まれている。
指導医モニタ画像生成部100は、挿入長または特定形状の情報に応じて設定情報61を参照し、モニタ110に表示する指導医用の操作情報82を選択する。図18Bの例では、挿入長から特定部位がS状結腸と判定され、操作情報82として「上下アングル方向」、「左右アングル方向」、「左手操作方向(捻り)&操作量」、及び、「右手操作方向(捻り)&操作量」の4個の情報が選択されている。
指導医モニタ画像生成部100は、被検体の内視鏡画像5b、術者の左手及び右手の操作画像121a及び121b、挿入形状70及び指導医用の操作情報82を図18Bに示す配置となる表示画像を生成し、モニタ110に出力する。なお、被検体の内視鏡画像5b、術者の左手及び右手の操作画像121a及び121b、挿入形状70及び指導医用の操作情報82の配置は、図18Bに示す配置に限定されるものではない。このように、第2の制御部としての指導医モニタ画像生成部100は、被検体の内視鏡画像5b、術者の左手及び右手の操作画像121a及び121b、挿入形状70及び指導医用の操作情報82をモニタ110(第2の表示部)に同時に表示するように制御する。
従来では、指導医は、術者の操作状態を確認するために術者の手元を見たり、内視鏡画像5bを確認するためにモニタ5を見たりして、操作情報が表示されるモニタ50から視線を外すことがあった。
これに対して、本実施の形態では、指導医用のモニタ110に被検体の内視鏡画像5b、術者の左手及び右手の操作画像121a及び121b、挿入形状70及び指導医用の操作情報82を表示するようにしている。この結果、指導医は、術者の操作状態または内視鏡画像5bを確認するために操作情報82から視線を外す必要がなくなり、術者の全操作を容易に把握することができる。さらに、指導医は、操作情報82が表示されているモニタ110から視線を外す必要なくなるため、操作情報82の見逃しを防止することができる。
なお、指導医モニタ画像生成部100は、挿入長または特定形状に応じて、内視鏡画像5b、術者の左手及び右手の操作画像121a及び121b、挿入形状70及び指導医用の操作情報82の表示サイズを適切に変更するようにしてもよい。表示サイズの情報は、例えば、操作パネル37を用いて設定し、制御部31の制御によって操作情報設定部41に設定される。
図19は、挿入長または特定形状に応じて設定されるサイズ情報の一例を示す図である。また、図20Aは直腸を通過中にモニタ110の表示画面に表示される表示画像を示す説明図であり、図20BはS状結腸を通過中にモニタ110の表示画面に表示される表示画像を示す説明図であり、図20Cは特定形状(ループ)が発生時にモニタ110の表示画面に表示される表示画像を示す説明図である。
挿入部4bが直腸を通過しているときは術者の両手の動きが激しくないため、指導医は全ての情報を均等に見る必要がある。そのため、図19のサイズ情報130に示すように、内視鏡画像5bのサイズ、挿入形状70のサイズ、操作情報82のサイズ、及び、術者の左手及び右手の操作画像121a及び121bのサイズは全て標準に設定されている。
指導医モニタ画像生成部100は、サイズ情報130に基づいて、図20Aに示すように、内視鏡画像5b、挿入形状70、操作情報82、及び、術者の左手及び右手の操作画像121a及び121bの表示サイズを標準のサイズでモニタ110に表示するように制御する。
また、挿入部4bがS状結腸を通過しているときは術者の両手の動きが激しいため、指導医は操作情報82及び術者の左手及び右手の操作画像121a及び121bを特に見る必要がある。そのため、図19のサイズ情報130に示すように、内視鏡画像5bのサイズ及び挿入形状70のサイズは小さく設定され、操作情報82のサイズ及び術者の左手及び右手の操作画像121a及び121bのサイズは大きく設定されている。
指導医モニタ画像生成部100は、サイズ情報130に基づいて、図20Bに示すように、内視鏡画像5b及び挿入形状70の表示サイズを小さいサイズ、操作情報82及び術者の左手及び右手の操作画像121a及び121bの表示サイズを大きいサイズでモニタ110に表示するように制御する。
また、挿入部4bが特定形状(ループ)を形成している場合、指導医は挿入形状70及び術者の左手及び右手の操作画像121a及び121bを特に見る必要がある。そのため、図19のサイズ情報130に示すように、内視鏡画像5bのサイズ及び操作情報82のサイズは小さく設定され、挿入形状70のサイズ及び術者の左手及び右手の操作画像121a及び121bのサイズは大きく設定されている。
指導医モニタ画像生成部100は、サイズ情報130に基づいて、図20Cに示すように、内視鏡画像5b及び操作情報82の表示サイズを小さいサイズ、挿入形状70及び術者の左手及び右手の操作画像121a及び121bの表示サイズを大きいサイズでモニタ110に表示するように制御する。
このように、本実施の形態の内視鏡挿入形状観測装置3は、挿入部4bが通過している特定部位あるいは挿入部4bの特定形状に応じて、指導医に必要な情報を拡大して表示することができるため、指導医は必要な情報をより把握し易くなる。
なお、本実施の形態では、特定部位あるいは特定形状に応じて、内視鏡画像5b、挿入形状70、操作情報82、及び、術者の左手及び右手の操作画像121a及び121bの表示サイズを変更するようにしているが、これに限定されるものではなく、例えば、挿入部4bの挿入形状70に応じて表示サイズを変更するようにしてもよい。
また、本実施の形態では、表示サイズは「小さい」、「標準」、「大きい」の3つのサイズであるが、これに限定されることなく、例えば、2つ、あるいは、4つ以上のサイズであってもよい。
さらにまた、本実施の形態では、指導医用のモニタ110に、内視鏡画像5b、挿入形状70、操作情報82、及び、術者の左手及び右手の操作画像121a及び121bを表示しているが、例えば、特定部位あるいは特定形状に応じて、モニタ110に表示する情報を変更するようにしてもよい。例えば、直腸を通過中、あるいは、S状結腸を通過中にモニタ110の表示画面に表示される情報を変更する。
図21Aは直腸を通過中にモニタ110の表示画面に表示される表示画像を示す説明図であり、図21BはS状結腸を通過中にモニタ110の表示画面に表示される表示画像を示す説明図である。
術者は、挿入部4bが直腸を通過しているとき、右手で挿入部4bを押し込む操作を行うが、左手で操作部4aを操作して挿入部4bの先端を湾曲させることが少ない。そのため、指導医は、術者の左手の操作画像121aを確認する必要がない。そこで、指導医モニタ画像生成部100は、図21Aに示すように、内視鏡画像5b、挿入形状70、操作情報82、及び、術者の右手の操作画像121bをモニタ110に表示するように制御する。
一方、術者は、挿入部4bがS状結腸を通過しているとき、右手で挿入部4bを押し込む操作(及び捻り操作)を行うとともに、左手で操作部4aを操作して挿入部4bの先端を湾曲させる操作を行う必要があり、右手の操作と左手の操作の連携が重要である。そのため、指導医は、術者の左手及び右手の操作の連携を確認するために、術者の左手及び右手の操作画像121a及び121bを両方見る必要がある。そこで、指導医モニタ画像生成部100は、図21Bに示すように、内視鏡画像5b、挿入形状70、操作情報82、及び、術者の左手及び右手の操作画像121a及び121bをモニタ110に表示するように制御する。
この結果、内視鏡挿入形状観測装置3は、挿入部4bが通過している特定部位あるいは挿入部4bの特定形状に応じて、指導医に必要な情報のみをモニタ110に表示することができるため、指導医は必要な情報をより把握し易くなる。
なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本出願は、2017年1月17日に日本国に出願された特願2017−6046号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (7)

  1. 被検体に挿入される挿入部の挿入形状を検出する挿入形状検出部と、
    前記挿入部の挿入操作する際に得られる操作者の右手操作及び左手操作に関する操作情報を算出する操作情報算出部と、
    第1の表示部に表示する前記操作者の右手操作及び左手操作に関する操作情報であって、前記挿入部の挿入長に応じて、前記挿入部の挿入操作が簡単な部位で表示する操作情報、または、挿入操作が難しい部位で表示する操作情報を生成する操作情報生成部と、
    前記操作情報生成部により生成された前記操作情報前記挿入形状検出部により検出された前記挿入形状とを前記第1の表示部に同時に表示するように制御し、かつ、前記挿入部の挿入長に応じて、前記挿入操作が簡単な部位で表示する操作情報または、前記挿入操作が難しい部位で表示する操作情報を前記第1の表示部に表示するように制御する第1の制御部と、を有することを特徴とする内視鏡挿入形状観測装置。
  2. 前記第1の表示部に表示する前記操作情報は、任意に変更可能であることを特徴とする請求項1に記載の内視鏡挿入形状観測装置。
  3. 前記第1の制御部は、前記操作情報生成部により生成されるリアルタイムの第1の操作情報と、前記操作情報生成部により生成される前記第1の操作情報より所定の時間前に生成された第2の操作情報と、を前記第1の表示部に同時に表示するように制御することを特徴とする請求項1に記載の内視鏡挿入形状観測装置。
  4. 前記第1の制御部は、前記第1の表示部に前記第2の操作情報を表示するか非表示とするかを制御することを特徴とする請求項3に記載の内視鏡挿入形状観測装置。
  5. 前記第1の制御部は、前記第1の表示部に所定の時間前に生成された少なくとも一つ以上の前記第2の操作情報を一括して表示するように制御することを特徴とする請求項3に記載の内視鏡挿入形状観測装置。
  6. プロセッサにより生成された前記被検体の画像と、撮像装置により撮像された術者の操作画像と、前記操作情報とを第2の表示部に同時に表示するように制御する第2の制御部を有することを特徴とする請求項1に記載の内視鏡挿入形状観測装置。
  7. 前記第2の制御部は、前記第2の表示部に表示する前記被検体の画像、前記術者の操作画像、及び、前記操作情報のサイズを適切に変更することを特徴とする請求項6に記載の内視鏡挿入形状観測装置。
JP2018562871A 2017-01-17 2017-09-26 内視鏡挿入形状観測装置 Active JP6624705B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017006046 2017-01-17
JP2017006046 2017-01-17
PCT/JP2017/034793 WO2018135041A1 (ja) 2017-01-17 2017-09-26 内視鏡挿入形状観測装置

Publications (2)

Publication Number Publication Date
JPWO2018135041A1 JPWO2018135041A1 (ja) 2019-03-28
JP6624705B2 true JP6624705B2 (ja) 2019-12-25

Family

ID=62908054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562871A Active JP6624705B2 (ja) 2017-01-17 2017-09-26 内視鏡挿入形状観測装置

Country Status (3)

Country Link
US (1) US20190387962A1 (ja)
JP (1) JP6624705B2 (ja)
WO (1) WO2018135041A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018098465A1 (en) 2016-11-28 2018-05-31 Inventio, Inc. Endoscope with separable, disposable shaft
EP3841952A4 (en) * 2018-08-24 2022-01-05 FUJIFILM Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE PROCESSING PROGRAM
WO2021111756A1 (ja) * 2019-12-02 2021-06-10 富士フイルム株式会社 内視鏡システム、制御プログラム、及び表示方法
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
WO2021241695A1 (ja) * 2020-05-27 2021-12-02 富士フイルム株式会社 内視鏡画像処理装置
WO2024095864A1 (ja) * 2022-10-31 2024-05-10 富士フイルム株式会社 処理装置、内視鏡装置、及び処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3365981B2 (ja) * 1999-08-05 2003-01-14 オリンパス光学工業株式会社 内視鏡形状検出装置
JP3780201B2 (ja) * 2001-11-13 2006-05-31 オリンパス株式会社 内視鏡画像ファイリングシステム
JP4436638B2 (ja) * 2002-08-30 2010-03-24 オリンパス株式会社 内視鏡装置及び内視鏡挿入動作プログラム
JP2006043449A (ja) * 2004-07-08 2006-02-16 Pentax Corp 内視鏡システム
JP2004351230A (ja) * 2004-09-09 2004-12-16 Olympus Corp 治療システム
EP1917901B1 (en) * 2005-08-25 2019-04-17 Olympus Corporation Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis system
JP4789545B2 (ja) * 2005-08-25 2011-10-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入形状解析装置
US8310533B2 (en) * 2006-03-27 2012-11-13 GE Sensing & Inspection Technologies, LP Inspection apparatus for inspecting articles
JP5148227B2 (ja) * 2007-09-25 2013-02-20 富士フイルム株式会社 内視鏡システム
JP5171535B2 (ja) * 2007-12-14 2013-03-27 Ntn株式会社 荷重検出装置および荷重検出方法
JP2011010841A (ja) * 2009-07-01 2011-01-20 Hoya Corp 内視鏡装置
CN102469914B (zh) * 2009-09-30 2014-11-05 奥林巴斯医疗株式会社 内窥镜装置以及弯曲驱动控制方法
WO2011155383A1 (ja) * 2010-06-09 2011-12-15 オリンパスメディカルシステムズ株式会社 プローブ形状検出装置及びプローブ形状検出方法
GB2505926A (en) * 2012-09-14 2014-03-19 Sony Corp Display of Depth Information Within a Scene
JP6146981B2 (ja) * 2012-10-16 2017-06-14 オリンパス株式会社 観察装置、観察支援装置及びプログラム
JP6128792B2 (ja) * 2012-10-16 2017-05-17 オリンパス株式会社 観察装置、観察支援装置、観察装置の作動方法及びプログラム
JP6128796B2 (ja) * 2012-10-25 2017-05-17 オリンパス株式会社 挿入システム、挿入支援装置、挿入支援装置の作動方法及びプログラム
JP6116426B2 (ja) * 2013-07-25 2017-04-19 オリンパス株式会社 マニピュレータシステム
WO2016063682A1 (ja) * 2014-10-22 2016-04-28 オリンパス株式会社 内視鏡挿入形状観測装置

Also Published As

Publication number Publication date
WO2018135041A1 (ja) 2018-07-26
JPWO2018135041A1 (ja) 2019-03-28
US20190387962A1 (en) 2019-12-26

Similar Documents

Publication Publication Date Title
JP6624705B2 (ja) 内視鏡挿入形状観測装置
US20220330808A1 (en) Endolumenal object sizing
WO2018116572A1 (ja) 内視鏡挿入形状観測装置
KR101599129B1 (ko) 내시경 상 보이는 병변의 크기 측정 방법 및 컴퓨터 판독 가능한 기록매체
JP4153963B2 (ja) 内視鏡挿入形状検出装置
JP4656988B2 (ja) 内視鏡挿入形状解析装置および、内視鏡挿入形状解析方法
EP3426128B1 (en) Image processing device, endoscopic surgery system, and image processing method
WO2014065336A1 (ja) 挿入システム、挿入支援装置、挿入支援方法及びプログラム
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
JP2001046318A (ja) 内視鏡形状検出装置
JP7323647B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法及びプログラム
WO2018225132A1 (ja) 医療システムおよび医療システムの作動方法
JP2007159738A (ja) 内視鏡装置
JP6001217B1 (ja) 内視鏡挿入形状観測装置
JP2018088996A (ja) 内視鏡装置、内視鏡装置の作動方法
JP2004105725A (ja) 内視鏡装置及び内視鏡挿入動作プログラム
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
JP2006280592A (ja) 処置支援装置
JP3458060B2 (ja) 内視鏡形状検出装置及び内視鏡形状表示制御方法
JP2000081303A (ja) 位置検出装置
JP2011024823A (ja) 内視鏡装置及び内視鏡装置制御方法
JP5160619B2 (ja) 内視鏡形状検出装置
WO2017163652A1 (ja) 内視鏡形状把握システム
WO2019027031A1 (ja) 内視鏡形状表示装置、及び内視鏡システム
JP7167334B2 (ja) モニタリングシステム及び内視鏡の模型への挿入操作の評価方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181213

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181213

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190422

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191122

R151 Written notification of patent or utility model registration

Ref document number: 6624705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250