JP6600690B2 - 挿入体支援システム - Google Patents
挿入体支援システム Download PDFInfo
- Publication number
- JP6600690B2 JP6600690B2 JP2017546316A JP2017546316A JP6600690B2 JP 6600690 B2 JP6600690 B2 JP 6600690B2 JP 2017546316 A JP2017546316 A JP 2017546316A JP 2017546316 A JP2017546316 A JP 2017546316A JP 6600690 B2 JP6600690 B2 JP 6600690B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- insert
- shape
- tube
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00059—Operational features of endoscopes provided with identification means for the endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0048—Detecting, measuring or recording by applying mechanical forces or stimuli
- A61B5/0055—Detecting, measuring or recording by applying mechanical forces or stimuli by applying suction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
- A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/022—Stereoscopic imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/027—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis characterised by the use of a particular data acquisition trajectory, e.g. helical or spiral
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
Description
[第1実施形態]
図1には、本発明の一実施形態に係る管状挿入システムに備えられる挿入体支援システムの構成例を示している。図2は、挿入体支援システムを搭載する内視鏡の外観構成を示し、図3は内視鏡の挿入部先端の湾曲部の湾曲方向について示す図である。以下、本実施形態の管状挿入システムとして、医療用軟性内視鏡(上部消化管・大腸・超音波・膀胱鏡・腎盂鏡等)を例にとって詳細に説明する。勿論、本実施形態は、医療用軟性内視鏡に限定されるものではなく、挿入体を操作して、挿入・処置を行う管状挿入システムであれば、他にも工業用内視鏡、一部湾曲機構を有する硬性鏡、マニピュレータ(ロボットアーム)、カテーテル等の長手方向の
とも一部の形状が湾曲変化しうる管状挿入システムに汎用的に適用可能である。
本実施形態における内視鏡システム(管状挿入システム)100は、観察対象の体腔内に挿入する管状挿入装置である。
このようなIDタグに書き込まれた情報の例を表1に示す。表1に記載の情報全てをIDタグに書き込む必要は必ずしも無く、支援システムを起動して支援情報を生成するのに必要な情報が少なくとも書き込まれていればよい。
なお、内視鏡13には、記載されたセンサ以外のセンサやアクチュエータが搭載されていてもよい。センサ情報は、1つ以上の搭載されたセンサから検出、または、生成されるものとし、得られるセンサ情報は複数の種類の情報から成っていても良い。
本実施形態の挿入体支援システム1は、内視鏡システム100に備えられて、被検体5である患者に挿抜する際に操作者である医師らに支援情報を与え、さらに診断や治療等のための観察や処置を支援する。具体的には、挿入体支援システム1は、内視鏡13の挿抜や処置のための操作を行う際に、内視鏡の撮像部で撮像された画像情報を含み、後述する各センサから検出したセンサ情報と、画像機器によって取得された画像や画像を基に生成された情報や情報に加えられた判断など、事前の画像関連情報とを取り込み、操作支援情報を生成し、操作者に提供する。
センサ情報取得部8は、形状センサ15、後述する挿入体センサ86及び操作量センサが検出した挿入体情報からなるセンサ情報を取得し、挿入体情報抽出部3へ送出する。
図4は、CT装置の外観構成を示す図、図5は、特定視点からの被検体に対する概念的な撮像画像を示す図、図6は、CT装置におけるヘリカルスキャンによる撮像の概念を示す図である。図7は、MRI装置の外観構成を示す図である。図8は、超音波診断装置による診断状況を示す図、図9は、超音波診断装置及び使用されるプローブの外観構成を示す図である。
形状センサ15は、センサ部本体71、被検出部38及び制御部75とで構成される。制御部75は、形状演算部74を含みセンサ部本体71内の各構成部位を統括的に制御する。前述したように光ファイバ72は、照明光を導光するライトガイド(光ファイバ)と並設されている。
センサ部本体71は、光軸上で出射する側から、光源76と、投光レンズ77と、アイソレータ78と、反射ミラー79と、第1集光レンズ80とが配置される。反射ミラー79で分岐された光軸上に第2集光レンズ81と光検出部82が配置されている。
図11Aは、被検出部38が取り付けられた側に湾曲した光ファイバ72内を導光する検出用光を矢印で示し、図11Bは、真っ直ぐな状態の光ファイバ72内を導光する検出用光を矢印で示し、図11Cは、被検出部38が取り付けられた側とは反対側に湾曲した光ファイバ72内を導光する検出用光を矢印で示している。
本実施形態に用いられるセンサ部28は、形状センサ15と挿入体センサ86と操作量センサであり、これらのセンサを搭載することで以下のセンサ情報を得ることができる。
1)挿入体湾曲形状、
2)挿入体の挿入量、
3)回転(ねじり)量、
4)挿入体先端にある湾曲部の湾曲の操作量、
5)管腔を有する被検体に対する挿入体の湾曲形状、
6)挿入体先端に掛かる力。
外部情報取得部9を通して、外部機器から得られる外部情報として、表3に記載される外部情報が挙げられる。これらの外部情報は、本実施形態の挿入体支援システム1にとって必ずしも必須ではないが、有用なことも多く、目的に応じて選択し、適宜、利用してもよい。なお、これらの外部情報の内、予め取得しておくことが可能な情報は、記憶部6に記憶しておき、適宜、更新した上で、必要な時に取り出してもよい。
被検体情報抽出部2では、内視鏡観察に対して、事前に画像機器11から得られた被検体5に関わる画像機器情報(事前の画像機器情報)を主として、操作支援情報の生成に必要な被検体情報を抽出・生成する。また、外部情報取得部9から得られた情報を併せて用いて抽出・生成してもよい。以下の説明において、画像機器11から得られた画像機器情報を基に、画像機器2次情報生成部12により生成された2次情報を「画像機器2次情報」と称する。
1)画像2次情報:管状の挿入体20に撮像部が設けられている場合に、撮像部に撮像された撮像部位の画像に対応するように再構築した画像 … 画像機器11に撮像部位の位置・向きを指定して再構築する、
2)形状・配置2次情報、
3)特定部位2次情報。
図13Aは、被検体情報抽出部2内に設けられる管空情報統合処理部91を示す図、図13Bは、さらに管空情報統合処理部91内に設けられる位置情報統合処理部92を示す図、図13Cは、また管空情報統合処理部91内に設けられる管空関連情報推定生成部93を示す図、図13Dは、位置情報統合処理部92内に設けられる管空位置関連情報推定生成部94を示す図である。
被検体5が診察台Mに横たわることを想定して、被検体5のXYZ座標の各座標軸の方向を以下の様に決める。図14に示すように、被検体5のXYZ座標は、X:診察台長手方向、Y:診察台幅方向、Z:診察台上方に設定している。
1)(腹部付近の)背骨や骨盤の向きからXY方向を設定する、
2)頭部と股間/足先を結ぶ線からXY方向を設定する、
3)被検体5にCT画像に映り込むマーカを複数付けてCT画像を撮り、マーカの位置からXY方向を設定する、
4)医師らの操作者がXY方向を任意に決めて入力設定する。同様に、Z方向も同様にCT画像の情報から決めるものとする。
1)診察台Nに、X/Y方向に延びるライン等のマーキングを設けて、被検体5の体の向きを診察台Mに時に付けたマーカを、そのマーキングに合わせる。
2)被検体5の背中や腹部等の両脇に押し当てる又は挟み込む冶具で固定する。さらに、センシング系の座標系を診察台Nの座標系に合わせる。
なお、診察台N上で被検体の体位を変える可能性がある場合には、被検体にマーカを付けたり、被検体を撮像カメラで撮影して画像処理したりして、直接、被検体の座標系を設定してもよい。また、本例における座標系の取り方は一例であり、一意的に決まる座標系であれば、原点や方向の異なる座標系や極座標系などを含め、任意の座標系を用いてもよい。
1)挿入体20を挿入する被検体5の管空(臓器等)の形状・配置情報を抽出する。
2)被検体5の管空の形状・配置を、センサの座標系で表現可能にする。
3)CT情報を生成したCT装置に、挿入体支援システム1からCT情報座標系における方向/視点情報を送り、再構築させる。さらに、他の装置又は挿入体支援システム1内に、CT情報の生データとCT情報座標系での方向/視点情報を送って、再構築する。
1)被検体5の臓器の形状情報でいびつな構造部分をパターン抽出や作業者の目視確認で抽出する。
2)CT情報で、特定の組織(がん等)に対応する色やパターン情報を持つ、臓器、又は、臓器に隣接する組織を有する部分を抽出する。
a)被検体5の管空(臓器)と挿入体20先端の位置/向きのずれに対して、管空への挿入体挿入ルートの再設定を行う。再設定を行う際に、基準として次のものが挙げられる。管空の形状変化率最小/管空(臓器)長さ一定/従来の管空ルートに最短接続する。
b1)このずれ補正において、襞の大きさは、管空の断面積が小さくなれば、襞が大きくなるように補正し、反対に管空の断面積が大きくなれば、襞が小さくなるように補正する。
b2)第1の長さ変化として、挿入体20の挿入位置までの管空の長さに対しては、管空は挿入体20に沿った形状・配置とし、挿入体20の挿入位置先端近傍の管空の部位と挿入体の挿入量(挿入した長さ)の変化に応じて管空の長さを伸縮させる。3)第2の長さ変化として、挿入体20の挿入位置より先の部分の長さに対しては、1つの方法として、そのまま補正を行わない。
c)被検体5の管空(臓器)の新規項目発生。
挿入体20の挿入時に病変・治療痕・癒着等の新規項目が確認され、次第、管空情報に追加可能とする。
追加方法としては、以下の2つが挙げられる。
c1)自動で抽出及び追加する。
c2)作業者が確認・判断して抽出し、追加入力する。
上述した被検体情報抽出部2から出力された被検体情報と、挿入体情報抽出部3から出力された挿入体情報とを取捨選択して取り込み、又は、情報に適宜、加工を施すことにより操作支援情報を生成する。この操作支援情報としては、被検体情報と挿入体情報との組合せ、被検体情報と挿入体情報との組合せから導かれる被検体/挿入体の情報、挿入体の操作に関わる情報(推奨動作・指示・警告)等がある。これらの操作支援情報を次の表4に示す。
なお、操作関連情報の推奨動作については、図3に示したような挿入体の挿跋や湾曲操作に加え、送水や送気・吸気などの挿入体に関わる操作全てが対象となり、確実性や安全性を含めて挿入性や操作性が向上する支援情報であれば、どのようなものでも構わない。
記憶部6では、取得・抽出・生成した各種情報の記憶及び読み出し、さらに各処理に必要な情報を予め記憶しておき、必要に応じて適宜読み出される。
本実施形態においては、以下の情報を記憶対象としている。
2)支援情報生成部で抽出・生成した情報とその中間情報、
3)支援情報を生成するためのプログラム、どのような支援情報を生成可能とするか等の設定、特定の状態と判断するための判断基準等。
挿入体支援システム1の表示部は、内視鏡システム(管状挿入システム)100が備える表示部16と兼用され、内視鏡画像と併せたり、又は単独で操作支援情報が表示出力される。出力形態は、表示部16による画面表示のみでもよいが、医師らの操作者へ迅速かつ分かりやすく伝達するため、音声や振動等で告知してもよい。さらに、画面表示と、音声や振動等とを組み合わせてもよい。表示部16も固定モニタだけではなく、ヘッドマウントディスプレイ等の装着携帯型の表示機器の利用も可能である。この場合には、音声は、イヤホンを利用して通告してもよい。
操作支援情報を生成するために、事前に得た画像機器情報に基づく被検体情報とセンサによる挿入体情報を用いることで、被検体情報だけ又は、挿入体情報だけの場合に比べて、被検体5と挿入体の両方の情報が挿入体の挿入・操作時に得られ、挿入体の操作性の向上、ひいては、挿入性や観察/診断等の作業性の向上につながる。
まず、予備段階として、内視鏡13と挿入体支援システム1との接続が行われて、IDタグ37を利用して操作支援の可否が判断され、支援可能であれば、操作支援のための設定及び初期化が行われる。その後、画像機器11からCT画像情報、MRI画像情報又は超音波画像情報の何れかからなる事前の画像機器情報が画像機器情報取得部10を通じて、被検体情報抽出部2に取り込まれる(ステップS1)。
まず、画像機器情報取得部10を通じて、画像機器11から三次元画像又は三次元断層画像からなる画像機器情報を被検体情報抽出部2に取り込む(ステップS11)。前述した図15のルーチンにより、被検体5の管空状態(形状や位置)を予測する(ステップS12)。操作者は、内視鏡13を把持し、挿入体20を被検体5の管空に挿入する(ステップS13)。この時、内視鏡13に搭載したセンサ部28からセンサ情報を取得して実際の被検体5の管空状態を生成し、予測された管空状態と実際の被検体5の管空状態とを比較して修正が必要か否かを確認する(ステップS14)。次に、予測された管空状態が適正であり修正が不要で終了するか否かを判断する(ステップS15)。予測された管空状態に修正が必要でなければ(YES)、予測された管空状態が支援情報生成部4に送出されて終了する。一方、予測された管空状態と実際の被検体5の管空状態とに差異があり、予測された管空状態に補正が必要であれば(NO)、センサ情報に基づき、予測された管空情報を修正し(ステップS16)、再度、ステップS13に戻り、挿入体の被検体5の管空への挿入を続ける。
まず、画像機器情報取得部10を通じて、画像機器11から三次元画像又は三次元断層画像からなる画像機器情報が被検体情報抽出部2に取り込まれる(ステップS21)。前述した図15に示したルーチンにより、被検体5の管空状態(形状や位置)を予測し(ステップS22)、その予測された管空状態に基づく操作支援情報を生成し表示部16に画像表示させる(ステップS23)。
2)内視鏡の挿入体20の湾曲形状の情報:複数のセンサ112から取得したセンサ情報から生成する。
3)大腸111内の内視鏡の挿入体20の配置及び形状の情報:1)と2)の組合せから生成する。
4)内視鏡の照明光113が照明される範囲内(観察視野又は、撮像視野)の大腸111の病変部114の情報:1)と2)の組合せから生成する。
図19は、第1の表示例として、挿入状態検出を表示している画面であり、内視鏡13の挿入体20の先端部の向きと、特定部位である病変部の配置関係を示している。
この表示例の操作支援情報としては、1)大腸111の配置及び形状の情報、2)挿入体20の配置及び形状の情報、3)挿入体20の先端部の位置と撮像する向きの情報が表示されている。
図20は、第2の表示例として挿入状態検出を表示している画面であり、内視鏡13の挿入体20の先端部の向きと、特定部位である病変部114の位置関係を示している。
この表示例の操作支援情報としては、大腸111と挿入体20との配置関係に加え、挿入体20の先端部から病変部までの進行方向と距離及び、先端部が到達するための内視鏡の挿入操作の指示を時々刻々と表示を更新することで、病変への到達が極めて容易になる。
図21Aは、挿入体20の先端部と、特定部位との距離が遠いため、大腸111内における先端部の位置表示だけであり、特定部位に関する情報は表示していない。挿入体20の大腸111への挿入が進行して、図21Bに示す距離が一定距離以下の位置に挿入体20の先端部が到達した以降は、病変情報115として、病変部のタイプ(病変:線種)とサイズ(サイズ:15mm)を表示している。また、大腸111内に、複数の特定部位が存在し、個々に確認が必要な場合には、それらの病変部の位置を全て表示し、一定距離以下の位置に先端部が到達した以降の病変又は、先端部と最も近い位置の病変のみの病変情報を表示するように設定することで、操作者の作業効率が向上する。
前述した図2に示すように、内視鏡13の挿入体20の操作部30の上部には、IDタグ37が装着されている。このIDタグ37によるIDタグ情報は、内視鏡の型式・搭載オプションなどが挙げられる。搭載オプションには、例えば、センサが組み込まれている場合は、センサタイプや構成が含まれる。更には、内視鏡13が利用可能な機能、正常/異常といった製品状態やメンテナンス履歴などを併せ持つようにすることができる。また、こうした情報以外にも、IDタグ37には、型番等の判別情報だけでなく、内視鏡の仕様や搭載されたオプション機器やセンサ類の情報が記載されていてもよい。
Claims (32)
- 被検体の管に挿入される挿入体と、
前記挿入体に設けられ、現在の前記挿入体の形状情報を含むセンサ情報を検出する形状センサと、
前記挿入体が前記被検体に挿入される前に画像機器によって撮影された、事前撮影の前記被検体の管の形状情報を含む被検体情報を取得する画像機器情報取得部と、
現在の前記挿入体の形状情報と、事前撮影の前記被検体の管の形状情報と、を重畳させることで、前記被検体の前記管に対する前記挿入体の挿入経路を示す挿入経路画像を作成する管情報統合処理部と、
現在の前記挿入体の形状情報と、事前撮影の前記被検体の管の形状情報と、の間に差異があることを検出可能で、前記差異がある場合、少なくとも前記差異に基づいて、前記挿入体の挿入経路に係る操作支援情報を作成する操作支援情報生成部と、を有する挿入体支援システム。 - 前記操作支援情報生成部は、現在の前記挿入体の形状情報と、事前撮影の前記被検体の前記管の形状情報と、の間に差異がある場合に、現在の前記挿入体の形状情報に合致するように前記被検体の管の形状情報を修正してから、現在の前記挿入体の形状情報に重畳させることで、修正挿入経路画像を作成することを特徴とする請求項1に記載の挿入体支援システム。
- 前記操作支援情報生成部は、現在の前記挿入体の形状情報と、事前撮影の前記被検体の管の形状情報と、の間に差異がある場合に、挿入経路逸脱に係る警告を作成することを特徴とする請求項1に記載の挿入体支援システム。
- 前記被検体の所定の管は、前記挿入体の挿入に伴って、形状を変えうることを特徴とする請求項1に記載の挿入体支援システム。
- 前記被検体情報は、前記被検体の外部の特定の方向又は、視点から内部を透視する三次元画像を撮像する画像機器から得られる画像機器情報の一部又は、前記画像機器情報を基に得られた画像機器2次情報を含むことを特徴とする請求項2に記載の挿入体支援システム。
- 前記画像機器2次情報は、特定の視点/断面によって再構成された画像情報である画像2次情報を含むことを特徴とする請求項5に記載の挿入体支援システム。
- 前記画像機器2次情報は、特定の視点/断面における管の形状又は、配置を示す管形状・配置2次情報を含むことを特徴とする請求項5に記載の挿入体支援システム。
- 前記画像機器情報又は、前記画像機器2次情報は、挿入体の挿抜の際の注目部位や観察/診断・治療の作業対象部位である特定部位に関する特定部位情報を更に含むことを特徴とする請求項5乃至7の何れか1項に記載の挿入体支援システム。
- 前記画像機器情報取得部は、前記画像機器2次情報を生成する画像機器2次情報生成部を有することを特徴とする請求項5乃至8の何れか1項に記載の挿入体支援システム。
- 前記挿入体は、前記管内の画像を撮像可能な撮像部を、更に有し、
前記被検体情報及び、前記操作支援情報は、前記撮像部から得られる管の画像に対応する、前記画像機器情報又は、前記画像機器2次情報を含むことを特徴とする請求項5に記載の挿入体支援システム。 - 前記被検体情報及び、前記操作支援情報は、更に、挿入体の挿抜の注目部位や観察/診断・治療の作業対象部位である特定部位に対応した特定部位2次情報を含むことを特徴とする請求項10に記載の挿入体支援システム。
- 前記被検体情報及び、前記操作支援情報は、前記管の形状、又は、配置に関わる管形状・配置情報又は、管形状・配置2次情報を含むことを特徴とする請求項5に記載の挿入体支援システム。
- 前記被検体情報及び前記操作支援情報は、更に、挿入体の挿抜の際の注目部位や観察/診断・治療の作業対象部位である特定部位に対応した特定部位情報を含むことを特徴とする請求項12に記載の挿入体支援システム。
- 前記管情報統合処理部は、前記被検体情報を含む画像機器情報と前記センサ情報に含まれる管に関する情報を統合する、請求項2に記載の挿入体支援システム。
- 前記管情報統合処理部は、前記画像機器情報と前記センサ情報に含まれる位置情報を統合するための、位置情報統合処理部を更に含む、請求項14に記載の挿入体支援システム。
- 位置情報統合処理部は、支援情報を生成又は、提示するために必要となる前記管に関する位置座標を補間又は、推定により生成する、請求項15に記載の挿入体支援システム。
- 前記位置情報統合処理部は、前記画像機器情報に基づく管情報と前記センサ情報に基づく管の位置関連情報に、形状、大きさ、位置及び向きの何れかが同一の部分的箇所に差異のある部分又は、欠落のある部分が存在する場合に、支援情報の生成又は、提示に必要となる現状の管の位置関連情報を推定を含めて生成することが可能な管位置関連情報推定生成部を有する、請求項15に記載の挿入体支援システム。
- 前記管位置関連情報推定生成部は、前記センサ情報に含まれる位置情報を正しいものとして、現状の管の位置関連情報を生成する、請求項17に記載の挿入体支援システム。
- 前記挿入体の先端近傍には、前記被検体の管を撮像し、撮像画像情報を得る撮像部を更に有し、前記画像機器情報取得部は、前記撮像画像情報又は、前記センサ情報の少なくとも一方を基に、前記被検体情報の修正又は更新のいずれかを行うことを特徴とする請求項5に記載の挿入体支援システム。
- 前記形状センサは、前記挿入体の形状、配置及び姿勢又は、先端部の位置、向き及び姿勢を含む先端情報の少なくとも一つを検出/推定可能であり、
前記被検体情報は、前記管の形状又は、配置に関わる管形状・配置情報を含み、
前記画像機器情報取得部は、前記形状センサから得られるセンサ情報を基に、前記挿入体の形状又は、配置に関する挿入体形状・配置情報を挿入体情報の少なくとも一部として生成し、
前記管形状・配置情報と前記挿入体形状・配置情報に基づいて、前記被検体情報の修正又は、更新を行うことを特徴とする請求項19に記載の挿入体支援システム。 - 前記被検体情報の修正又は更新は、いずれもリアルタイムに行うことを特徴とする請求項19に記載の挿入体支援システム。
- 前記形状センサは、前記挿入体の形状及び姿勢を含む配置情報又は、前記挿入体の先端部の位置、向き及び姿勢を含む先端情報の少なくとも1つを検出/推定可能であり、
前記形状センサから得られた前記センサ情報に基づく前記挿入体の形状情報と前記画像機器情報に基づく前記被検体情報から前記操作支援情報を生成することを特徴とする請求項5に記載の挿入体支援システム。 - 前記挿入体の先端近傍には、前記被検体の管を撮像し、撮像画像情報を得る撮像部を更に有し、前記挿入体の形状・配置情報又は、先端情報と前記画像機器情報から、前記撮像画像情報に対応する画像機器2次情報を生成することを特徴とする請求項22の挿入体支援システム。
- 前記画像機器2次情報は、特定の視点/断面における管の形状及び配置を示す管形状・配置2次情報を含み、
前記挿入体の形状情報は、前記特定の視点/断面における前記挿入体の形状及び配置情報を含み、
前記操作支援情報は、前記管形状・配置2次情報と前記挿入体の形状及び配置情報とを合わせこんだ画像情報を含むことを特徴とする請求項22の挿入体支援システム。 - 前記操作支援情報は、
挿入体の挿抜の際の注目部位や観察/診断・治療の作業対象部位である特定部位と前記挿入体との配置関係に基づく、前記挿入体の先端からの向き及び距離を含む支援情報を有することを特徴とする請求項22の挿入体支援システム。 - 前記挿入体の挿抜の際の注目部位や観察/診断・治療の作業対象部位である特定部位と、
前記挿入体との距離、観察/作業可能範囲内外の配置関係に基づいて、前記挿入体の先端部からの向き及び距離を含む操作支援情報の出力状況/出力内容を変更することを特徴とする請求項22の挿入体支援システム。 - 前記画像機器2次情報は、特定の視点/断面における管の形状/配置を示す管形状・配置2次情報を含み、
前記操作支援情報は、前記管形状・配置2次情報と前記挿入体の形状及び配置に基づく、前記挿入体の挿抜操作に関する挿抜操作関連情報を含むことを特徴とする請求項22の挿入体支援システム。 - 前記画像機器2次情報は、
特定の視点/断面における管の形状/配置を示す管形状・配置2次情報と、
前記挿入体の挿抜の際の注目部位や観察/診断及び治療の作業対象部位である特定部位についての情報である特定部位2次情報を含み、
前記操作支援情報は、前記管形状・配置2次情報と前記特定部位2次情報と前記挿入体の形状及び配置に基づく、作業に関する作業関連情報を含むことを特徴とする請求項22の挿入体支援システム。 - 取得又は、抽出・生成した情報の少なくとも一部を記憶・読み出しする、又は/および、前記操作支援情報の生成に必要な情報を予め記憶し、必要な時に読み出す記憶部を更に有する、請求項2に記載の挿入体支援システム。
- 前記挿入体は、挿入体の識別情報、仕様情報、状態情報の内、少なくとも1つの情報を含むIDタグを有し、
前記少なくとも1つの情報に基づいて、前記挿入体支援システムが提供可能な前記操作支援情報を判別することを特徴とする請求項1に記載の挿入体支援システム。 - 前記IDタグからの前記少なくとも1つの情報に基づいて、
提供可能な前記操作支援情報を生成するための設定を行うことを特徴とする請求項30に記載の挿入体支援システム。 - 挿入体支援システムの起動時、または、システム構成要素を接続、または、取り外しした際に、前記挿入体支援システムが提供可能な前記操作支援情報を判別することを特徴とする請求項30に記載の挿入体支援システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/079575 WO2017068650A1 (ja) | 2015-10-20 | 2015-10-20 | 挿入体支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017068650A1 JPWO2017068650A1 (ja) | 2018-08-09 |
JP6600690B2 true JP6600690B2 (ja) | 2019-10-30 |
Family
ID=58557059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017546316A Active JP6600690B2 (ja) | 2015-10-20 | 2015-10-20 | 挿入体支援システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180235716A1 (ja) |
EP (1) | EP3366188A4 (ja) |
JP (1) | JP6600690B2 (ja) |
WO (1) | WO2017068650A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6704255B2 (ja) * | 2016-01-19 | 2020-06-03 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置、医療用観察システム及び画揺れ補正方法 |
JP6949959B2 (ja) * | 2017-07-06 | 2021-10-13 | オリンパス株式会社 | 管状挿入装置及び、その管状挿入装置による操作支援方法 |
WO2020017212A1 (ja) * | 2018-07-20 | 2020-01-23 | 富士フイルム株式会社 | 内視鏡システム |
WO2021071724A1 (en) * | 2019-10-07 | 2021-04-15 | Boston Scientific Scimed, Inc. | Devices, systems, and methods for positioning a medical device within a body lumen |
CN114554937A (zh) * | 2019-12-02 | 2022-05-27 | 富士胶片株式会社 | 内窥镜系统、控制程序及显示方法 |
US20230346479A1 (en) * | 2020-08-13 | 2023-11-02 | Intuitive Surgical Operations, Inc. | Alerting and mitigating divergence of anatomical feature locations from prior images to real-time interrogation |
CN113729859B (zh) * | 2021-10-08 | 2023-03-24 | 重庆市急救医疗中心 | 血肿抽取系统、导航系统及血肿边界判断方法 |
CN113729942B (zh) * | 2021-10-08 | 2023-03-24 | 重庆市急救医疗中心 | 基于混合现实技术的血肿清除设备智能定位装置及导航系统 |
WO2023195103A1 (ja) * | 2022-04-06 | 2023-10-12 | オリンパスメディカルシステムズ株式会社 | 検査支援システムおよび検査支援方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL181470A (en) * | 2006-02-24 | 2012-04-30 | Visionsense Ltd | Method and system for navigation within a flexible organ in the human body |
US20080117210A1 (en) * | 2006-11-22 | 2008-05-22 | Barco N.V. | Virtual endoscopy |
EP2247236B1 (en) * | 2008-02-12 | 2014-07-30 | Covidien LP | Controlled perspective guidance system |
US8337397B2 (en) * | 2009-03-26 | 2012-12-25 | Intuitive Surgical Operations, Inc. | Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient |
JP2012165838A (ja) * | 2011-02-10 | 2012-09-06 | Nagoya Univ | 内視鏡挿入支援装置 |
EP2837326A4 (en) * | 2012-09-07 | 2016-02-24 | Olympus Corp | MEDICAL APPARATUS |
JP6206869B2 (ja) * | 2013-05-28 | 2017-10-04 | 国立大学法人名古屋大学 | 内視鏡観察支援装置 |
-
2015
- 2015-10-20 JP JP2017546316A patent/JP6600690B2/ja active Active
- 2015-10-20 WO PCT/JP2015/079575 patent/WO2017068650A1/ja active Application Filing
- 2015-10-20 EP EP15906656.2A patent/EP3366188A4/en not_active Withdrawn
-
2018
- 2018-04-20 US US15/957,983 patent/US20180235716A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JPWO2017068650A1 (ja) | 2018-08-09 |
EP3366188A1 (en) | 2018-08-29 |
US20180235716A1 (en) | 2018-08-23 |
EP3366188A4 (en) | 2019-11-13 |
WO2017068650A1 (ja) | 2017-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6600690B2 (ja) | 挿入体支援システム | |
KR102558061B1 (ko) | 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템 | |
JP6200152B2 (ja) | 医療処置におけるトラッキング方法及び装置 | |
JP4733243B2 (ja) | 生検支援システム | |
JP5159995B2 (ja) | 内視鏡システム | |
KR20200007896A (ko) | 생검 장치 및 시스템 | |
JP2021505270A (ja) | コマンド指示されていない器具の回動を修正するシステムおよび方法 | |
JP4709946B2 (ja) | 医療機器システムおよび医療器具のキャリブレーション方法 | |
WO2004023986A1 (ja) | 医療処置システム、内視鏡システム、内視鏡挿入動作プログラム及び内視鏡装置 | |
JP6270026B2 (ja) | 内視鏡観察支援装置 | |
JPWO2009084345A1 (ja) | 医療機器システム | |
EP2957212A1 (en) | Relative position detection system for tube-like device, and endoscope device | |
JP4436638B2 (ja) | 内視鏡装置及び内視鏡挿入動作プログラム | |
WO2013011733A1 (ja) | 内視鏡誘導システム及び内視鏡誘導方法 | |
CN112292062A (zh) | 具有一体式导航传感器的内窥镜 | |
US20190142523A1 (en) | Endoscope-like devices comprising sensors that provide positional information | |
CN106659365B (zh) | 导航系统、导航系统的工作方法 | |
JP2014204904A (ja) | 医用ガイドシステム | |
US20220202500A1 (en) | Intraluminal navigation using ghost instrument information | |
JP5317874B2 (ja) | 内視鏡及び内視鏡システム | |
JP2005058378A (ja) | 手術用観察システム | |
JP5854399B2 (ja) | 医用システム | |
JP2005021355A (ja) | 手術支援装置 | |
JP2006149482A (ja) | 超音波診断装置 | |
CN116940298A (zh) | 来自单个感应拾取线圈传感器的六个自由度 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180419 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180419 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191007 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6600690 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |