JP7235803B2 - 向き参照マーカを有するロボット内視鏡プローブ - Google Patents
向き参照マーカを有するロボット内視鏡プローブ Download PDFInfo
- Publication number
- JP7235803B2 JP7235803B2 JP2021086099A JP2021086099A JP7235803B2 JP 7235803 B2 JP7235803 B2 JP 7235803B2 JP 2021086099 A JP2021086099 A JP 2021086099A JP 2021086099 A JP2021086099 A JP 2021086099A JP 7235803 B2 JP7235803 B2 JP 7235803B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- catheter
- camera
- orientation
- markers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00154—Holding or positioning arrangements using guiding arrangements for insertion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/0051—Flexible endoscopes with controlled bending of insertion part
- A61B1/0057—Constructional details of force transmission elements, e.g. control wires
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
- A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
- A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
- A61B5/6852—Catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/00234—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
- A61B2017/00292—Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
- A61B2017/003—Steerable
- A61B2017/00305—Constructional details of the flexible means
- A61B2017/00314—Separate linked members
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00367—Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like
- A61B2017/00398—Details of actuation of instruments, e.g. relations between pushing buttons, or the like, and activation of the tool, working tip, or the like using powered actuators, e.g. stepper motors, solenoids
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00743—Type of operation; Specification of treatment sites
- A61B2017/00809—Lung operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2059—Mechanical position encoders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
- A61B2034/742—Joysticks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
- A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
- A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3966—Radiopaque markers visible in an X-ray image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
- A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3983—Reference marker arrangements for use with image guided surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
- A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Robotics (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Gynecology & Obstetrics (AREA)
- Human Computer Interaction (AREA)
- Endoscopes (AREA)
Description
本願は、2020年5月26日に提出された米国仮特許出願第63/029955号に対する優先権を主張する。上記の仮出願の開示は、あらゆる目的でその全体が参照により本明細書に組み込まれる。優先権の利益は、米国特許法第119条(e)の下で主張される。
図1及び図2を参照して、連続体ロボットシステム1000の例示の構成を説明する。図1は、ロボット制御操縦可能カテーテル100(操縦可能管状シース)を動作させるように構成された連続体ロボットシステム1000の実施形態を示す。図2は、操縦可能カテーテル100の構造をより詳細に示す。ロボットシステム1000は、患者の生体構造内部の蛇行進路を通してカテーテルをナビゲートするために、操縦可能カテーテル100を曲線形状に適合させるように構成された連続体又はマルチセグメントのロボットを含む。連続体ロボットの例は、出願人の以前の米国特許第9144370号(あらゆる目的で参照により本明細書に組み込まれる)に記載されているような、ヘビ様内視鏡デバイスである。
図4は、一実施形態に係る、操縦可能カテーテル100の遠位セクション101の長手方向断面図を示す。遠位セクション101は複数の操縦可能セグメントを含み、例えば、変曲点107で互いに連結された3つのセグメント101A、101B、101Cを含む。図4では、カメラ180は、ツールチャネル105との間に隙間(GAP)があるように、操縦可能カテーテル100のツールチャネル105内に配置される。カテーテル100は、ツールチャネル105の遠位端(遠位先端)に配置された1つ以上の参照マーカ190を含むカテーテルシースである。この実施形態では、カテーテルシースの遠位先端には、異なるインジケータ特性(例えば、それぞれ赤色と黒色)をもつ第1の参照マーカ191及び第2の参照マーカ192を含む2つの参照マーカが取り付けられる。
図6A、図6B及び図6Cは、他のタイプの可視参照マーカの一部の例を示す。他のタイプの参照マーカ(1つの長方形(図6A)、異なる反射率/透明度/色の同じ形状(図6B)、異なる形状(図6C))を使用することができる。例えば図6Cに示されるように形状検出を用いる場合、ソフトウェアは、図4及び図5の例で必要とされるような照明条件(反射率や色等)を考慮する必要がない。
図7は、別の実施形態に係る、操縦可能カテーテル100の遠位セクション101の長さ方向断面図を示す。遠位セクション101は、図4に示されるものと同様に、変曲点107で互いに連結された複数の操縦可能セグメント101A、101B及び101Cを含む。図7の実施形態は、カテーテルとカメラのフレームとに埋め込まれた1つ以上の電磁(EM)センサによって実施される参照マーカを用いる。具体的には、カメラ180には第1の参照センサ189(第1のEMセンサ)が取り付けられ、第2の参照センサ790(第2のEMセンサ)は、カテーテルシースの壁に取り付けられるか又は埋め込まれる。
カテーテルと気道の間の相互作用によってカテーテルがねじれたとき、ユーザは、内視鏡画像の参照マークの回転によってねじれ運動を知ることができ(これは図11A~11Cに示されている)、プロセッサは、参照マークの位置に基づいて、又はセンサからの信号に基づいて、ねじれの量を計算することができる。このプロセッサによる計算を用いて、ユーザは、カメラビュー、ゲームパッドコントローラ及びカテーテル先端の向きをリマッピングするためのパラメータを設定することができる。これらのステップ(検出、推定及びリマッピング)は、カメラビューのフレーム毎に(又は、特定数のフレーム毎に)、ソフトウェアによって自動的に実行することができる。マーカの色は、照明条件によって変化し得る。したがって、ユーザは、ソフトウェアのRGB(赤、緑、青)又はHSV(色相、彩度、明度)の範囲内で、既知の色空間表現技術を用いて、マーカの色範囲として色を割り当てることができる。
図12A及び図12Bは、ゲームパッドコントローラとカテーテルとカメラの間のミスマッピングを検出するための、光学ベースシステムの更なる実施形態を示す。図12Aは、操縦可能カテーテル100の(遠位端から見た)正面図を示し、図12Bは、操縦可能カテーテル100の長手方向軸Axに平行に取った長さ方向断面図を示す。この実施形態によれば、カメラ180と操縦可能カテーテル100の間のミスマッピングを検出するための別の方式として、ロボット作動操縦可能カテーテル100のシャフトに組み込まれた光学系の使用が挙げられる。図12Bに示されるように、光学ベースのねじれ検出システムは、マーカ291、光配向コンポーネント292、光導波路293、及びコンピュータシステム400に接続された分光計295を含む。
本開示によれば、3セクションのロボット気管支鏡を開発し、ファントム生体構造(例えばヒトの気道)での検証のために試験した。ロボット気管支鏡の詳細な機構(連続体ロボットのキネマティック構成を含む)は、図1~図3に示されるシステムと同様である。ロボット気管支鏡の近位セクション、中間セクション、遠位セクション(第1、第2、第3のセクション)の長さは、それぞれ20mm、20mm、10mmであった。ロボット気管支鏡の外径は3.3mmであり、ロボット気管支鏡のツールチャネルの直径は2.1mmであった。各セクションは、3本のステンレス鋼の制御ワイヤによって制御した。各ワイヤの一端は各セクションの遠位端で固定し、各ワイヤの他端は、ワイヤ作動ユニット(図1の番号310を参照)に収容されたDCモータに接続した。外径1.4mmのチップオンティップカメラ(IK-CT2)をツールチャネルに配置し、ゲームパッドコントローラ(Logitech Gamepad F310)を、ロボットに接続し、医師が一人称視点(FPV)制御でロボット気管支鏡を制御することを可能にするように構成した。カメラビューはコンソールモニタに表示した。ロボット気管支鏡をファントム内で前進及び後退させるために、ロボット気管支鏡は、ステッピングモータを備えたリニアステージ上に配置した。
本明細書に開示される実施形態の特定の態様は、記憶媒体(より完全には「非一時的コンピュータ可読記憶媒体」と呼ぶこともできる)に記録されたコンピュータ実行可能命令(例えば1つ以上のプログラム)を読み出し実行して、前述の実施形態のうち1つ以上の機能を実行し、かつ/又は、前述の実施形態のうち1つ以上の機能を実行するための1つ以上の回路(例えば特定用途向け集積回路(ASIC))を含むシステム又は装置のコンピュータによって実現することもできるし、また、システム又は装置のコンピュータが、記憶媒体からコンピュータ実行可能命令を読み出し実行して、前述の実施形態のうち1つ以上の機能を実行すること、及び/又は1つ以上の回路を制御して、前述の実施形態のうち1つ以上の機能を実行することによって実行される方法によって実現することもできる。コンピュータは、1つ以上のプロセッサ(例えば中央処理装置(CPU)、マイクロ処理ユニット(MPU))を含んでよく、コンピュータ実行可能命令を読み出して実行するための別個のコンピュータ又は別個のプロセッサのネットワークを含んでよい。コンピュータ実行可能命令は、例えばネットワーク又は記憶媒体から、コンピュータに提供することができる。記憶媒体は、例えば、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、分散コンピューティングシステムのストレージ、光ディスク(コンパクトディスク(CD)、デジタル多用途ディスク(DVD)又はBlu-ray Disc(BD)(商標)等)、フラッシュメモリデバイス、メモリカード等のうち1つ以上を含んでよい。入出力デバイスに通信インタフェースを提供するためにI/Oインタフェースを用いることができ、キーボード、ディスプレイ、マウス、タッチスクリーン、タッチレスインタフェース(例えばジェスチャー認識デバイス)、印刷デバイス、ライトペン、光学式ストレージデバイス、スキャナ、マイクロフォン、カメラ、ドライブ、通信ケーブル及びネットワーク(有線又は無線)を含んでよい。
説明に言及する際、開示する例を完全に理解できるようするために、具体的な詳細が記載される。他の例では、本開示を不必要に長くしないように、周知の方法、手順、構成要素及び回路は、詳細には説明されない。本明細書において別段の定義がされない限り、本明細書で使用される全ての技術用語及び科学用語は、本発明が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。本発明の広さは、本明細書によって限定されるのではなく、むしろ、採用される特許請求の範囲の用語の平易な意味によってのみ限定される。
Claims (20)
- 体の管腔への挿入及びナビゲーションのために構成された遠位端と、前記管腔の外側からの操作のために構成された近位端とを有する操縦可能シースであって、前記近位端から前記遠位端へ延びるツールチャネルを有する、操縦可能シースと、
前記操縦可能シースの前記ツールチャネルの内側に取外し可能に配置されるイメージングデバイスと、
前記イメージングデバイスが前記管腔の画像を取得する間に、前記シースの少なくとも一部が前記管腔内で前記イメージングデバイスとともに動くように、前記管腔の外側から前記操縦可能シースを操作するように構成されたコントローラと、
前記操縦可能シースと前記イメージングデバイスの間の位置関係をマッピングするように配置された1つ以上のマーカ及び/又は1つ以上のセンサを有するねじれ検出システムと、
前記イメージングデバイス及び前記コントローラとデータ通信するプロセッサと、
を備える内視鏡システムであって、
前記プロセッサは、
前記イメージングデバイスによって取得された前記画像を処理し、
前記画像と、前記マーカ及び/又はセンサのうちの少なくとも1つからの信号との比較に基づいて、前記操縦可能シースと前記イメージングデバイスの間の位置関係の変化を決定し、
前記操縦可能シースと前記イメージングデバイスの間の前記位置関係をリマッピングすることにより、前記位置関係の変化を補償するように構成される、
内視鏡システム。 - 前記プロセッサは、前記コントローラが前記操縦可能シースを第1の位置から第2の位置まで駆動し、前記操縦可能シースと前記イメージングデバイスの間の前記位置関係が変化した後に、前記位置関係の変化を補償するように更に構成される、
請求項1に記載の内視鏡システム。 - 前記プロセッサは、前記位置関係の変化が所定の閾値以上であるかどうかを決定するように更に構成され、
前記プロセッサは、前記位置関係が前記所定の閾値よりも大きく変化した後に、前記位置関係の変化を補償する、
請求項2に記載の内視鏡システム。 - 前記1つ以上のマーカは、電磁信号を発するか又は反射するように構成された複数のマーカを含み、
前記操縦可能シースと前記イメージングデバイスの間の位置関係をマッピングするために、前記複数のマーカは、前記複数のマーカのうちの1つ又は複数から発せられた又は反射された前記電磁信号に基づいて、前記イメージングデバイスの向きに関して前記操縦可能シースの前記遠位端の向きをマッピングする、
請求項1に記載の内視鏡システム。 - 前記プロセッサは、
前記複数のマーカのうちの前記1つ又は複数から反射されかつ/又は発せられた前記電磁信号に基づいて、前記イメージングデバイスの位置及び/又は向きに関して、前記操縦可能シースの位置及び/又は向きの変化を計算し、
計算された前記変化を用いて、前記操縦可能シースの前記位置及び/又は向きと前記イメージングデバイスの位置及び/又は向きとの間のミスマッピングを補償するように更に構成される、
請求項4に記載の内視鏡システム。 - 前記1つ以上のマーカは、前記操縦可能シースの前記遠位端に配置された複数のマーカと、前記イメージングデバイス上に配置された少なくとも1つのマーカとを含み、
前記イメージングデバイスは、前記管腔の生体構造と、前記操縦可能シースの前記遠位端に配置された前記複数のマーカのうちの少なくとも1つとを含む視野内で、前記画像を取得するように構成され、
前記プロセッサは、前記画像として、前記操縦可能シースの前記遠位端に配置された前記複数のマーカのうちの前記少なくとも1つのグラフィック表現を生成及び出力するように更に構成され、
前記グラフィック表現は、前記管腔の前記生体構造の画像に重ね合される、
請求項1に記載の内視鏡システム。 - 前記1つ以上のマーカは、反射マーカ、蛍光マーカ、放射線不透過性マーカ、又はそれらの組合せを含み、かつ/又は、
前記1つ以上のセンサは、電磁(EM)センサ、光学センサ、ホール効果センサ、磁気センサ、光ファイバ形状センサ、又はそれらの組合せを含む、
請求項1に記載の内視鏡システム。 - 前記1つ以上のマーカは、前記操縦可能シースの前記遠位端に取り付けられるとともに少なくとも部分的に前記イメージングデバイスの視野(FOV)まで延びる2つ以上のマーカを含む、
請求項1に記載の内視鏡システム。 - 前記2つ以上のマーカは、前記イメージングデバイスの前記FOVの中心と実質的に同心に配置される、請求項8に記載の内視鏡システム。
- 前記2つ以上のマーカは、前記イメージングデバイスの前記FOVの縁の内側に対称又は非対称に分布する、請求項8に記載の内視鏡システム。
- 前記1つ以上のセンサは、前記イメージングデバイスを少なくとも部分的に囲むように前記操縦可能シースに埋め込まれた複数のセンサと、前記イメージングデバイスに取り付けられた少なくとも1つのセンサとを含む、
請求項1に記載の内視鏡システム。 - 前記イメージングデバイスは、前記イメージングデバイスが前記ツールチャネルの内壁に当たらないように、前記イメージングデバイスと前記ツールチャネルの内壁の間に隙間があるように、前記ツールチャネルを通して配置される、
請求項1に記載の内視鏡システム。 - 前記画像として、前記プロセッサは、前記イメージングデバイスによって前記管腔に沿った第1の位置で取得された第1の画像に重ね合されるとともに、前記コントローラが前記管腔を通して前記操縦可能シースを駆動した後に前記イメージングデバイスによって前記管腔に沿った第2の位置で取得された第2の画像に重ね合された、前記1つ以上のマーカのグラフィック表現を生成する、
請求項1に記載の内視鏡システム。 - 前記コントローラは、前記操縦可能シースの前記近位端に動作可能に接続され、
前記コントローラは、前記管腔に沿った蛇行進路を通して前記操縦可能シースの前記遠位端及び前記イメージングデバイスをナビゲートするように、前記操縦可能シースの前記少なくとも一部を曲げ、ねじり、かつ/又は回転させるように構成され、
前記プロセッサは、前記コントローラの向きに関して、前記操縦可能シースの向き又は前記イメージングデバイスの向きをリアルタイムでリマッピングするように更に構成される、
請求項1に記載の内視鏡システム。 - 前記コントローラはハンドヘルドコントローラである、請求項1に記載の内視鏡システム。
- 前記ハンドヘルドコントローラの向きは、前記イメージングデバイスの前記向き、及び、前記操縦可能シースの前記向きに対してマッピングされ、
前記プロセッサは、前記コントローラが前記操縦可能シースの前記少なくとも一部を曲げ、ねじり、かつ/又は回転させた後に、前記イメージングデバイスの前記向きに関して、前記操縦可能シースの前記向きに対して前記ハンドヘルドコントローラの前記向きをリマッピングするように更に構成される、
請求項15に記載の内視鏡システム。 - 前記1つ以上のマーカは、前記イメージングデバイスの視野内の前記操縦可能シースの前記遠位端に配置された2つ以上の可視マーカを含み、
前記コントローラは、ジョイスティック及び/又は複数の方向ボタンを備えたゲームパッドコントローラであり、
前記操縦可能シースはカテーテルであり、前記イメージングデバイスはファイバカメラを含み、
前記カテーテルと前記ファイバカメラの間の前記位置関係の初期マッピングの後、前記ゲームパッドコントローラの上ボタン、又は前記ジョイスティックの上方向の動きは、前記ファイバカメラによって取得された前記画像の上方向とマッピングされ、
前記カメラの向きに関する前記カテーテルの向きがある程度の量だけ変化したとき、前記ゲームパッドコントローラの前記上ボタン、又は前記ジョイスティックの前記上方向は、前記程度の量だけオフセットされ、
前記ファイバカメラによって取得された前記画像の前記方向と前記ゲームパッドコントローラとの間のミスマッピングを補償するために、前記プロセッサは、前記2つ以上のマーカの前記位置を用いて前記程度の量を計算し、また、前記プロセッサは、リマッピングの後、前記ゲームパッドコントローラの前記上ボタン又は前記ジョイスティックの上方向が前記画像の前記上方向とリマッピングされ、それにより、ユーザが一人称視点(FPV)で前記カテーテルの操縦方向を直感的に制御できるように、前記ゲームパッドコントローラの前記方向をリマッピングする、
請求項1に記載の内視鏡システム。 - 前記1つ以上のセンサは、前記操縦可能シースの前記遠位端に配置された少なくとも第1の電磁(EM)センサと、前記イメージングデバイス上に配置されるか又は前記イメージングデバイスに隣接する第2のEMセンサとを含み、
前記コントローラは、ジョイスティック及び/又は複数の方向ボタンを備えたゲームパッドコントローラであり、
前記操縦可能シースはカテーテルであり、前記イメージングデバイスはファイバカメラを含み、
前記カテーテルと前記ファイバカメラの間の前記位置関係の初期マッピングの後、ユーザがボタンを押すか、又は前記ゲームパッドコントローラの前記ジョイスティックを所望の方向に動かしたとき、前記カテーテル及び前記カメラは、前記カメラが前記カメラの前の視野のライブビュー画像を取得し続けている間に、前記所望の方向に曲がり、
前記第1のEMセンサと前記第2のEMセンサの各々は、それぞれ、前記カテーテルと前記カメラの互いに関する回転量を測定し、
前記プロセッサは、前記第1のEMセンサ及び前記第2のEMセンサによって測定された前記カテーテル及び前記カメラの前記回転量を減算し、前記減算の結果に基づいて、カメラビュー、前記ゲームパッドコントローラ及び前記カテーテルの向きをリマッピングすることにより、前記カテーテル及び/又はカメラにかかったねじれ、回転又は曲げの量を推定する、
請求項1に記載の内視鏡システム。 - 前記1つ以上のセンサは、前記操縦可能シースの前記遠位端に巻き付けられたファイバセンサ、及び/又は、前記イメージングデバイスに巻き付けられて配置されたファイバセンサを含み、
前記操縦可能シースの前記遠位端に巻き付けられた前記ファイバセンサ、及び/又は、前記イメージングデバイスに巻き付けられて配置された前記ファイバセンサは、前記管腔を通したナビゲーション中に前記操縦可能シース及び/又は前記イメージングデバイスがそれぞれねじれ、回転又は曲げを受けるときにかかる引張ひずみ又は圧縮ひずみの量に対応する信号を出力し、
前記プロセッサは、前記引張ひずみ又は圧縮ひずみの量に基づいて、前記操縦可能シース及び/又はイメージングデバイスにかかるねじれ、回転又は曲げの量を連続的に計算し、前記イメージングデバイスによって取得された前記画像を自動的に回転させて、前記位置関係の変化をリアルタイムで補償する、
請求項1に記載の内視鏡システム。 - 前記ねじれ検出システムは、前記イメージングデバイスに取り付けられた色分けされたマーカと、前記色分けされたマーカに電磁放射線を照射し、前記操縦可能シースと前記イメージングデバイスの間の前記位置関係を示す信号を出力するように構成された光学系とを含み、
前記色分けされたマーカは、前記イメージングデバイスの周りに巻き付けられて配置された複数のセクタを含み、
前記複数のセクタの各々は、前記管腔を通した前記操縦可能シースのナビゲーション中に、前記イメージングデバイスのねじれ、回転又は曲げの量に対応する信号を出力し、
前記プロセッサは、前記セクタのうちの1つ以上からの前記信号に基づいて、前記操縦可能シース及び/又は前記イメージングデバイスにかかるねじれ、回転又は曲げの量を連続的に計算し、前記イメージングデバイスによって取得された前記画像を自動的に回転させて、前記位置関係の変化をリアルタイムで補償する、
請求項1に記載の内視鏡システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063029955P | 2020-05-26 | 2020-05-26 | |
US63/029,955 | 2020-05-26 | ||
US17/308,758 | 2021-05-05 | ||
US17/308,758 US11786106B2 (en) | 2020-05-26 | 2021-05-05 | Robotic endoscope probe having orientation reference markers |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022000141A JP2022000141A (ja) | 2022-01-04 |
JP7235803B2 true JP7235803B2 (ja) | 2023-03-08 |
Family
ID=78707177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021086099A Active JP7235803B2 (ja) | 2020-05-26 | 2021-05-21 | 向き参照マーカを有するロボット内視鏡プローブ |
Country Status (2)
Country | Link |
---|---|
US (1) | US11786106B2 (ja) |
JP (1) | JP7235803B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210393344A1 (en) * | 2020-06-22 | 2021-12-23 | Auris Health, Inc. | Control scheme calibration for medical instruments |
CN114343899B (zh) * | 2021-12-03 | 2024-07-23 | 苏州微创畅行机器人有限公司 | 呼吸道流体吸取装置及使用方法及牙科机器人及存储介质 |
JP7428734B2 (ja) * | 2022-01-20 | 2024-02-06 | 日本ライフライン株式会社 | 内視撮像装置、内視鏡 |
WO2023154931A1 (en) * | 2022-02-14 | 2023-08-17 | Canon U.S.A., Inc. | Robotic catheter system and method of replaying targeting trajectory |
WO2023156470A1 (en) * | 2022-02-18 | 2023-08-24 | Koninklijke Philips N.V. | A system and method for tissue analysis using remote ppg |
EP4230118A1 (en) * | 2022-02-18 | 2023-08-23 | Koninklijke Philips N.V. | A system and method for tissue analysis using remote ppg |
WO2023161145A1 (en) * | 2022-02-25 | 2023-08-31 | Koninklijke Philips N.V. | System and method for aligning movement direction of interventional device in image and control direction of commands entered by user |
EP4275644A1 (en) * | 2022-05-09 | 2023-11-15 | Koninklijke Philips N.V. | System and method for aligning movement direction of interventional device in image and control direction of commands entered by user |
JP2023127075A (ja) * | 2022-03-01 | 2023-09-13 | キヤノン株式会社 | 医療装置および湾曲可能ユニット |
JP2023130100A (ja) * | 2022-03-07 | 2023-09-20 | キヤノン株式会社 | システム、カテーテルケース、校正方法およびプログラム |
WO2024014910A1 (ko) * | 2022-07-13 | 2024-01-18 | 주식회사 로엔서지컬 | 움직임 보상 장치 |
WO2024150063A1 (en) * | 2023-01-12 | 2024-07-18 | Acclarent, Inc. | Apparatus and method to determine endoscope roll orientation based on image analysis |
CN116077195A (zh) * | 2023-01-13 | 2023-05-09 | 深圳市爱博医疗机器人有限公司 | 一种柔性医疗器械递送系统 |
CN117122262B (zh) * | 2023-04-11 | 2024-08-02 | 深圳信息职业技术学院 | 内窥镜采集图像的定位方法及内窥镜系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010511440A (ja) | 2006-12-01 | 2010-04-15 | ボストン サイエンティフィック リミテッド | ディレクトドライブ内視鏡法システムおよび方法 |
JP2015518391A (ja) | 2012-03-30 | 2015-07-02 | コーニンクレッカ フィリップス エヌ ヴェ | 入れ子カニューレの開始アライメント |
WO2016190324A1 (ja) | 2015-05-25 | 2016-12-01 | オリンパス株式会社 | 医療用チューブおよび医療用システム |
JP2017086688A (ja) | 2015-11-13 | 2017-05-25 | 国立大学法人 千葉大学 | 画像合成装置および方法 |
US20180296070A1 (en) | 2017-04-17 | 2018-10-18 | Olympus Corporation | Method for observing the branch portion of the hole and method for operating the endoscope system |
WO2019234906A1 (ja) | 2018-06-08 | 2019-12-12 | オリンパス株式会社 | オーバーチューブシステム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3347385B2 (ja) | 1992-03-27 | 2002-11-20 | オリンパス光学工業株式会社 | 内視鏡画像処理装置 |
US9033870B2 (en) | 2004-09-24 | 2015-05-19 | Vivid Medical, Inc. | Pluggable vision module and portable display for endoscopy |
US7811224B2 (en) | 2004-11-09 | 2010-10-12 | Karl Storz Development Corp. | Method for dealing with singularities in gravity referenced endoscopic imaging |
DE102005030647B3 (de) | 2005-06-30 | 2007-03-22 | Siemens Ag | Vorrichtung und Verfahren zur intraluminalen Bildgebung für die Rekonstruktion von 3D-Bilddatensätzen |
US9186046B2 (en) | 2007-08-14 | 2015-11-17 | Koninklijke Philips Electronics N.V. | Robotic instrument systems and methods utilizing optical fiber sensor |
WO2007100846A2 (en) | 2006-02-28 | 2007-09-07 | Emphasys Medical, Inc. | Endoscopic tool |
US9055906B2 (en) * | 2006-06-14 | 2015-06-16 | Intuitive Surgical Operations, Inc. | In-vivo visualization systems |
US20080097476A1 (en) | 2006-09-01 | 2008-04-24 | Voyage Medical, Inc. | Precision control systems for tissue visualization and manipulation assemblies |
US8527032B2 (en) | 2007-05-16 | 2013-09-03 | General Electric Company | Imaging system and method of delivery of an instrument to an imaged subject |
US9101735B2 (en) | 2008-07-07 | 2015-08-11 | Intuitive Surgical Operations, Inc. | Catheter control systems |
US9237851B2 (en) | 2012-02-03 | 2016-01-19 | Ninepoint Medical, Inc. | Imaging system producing multiple registered images of a body lumen |
US9539726B2 (en) | 2012-04-20 | 2017-01-10 | Vanderbilt University | Systems and methods for safe compliant insertion and hybrid force/motion telemanipulation of continuum robots |
US9144370B2 (en) * | 2013-02-28 | 2015-09-29 | Canon Usa Inc. | Mechanical structure of articulated sheath |
GB201303712D0 (en) | 2013-03-01 | 2013-04-17 | Geissler Michael P A | Optical navigation & positioning system |
EP2923669B1 (en) | 2014-03-24 | 2017-06-28 | Hansen Medical, Inc. | Systems and devices for catheter driving instinctiveness |
EP3316786B1 (en) | 2015-06-30 | 2019-09-11 | Koninklijke Philips N.V. | Fiber-optical realshape sensing for fluoroscopic surgical navigation |
US10986990B2 (en) * | 2015-09-24 | 2021-04-27 | Covidien Lp | Marker placement |
CN108472090B (zh) | 2015-12-29 | 2021-06-18 | 皇家飞利浦有限公司 | 用于控制外科手术机器人的系统、控制单元和方法 |
US10143839B1 (en) * | 2017-07-05 | 2018-12-04 | Medtronic, Inc. | Lead navigation guidance |
JP7030530B2 (ja) * | 2018-01-12 | 2022-03-07 | キヤノン株式会社 | 連続体ロボットの制御装置及びその制御方法、並びに、プログラム |
-
2021
- 2021-05-05 US US17/308,758 patent/US11786106B2/en active Active
- 2021-05-21 JP JP2021086099A patent/JP7235803B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010511440A (ja) | 2006-12-01 | 2010-04-15 | ボストン サイエンティフィック リミテッド | ディレクトドライブ内視鏡法システムおよび方法 |
JP2015518391A (ja) | 2012-03-30 | 2015-07-02 | コーニンクレッカ フィリップス エヌ ヴェ | 入れ子カニューレの開始アライメント |
WO2016190324A1 (ja) | 2015-05-25 | 2016-12-01 | オリンパス株式会社 | 医療用チューブおよび医療用システム |
JP2017086688A (ja) | 2015-11-13 | 2017-05-25 | 国立大学法人 千葉大学 | 画像合成装置および方法 |
US20180296070A1 (en) | 2017-04-17 | 2018-10-18 | Olympus Corporation | Method for observing the branch portion of the hole and method for operating the endoscope system |
WO2019234906A1 (ja) | 2018-06-08 | 2019-12-12 | オリンパス株式会社 | オーバーチューブシステム |
Also Published As
Publication number | Publication date |
---|---|
JP2022000141A (ja) | 2022-01-04 |
US20210369355A1 (en) | 2021-12-02 |
US11786106B2 (en) | 2023-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7235803B2 (ja) | 向き参照マーカを有するロボット内視鏡プローブ | |
US11957446B2 (en) | System and method for medical instrument navigation and targeting | |
US11426141B2 (en) | Systems and methods for interventional procedure planning | |
US11850008B2 (en) | Image-based branch detection and mapping for navigation | |
JP6656148B2 (ja) | ロボット支援管腔内手術のためのシステムおよび関連する方法 | |
US12087007B2 (en) | Vision-based 6DOF camera pose estimation in bronchoscopy | |
US11944422B2 (en) | Image reliability determination for instrument localization | |
US12035881B2 (en) | Systems and methods for responsive insertion and retraction of robotic endoscope | |
US20210186314A1 (en) | Dual endoscope device and methods of navigation therefor | |
JP7402215B2 (ja) | ゴースト器具情報を用いた管腔内ナビゲーション | |
US20240315781A1 (en) | Deflectable sensing instrument systems and methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210922 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7235803 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |