JP2023527968A - ハイブリッド撮像及びナビゲーションのためのシステム及び方法 - Google Patents

ハイブリッド撮像及びナビゲーションのためのシステム及び方法 Download PDF

Info

Publication number
JP2023527968A
JP2023527968A JP2022571840A JP2022571840A JP2023527968A JP 2023527968 A JP2023527968 A JP 2023527968A JP 2022571840 A JP2022571840 A JP 2022571840A JP 2022571840 A JP2022571840 A JP 2022571840A JP 2023527968 A JP2023527968 A JP 2023527968A
Authority
JP
Japan
Prior art keywords
data
endoscopic device
sensor
cases
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022571840A
Other languages
English (en)
Inventor
チャン，ジアン
スラウィンスキー，ピョートル，ロバート
ダンナ，カイル，ロス
Original Assignee
ノア メディカル コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノア メディカル コーポレーション filed Critical ノア メディカル コーポレーション
Publication of JP2023527968A publication Critical patent/JP2023527968A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A61B2017/00699—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body correcting for movement caused by respiration, e.g. by triggering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Otolaryngology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

患者の解剖学的管腔網を通して内視鏡デバイスをナビゲートするための方法が提供される。本方法は、（ａ）関節運動細長部材の遠位先端に、所定の経路に沿って移動するよう指令することと、（ｂ）（ａ）と同時に、位置センサデータ及び運動学データを収集することと、（ｃ）位置センサデータ及び運動学データに基づいて推定ロール角を計算することと、を含む。

Description

参照文献
[0001] 本出願は、２０２０年６月３日に出願された、米国仮特許出願第６３／０３４，１４２号の利益を主張する。同出願は本明細書において参照により組み込まれる。
発明の背景
[0002] 肺癌の早期診断は極めて重要である。肺癌の５年生存率は１８％前後であり、これは、次の３つの最もよく見られる癌、乳癌（９０％）、大腸癌（６５％）、及び前立腺癌（９９％）よりも著しく低い。２０１８年には、合計１４２，０００人の死亡が肺癌に起因して記録された。
[0003] ロボット工学技術は、気管支鏡を含む、種々の適用のための内視鏡内に組み込まれ得る利点を有する。例えば、主気管支の内部のような複雑な環境を効果的に通り抜ける能力を有する柔らかい変形可能構造を利用することによって、痛み及び患者の不快感を著しく低減することができる。しかし、患者の身体の内部の複雑さ及び動的環境を感知及び検出する精度及び精密度が不十分であるため、このようなロボット内視鏡の案内は依然として困難になり得る。
[0004] 種々の感知モダリティが気管支鏡ナビゲーションのために肺生検において採用されている。例えば、電磁（ＥＭ（electromagnetic））ナビゲーションは、術前ＣＴスキャンを用いて構築された解剖学的モデルとの位置合わせに基づく。実況カメラビジョンは、操作者が気管支鏡を駆動するための直接視を提供し、その一方で、画像データは、画像を術前ＣＴスキャンと位置合わせすることによって場所特定のためにも用いられる。モバイルＣアーム蛍光透視からの蛍光透視は、カテーテル及び解剖学的構造をリアルタイムに観察するために用いることができる。様々な角度におけるＸ線の映像に基づく部分的３Ｄ再構成であるトモシンセシスは病変を明らかにすることができ、病変は、ナビゲーション又はターゲティング中の実況蛍光透視像上に重ね合わせられ得る。気管支内超音波（ＥＢＵＳ（endobronchial ultrasound））は、病変を視覚化するために用いられている。ロボット運動学は、カテーテルがロボット制御される際に気管支鏡の先端の場所を特定するために有用である。しかし、技術の各々は、気管支鏡を、肺内の小病変に到達するよう確実にナビゲートするのに足るだけ十分な場所特定精度を提供することができないことがある。
[0005] 本明細書において認識されるのは、改善された感知及び場所特定能力をもって外科手術又は診断動作を遂行することを可能にする低侵襲システムの必要性である。本開示は、改善された場所特定精度及び信頼性をもって早期の肺癌診断及び治療を可能にするシステム及び方法を提供する。具体的には、本開示は、固有の融合フレームワークを用いて複数の感知モダリティを組み合わせることによってマルチモーダル感知特徴を有する気管支鏡デバイスを提供する。気管支鏡は、動的融合フレームワークを用いて、電磁（ＥＭ）センサ、直接撮像デバイス、運動学データ、トモシンセシス、及び超音波撮像を組み合わせ、特に、気道の外部で小さい肺モジュールが識別されることを可能にし、気管支鏡を標的に向けて自動的に操舵し得る。場合によっては、複数の感知モダリティは、各モダリティに関連付けられたリアルタイムの信頼スコア又は不確実性に基づいて動的に融合される。例えば、カメラ視野が遮られたとき、又はセンサデータの品質が、物体の場所を識別するために十分に良好でないとき、対応するモダリティは低い信頼スコアを付与され得る。場合によっては、電磁（ＥＭ）システムが用いられるときには、リアルタイム撮像（例えば、トモシンセシス、ＥＢＵＳ、実況カメラ）が、ＥＭナビゲーションに対する補正を提供するために採用され得、これにより、場所特定精度を向上させる。
[0006] 加えて、従来の内視鏡システムはスコープの配向の回復又はロール感知の能力を欠き得る。本開示は、スコープの配向を回復するためのリアルタイムロール検出を有する方法及びシステムを提供する。具体的には、フレキシブルカテーテルの遠位端部に配置された撮像デバイスの配向を検出するためのロール検出アルゴリズムが提供される。ロール検出アルゴリズムはリアルタイム位置合わせ及び蛍光透視画像データを利用し得る。これは、６自由度センサ（例えば、６自由度（ＤＯＦ（degree-of-freedom））ＥＭセンサ）の使用を有利に回避し得る。代替的方法では、ロール検出は、カテーテルの遠位端部上の放射線不透過性マーカ、及び蛍光透視などの、リアルタイム放射線撮影を用いることによって達成され得る。
[0007] 一態様では、患者の解剖学的管腔網を通して内視鏡デバイスをナビゲートするための方法が提供される。本方法は、（ａ）関節運動細長部材の遠位先端に、所定の経路に沿って移動するよう指令することと、（ｂ）（ａ）と同時に、位置センサデータ及び運動学データを収集することと、（ｃ）位置センサデータ及び運動学データに基づいて遠位先端の推定ロール角を計算することと、を含む。
[0008] 実施形態によっては、所定の経路は直線軌道を含む。実施形態によっては、所定の経路は非直線軌道を含む。
[0009] 実施形態によっては、位置センサデータは電磁（ＥＭ）センサによって取り込まれる。場合によっては、ＥＭセンサはロール配向を測定しない。実施形態によっては、位置センサデータは撮像モダリティから取得される。
[0010] 実施形態によっては、推定ロール角を計算することは、位置合わせアルゴリズムを位置センサデータ及び運動学データに適用することを含む。実施形態によっては、本方法は、推定ロール角の精度を評価することをさらに含む。
[0011] 別の態様では、患者の解剖学的管腔網を通して内視鏡デバイスをナビゲートするための方法が提供される。本方法は、（ａ）放射線不透過性マーカを内視鏡デバイスの遠位端部に取り付けることと、（ｂ）内視鏡デバイスが運動している間に内視鏡デバイスの蛍光透視画像データを取り込むことと、（ｃ）機械学習アルゴリズム訓練済みモデルを用いて蛍光透視画像データを処理することによって内視鏡デバイスの遠位端部の配向を再構成することと、を含む。
[0012] 実施形態によっては、配向は内視鏡デバイスの遠位端部のロール角を含む。実施形態によっては、機械学習アルゴリズムは深層学習ネットワークである。実施形態によっては、内視鏡デバイスの遠位端部は関節運動可能及び回転可能である。
[0013] 一態様では、マルチモーダルフレームワークを用いて患者の解剖学的管腔網を通して内視鏡デバイスをナビゲートするための方法が提供される。本方法は、（ａ）位置センサデータ、カメラによって取り込まれた画像データ、蛍光透視画像データ、超音波画像データ、及び運動学データを含む複数のソースからの入力データを受信することと、（ｂ）複数のソースの各々のための信頼スコアを決定することと、（ｃ）信頼スコア及び入力データに少なくとも部分的に基づいて入力特徴データを生成することと、（ｄ）機械学習アルゴリズム訓練済みモデルを用いて入力特徴データを処理し、内視鏡デバイスの遠位端部を操舵するためのナビゲーション出力を生成することと、を含む。
[0014] 実施形態によっては、位置センサデータは、内視鏡デバイスの遠位端部に取り付けられたＥＭセンサによって取り込まれる。実施形態によっては、カメラは内視鏡デバイスの遠位端部に組み込まれている。実施形態によっては、蛍光透視画像データはトモシンセシス技法を用いて取得される。
[0015] 実施形態によっては、入力データは複数のソースから同時に取得され、時間に関して整列させられる。実施形態によっては、超音波画像データは超音波トランスデューサのアレイによって取り込まれる。実施形態によっては、運動学データは内視鏡デバイスのロボット制御ユニットから取得される。
[0016] 実施形態によっては、ナビゲーション出力は内視鏡デバイスの作動ユニットへの制御コマンドを含む。実施形態によっては、ナビゲーション出力は、内視鏡デバイスの操作者に提示されるべきナビゲーション案内を含む。実施形態によっては、ナビゲーション出力は所望のナビゲーション方向を含む。
[0017] 別の態様では、患者の解剖学的管腔網を通して内視鏡デバイスをナビゲートする間に呼吸運動を補償するための方法が提供される。本方法は、（ａ）解剖学的管腔網を通して内視鏡デバイスをナビゲートする間に位置データを取り込むことと、（ｂ）機械学習アルゴリズム訓練済みモデルの助けにより位置データに基づいて呼吸運動モデルを作成することであって、呼吸運動モデルが、呼吸運動を内視鏡デバイスのナビゲーション運動と区別することによって作成される、作成することと、（ｃ）作成された呼吸運動モデルを用いて呼吸運動を補償することによって内視鏡デバイスの遠位部分を操舵するためのコマンドを生成することと、を含む。
[0018] 実施形態によっては、位置データは、内視鏡デバイスの遠位部分に配置されたＥＭセンサによって取り込まれる。実施形態によっては、機械学習アルゴリズムは深層学習ネットワークである。実施形態によっては、位置データは平滑化され、間引かれる。
[0019] 提供される内視鏡システムは、心臓、膀胱、及び肺組織を含む様々な種類の組織が関与する様々な低侵襲外科手術、治療、又は診断手順において、並びに限定するものではないが、食道、肝臓、胃、結腸、尿路を含む、消化器系、或いは限定するものではないが、気管支、肺、及び様々な他のものを含む、呼吸器系などの、患者の身体の他の解剖学的領域内で用いることができることに留意されたい。
[0020] 本開示の追加の態様及び利点は以下の詳細な説明から当業者に容易に明らかになるであろう。詳細な説明では、本開示の例示的な実施形態のみが示され、説明される。認識されることになるように、本開示は、他の、及び異なる実施形態が可能であり、そのいくつかの細部は、全て本開示から逸脱することなく、様々な明らかな点で変更が可能である。したがって、図面及び説明は本質的に例示と見なされるべきであり、限定と見なされるべきでない。
参照による組み込み
[0021] 本明細書において言及された全ての公報、特許、及び特許出願は、あたかも各々の個々の公報、特許、又は特許出願が、参照により組み込まれるよう具体的に個々に指示されているのと同じ程度に、本明細書に参照により組み込まれる。参照により組み込まれる公報、及び特許若しくは特許出願が、本明細書に包含される開示と矛盾する限りは、本明細書が、任意のこのような矛盾した事項に取って代わり、及び／又はこれに優先することを意図される。
[0022] 本発明の新規の特徴は添付の請求項において具体的に記述される。本発明の原理が利用される、例示的な実施形態を記述する以下の詳細な説明、及び添付の図面（また、本明細書において「図（Figure）」及び「図（FIG.）」）を参照することによって、本発明の特徴及び利点のより深い理解が得られるであろう。
[0023]図１は回転フレームの例を示す。 [0024]図２は校正手順の一例を示す。 [0025]図３は校正プロセスの一例の結果を示す。 [0026]図４は実験セットアップにおけるチューブ管腔内のスコープを示す。 [0027]図５は、姿勢推定のためにカテーテル先端に取り付けられた放射線不透過性マーカの一例を示す。 [0028]図６はマルチモーダルナビゲーションシステムのためのインテリジェント融合フレームワークを概略的に示す。 [0029]図７は、呼吸運動のための補償を算出する一例を示す。 [0030]図８は、ロボット支持システムによって支持されたロボット内視鏡システムの一例を示す。 [0031]図９は、ロボット内視鏡のハンドル部分への機械的インターフェースを提供する機器駆動機構の一例を示す。
発明の詳細な説明
[0032] 本発明の様々な実施形態が本明細書において示され、説明されたが、このような実施形態は単に例として提供されるにすぎないことが当業者には明らかであろう。当業者は、本発明から逸脱することなく数多くの変形、変更、及び置換に想到し得るであろう。本明細書において説明される本発明の実施形態に対する様々な代替例が採用され得ることを理解されたい。
[0033] 例示的な実施形態は主として気管支鏡に向けられることになるが、当業者は、これは、限定であることを意図されておらず、本明細書において説明されるデバイスは、他の治療又は診断手順のために、並びに限定するものではないが、食道、肝臓、胃、結腸、尿路を含む、消化器系、或いは限定するものではないが、気管支、肺、及び様々な他のものを含む、呼吸器系などの、患者の身体の他の解剖学的領域内で用いられ得ることを理解するであろう。
[0034] 本明細書において開示される実施形態は、改善された診断及び治療を患者に提供するために多くの仕方のうちの１つ以上で組み合わせることができる。本開示の実施形態は、例えば、肺の診断、手術、並びに他の組織及び器官の手術の既知の方法との組み合わせなど、改善された治療を提供するために既存の方法及び装置と組み合わせることができる。本明細書において説明されるとおりの構造及びステップのうちの任意の１つ以上は、本明細書において説明されるとおりの方法及び装置の追加の構造及びステップのうちの任意の１つ以上と組み合わせることができ、図面及び補助文は、実施形態に係る説明を提供することを理解されたい。
[0035] 本明細書において説明されるとおりの治療計画、並びに診断又は外科手術の定義は、気管支鏡、肺の診断又は手術の文脈で提示されているが、本明細書において説明されるとおりの方法及び装置は、脳、心臓、肺、腸、眼、皮膚、腎臓、肝臓、膵臓、胃、子宮、卵巣、精巣、膀胱、耳、鼻、口、軟組織、例えば、骨髄、脂肪組織、筋肉、腺及び粘膜組織、脊髄及び神経組織、軟骨等、生体硬組織、例えば、歯、骨、及び同様のもの等、並びに体内管腔及び通路、例えば、洞、尿管、結腸、食道、肺通路、血管、及び喉等などの、身体の任意の組織並びに身体の任意の器官及び導管を治療するために用いることができる。
[0036] 用語「少なくとも（at least）」、「～よりも大きい（greater than）」、又は「～以上（greater than or equal to）」が一連の２つ以上の数値のうちの最初の数値に先行するときは必ず、用語「少なくとも」、「～よりも大きい」、又は「～以上」はその一連の数値のうちの数値の各々に適用される。例えば、１、２、又は３以上（greater than or equal to 1, 2, or 3）は、１以上、２以上、又は３以上と等価である。
[0037] 用語「せいぜい（no more than）」、「～よりも小さい（less than）」、又は「～以下（less than or equal to）」が一連の２つ以上の数値のうちの最初の数値に先行するときは必ず、用語「せいぜい」、「～よりも小さい」、又は「～以下」はその一連の数値のうちの数値の各々に適用される。例えば、３、２、又は１以下（less than or equal to 3, 2, or 1）は、３以下、２以下、又は１以下と等価である。
[0038] 本明細書で使用される場合、プロセッサは、１つ以上のプロセッサ、例えば、単一のプロセッサ、又は例えば、分散処理システムの複数のプロセッサを包含する。本明細書において説明されるとおりのコントローラ又はプロセッサは、概して、プロセスのステップを実施するための命令を記憶するための有形媒体を含み、プロセッサは、例えば、中央処理装置、プログラム可能アレイ論理、ゲートアレイ論理、又はフィールドプログラマブルゲートアレイのうちの１つ以上を含み得る。場合によっては、１つ以上のプロセッサは、プログラム可能プロセッサ（例えば、中央処理装置（ＣＰＵ（central processing unit））、グラフィック処理装置（ＧＰＵ（graphic processing unit））、又はマイクロコントローラ）、デジタル信号プロセッサ（ＤＳＰ（digital signal processor））、フィールドプログラマブルゲートアレイ（ＦＰＧＡ（field programmable gate array））、及び／又は１つ以上のAdvanced RISC Machine（ＡＲＭ）プロセッサであり得る。場合によっては、１つ以上のプロセッサは非一時的コンピュータ可読媒体に動作可能に結合され得る。非一時的コンピュータ可読媒体は、１つ以上のステップを遂行するために１つ以上のプロセッサユニットによって実行可能な論理、コード、及び／又はプログラム命令を記憶することができる。非一時的コンピュータ可読媒体は、１つ以上のメモリユニット（例えば、ＳＤカード又はランダムアクセスメモリ（ＲＡＭ（random access memory））などの着脱式媒体又は外部ストレージ）を含むことができる。本明細書において開示される１つ以上の方法又は動作は、例えば、ＡＳＩＣ、専用コンピュータ、又は汎用コンピュータなどの、ハードウェア構成要素、或いはハードウェア及びソフトウェアの組み合わせの形で実施され得る。
[0039] 本明細書で使用される場合、遠位（distal）及び近位（proximal）という用語は、概して、装置から参照される場所を指し得、解剖学的参照の反対になり得る。例えば、気管支鏡又はカテーテルの遠位場所は患者の細長要素の近位場所に対応し得、気管支鏡又はカテーテルの近位場所は患者の細長要素の遠位場所に対応し得る。
[0040] 本明細書において説明されるとおりの内視鏡システムは、カテーテルなどの細長部分又は細長部材を含む。用語「細長部材」及び「カテーテル」は、文脈が別途示唆しない限り、本明細書全体を通じて互換的に使用される。細長部材は体内管腔又は体内空洞内に直接配置することができる。実施形態によっては、システムは、細長部材の運動及び／又は動作を駆動する、支持する、位置付ける、又は制御するためのロボットマニピュレータ（例えば、ロボットアーム）などの支持装置をさらに含み得る。代替的に、又は加えて、支持装置は、ロボットシステムを含み得るか、又は含まなくてもよいハンドヘルドデバイス又は他の制御デバイスであり得る。実施形態によっては、システムは、対象者の身体内の標的部位への細長部材のナビゲーションを支援し、及び／又は促進するであろう撮像システムなどの周辺デバイス及びサブシステムをさらに含み得る。
[0041] 実施形態によっては、本開示の提供されるシステム及び方法は、少なくとも、電磁（ＥＭ）センサ、光ファイバセンサ、及び／又は医療器具を、術前に記録された外科用画像と共に位置合わせして表示し、これにより、内視鏡の遠位部分を患者の身体又はグローバル基準系に対して位置付けるための他のセンサなどの、位置感知システムを実装し得るマルチモーダル感知システムを含み得る。位置センサは、外部生成電磁界にさらされ得る１つ以上の導電コイルを含むＥＭセンサシステムの構成要素であり得る。位置センサシステムを実装するために用いられるＥＭセンサシステムの各コイルは、このとき、外部生成電磁界に対するコイルの位置及び配向に依存する特性を有する誘導電気信号を作り出す。場合によっては、位置感知システムを実装するために用いられるＥＭセンサシステムは、少なくとも３つの自由度、例えば、３つの位置座標Ｘ、Ｙ、Ｚを測定するように構成され、位置付けられ得る。代替的に、又は加えて、ＥＭセンサシステムは、５つの自由度、例えば、３つの位置座標Ｘ、Ｙ、Ｚ、並びに基点のピッチ及びヨーを指示する２つの配向角を測定するように構成され、位置付けられ得る。場合によっては、ロール角は、ＭＥＭＳベースのジャイロセンサ及び／又は加速度計を含むことによって提供され得る。しかし、ジャイロスコープ又は加速度計が利用可能でない場合には、ロール角は、本明細書において後に説明されるように、独自のロール検出アルゴリズムによって回復され得る。
[0042] 本開示は、ロール検出、又はカテーテル姿勢の推定のための様々なアルゴリズム及び方法を提供する。提供される方法又はアルゴリズム、６ＤＯＦセンサを用いないカテーテル姿勢推定を有利に可能にし得る。加えて、提供される方法及びアルゴリズムは、追加のハードウェア、又は基礎をなすシステムに対する変更を要求することなく、ロール検出能力を欠く任意の既存のシステム又はデバイスに容易に統合又は適用することができる。
ロール検出アルゴリズム
[0043] 本開示は、リアルタイムスコープ配向測定及びロール検出のためのアルゴリズムを提供する。本明細書において提供されるアルゴリズムは、任意のロボット作動式／制御式フレキシブルデバイスのためのロール配向を検出するために用いることができる。実施形態によっては、アルゴリズムは、カテーテル先端のための瞬間ロール推定を生成するための「振り動かし（Wiggle）」法を含み得る。ロール検出アルゴリズムは、ロボットシステムがＥＭセンサデータ及び運動学的データを収集する間の自動カテーテル先端運動のプロトコルを含み得る。場合によっては、運動学データは内視鏡デバイスのロボット制御ユニットから取得され得る。
[0044] 図１はカテーテル先端１０５のための回転フレーム１００の例を示す。図示の例では、カメラ１０１及び１つ以上の照明デバイス（例えば、ＬＥＤファイバベースのライト）１０３がカテーテル先端内に組み込まれ得る。カメラは、結像光学系（例えば、レンズ要素）、画像センサ（例えば、ＣＭＯＳ若しくはＣＣＤ）、及び照明（例えば、ＬＥＤ若しくはファイバベースのライト）を含み得る。
[0045] 実施形態によっては、カテーテル１１０は、シャフト１１１、関節運動（屈曲）セクション１０７、及び操舵可能遠位部分若しくはカテーテル先端１０５を含み得る。関節運動セクション（屈曲セクション）１０７は操舵可能遠位部分をシャフト１１１に接続する。例えば、関節運動セクション１０７は第１の端部において遠位先端部分に接続され、第２の端部において、又は基部１０９においてシャフト部分に接続され得る。関節運動セクションは１本以上のプルワイヤによって関節運動させられ得る。例えば、１本以上のプルワイヤの遠位端部はカテーテル先端１０５に固定又は統合され得、これにより、制御ユニットによるプルワイヤの操作は力又は張力をカテーテル先端１０５に印加し得、その結果、カテーテルの遠位部分（例えば、フレキシブルセクション）を操舵する、又は関節運動させる（例えば、上、下、ピッチ、ヨー、又は間の任意の方向）。
[0046] ロール検出アルゴリズムにおいて利用される回転フレーム及び回転行列が図１に示されており、以下のように定義される：
Figure 2023527968000002
 ：リアルタイムＥＭセンサデータは、静ＥＭ界発生器フレーム「ｅｍ」に対するＥＭセンサフレーム、すなわち、「ｓ」の相対回転を提供する；
Figure 2023527968000003
 ：リアルタイム運動学データは、カテーテル基部「ｃｂ」に対するカテーテル（例えば、気管支鏡）先端「ｃｔ」の相対回転を提供する。場合によっては、「ｃｔ」のポーズはプルワイヤの引っ張り長さによって規定され得る。
Figure 2023527968000004
 ：「ｃｂ」フレームの位置合わせの結果は、静ＥＭ界発生器フレーム「ｅｍ」に対するカテーテル（例えば、気管支鏡）基部フレーム「ｃｂ」の相対回転を提供する。
Figure 2023527968000005
 ：カテーテル先端フレーム「ｃｔ」に対するＥＭセンサ「ｓ」の相対配向は校正手順から取得することができる。場合によっては、
Figure 2023527968000006
 は、先端アセンブリの標準的な、又は一貫した製造にわたって再現可能であり得る。
[0051] 上述されたように、カテーテル先端フレーム「ｃｔ」に対するＥＭセンサ「ｓ」の相対配向、すなわち、
Figure 2023527968000007
 は校正手順から取得することができる。例示的なプロセスでは、標準的な点座標位置合わせ（例えば、３Ｄ点集合の最小二乗フィッティング）が適用され得る。例示的な校正プロセスは以下の動作を含み得る：
（１）カテーテルの関節運動セクション１０９の基部を、内視鏡が磁界発生器の作業空間内に入るよう表面に固定する；
（２）ＥＭセンサデータ、及び内視鏡の先端の運動学的姿勢を記録する；
（３）内視鏡をその到達可能作業空間内であちこちに関節運動させる；
（４）後処理：ＥＭ及び運動学的データを同期させる；
（５）後処理：位置合わせアルゴリズムを適用し、回転行列
Figure 2023527968000008
 を得る
（６）回転を算出し、最終相対回転行列
Figure 2023527968000009
 を得る。内視鏡が直線状であるとき、回転行列
Figure 2023527968000010
 は恒等行列を呈する。最後に、
Figure 2023527968000011
 。ここで、回転行列
Figure 2023527968000012
 は、スコープが直線状であるときのＥＭセンサの回転を表す。
[0058] 図２は校正手順の一例を示す。ＥＭデータ及び運動学的データが収集される間に、カテーテル先端が運動させられる（例えば、関節運動させられる）。場合によっては、校正手順は人間の介入を伴わずに自律的に実施され得る。例えば、カテーテル先端の関節運動は、所定の校正プログラムを実行することによって自動的に遂行され得る。代替的に、又は追加的に、ユーザが、コントローラを介してカテーテル先端を運動させることを可能にされ得る。上述されたとおりの位置合わせアルゴリズムが、運動学的先端フレームに対する先端に配置されたＥＭセンサの間の相対回転を計算するために適用される。
[0059] 図３は校正プロセスの一例の結果を示す。校正プロセスは、位置合わせ手順のリアルタイム視覚化を提供するために視覚化表現で示され得る。校正プロセス／結果は様々な形式でユーザに提示することができる。図に示されているように、視覚化表現は、校正プロセスが正確なリアルタイムの校正結果を提供することを示すプロットであり得る。例えば、プロットは、内視鏡基部フレームのｚ軸がスコープ先端進行方向の近似方向にあることを示している（３０１）。第２の観察３０３は、内視鏡基部フレームのｘ軸が、ＥＭフレームから離れる方へ向いていることを示している。スコープ先端は、カメラがＥＭ界発生器のより近くにあるように配向されているため、これは、予想された結果である。第３の観察３０５は、「ｓ」フレームのｘ軸がスコープ先端進行方向と適切に整列していることを示している。場合によっては、上述されたとおりの校正観察又は結果の視覚インジケータ（例えば、テキスト記述又は視覚インジケータ）がユーザインターフェース上でユーザに表示され得る。
[0060] 実施形態によっては、ロール検出アルゴリズムは、点座標位置合わせに基づくアルゴリズムを含み得る。上述の校正手順と同様に、このアルゴリズムは単純な点座標位置合わせに依存する。場合によっては、カテーテル先端をその作業空間内で（すなわち、非直線状軌道に沿って）振り動かす代わりに、校正は、先端に、直線軌道に沿って並進するよう指令することによって実施することができる。本アルゴリズムは、（非直線軌道に沿って振り動かす代わりに）校正の所要時間を有利に短縮する直線軌道を用いた校正を可能にし得る。例示的なプロセスでは、アルゴリズムは以下の動作を含み得る：
[0061] （１）カテーテル先端をその作業空間内であちこちに運動させることによって先端運動を実施する。カテーテル先端が、先端をあちこちに振り動かすか、又は経路に沿って移動する（例えば、短い直線軌道に沿って並進する）ためのコマンドに従うなどして、所定の経路に従って運動させられる間に、ＥＭセンサデータ及び運動学的データが収集される。
[0062] （２）位置合わせアルゴリズムをＥＭセンサデータに適用し、回転行列
Figure 2023527968000013
 を取得することによって回転行列
Figure 2023527968000014
 を計算する。本方法は、上述されたのと同じであることができる。この位置合わせの出力が
Figure 2023527968000015
 である。位置データ（例えば、ＥＭセンサ）はアルゴリズムへの入力であり、出力は、ロール配向を含む内視鏡シャフトの推定配向である。このように、上述されたとおりの位置合わせプロセスを用いて、位置データの両セット（例えば、（１）運動学的基部フレームに対する、運動学的先端フレームの位置、及び（２）ＥＭ界発生器座標系に対する、内視鏡先端内に組み込まれたＥＭセンサの位置）の基部フレームの間の相対配向
Figure 2023527968000016
 を得ることができる。
[0063] （３）ＥＭセンサデータを用いて、予想される運動学的カテーテル先端フレームを再構成する。本方法は推定写像
Figure 2023527968000017
 を回復し得る。概念のシナリオでは、推定写像
Figure 2023527968000018
 は（ＥＭ情報を包含しない）運動学写像
Figure 2023527968000019
 と同一であり得る。推定運動学写像（位置センサデータに基づく）と運動学写像（運動学データに基づく）との差は写像回転行列
Figure 2023527968000020
 における誤差を指示し得る。２つの運動学写像を比較することによって、本提示の方法は、内視鏡シャフトの配向を算出する性能（例えば、精度）を定量的に評価する能力を有する。
[0064] 予想される運動学的カテーテル先端フレームは、以下の式を用いて推定することができる：
Figure 2023527968000021
 。この回転行列は、磁界発生器、すなわち、ＥＭ座標系に対する運動学的先端フレームの配向を表す。この情報は、さもなければ、（例えば、細長部材のフレキシブルな／未知の形状のゆえに）運動学を用いるのみでは未知である。
[0066] （位置合わせの出力を用いて推定された）上述の配向を写像することによって、以下の式を用いて内視鏡先端フレームと内視鏡基部フレームとの間の相対配向を回復することができる：
Figure 2023527968000022
[0068] 予想又は推定運動学的カテーテル先端フレームは運動学的基部フレームに対して表される。カテーテル先端のこのような予想運動学的カテーテル先端フレーム又は推定回転は、位置情報、すなわち、位置合わせプロセスを用いてのみ得られる。
[0069] 本方法は、運動学写像
Figure 2023527968000023
 と、再構成された先端フレーム
Figure 2023527968000024
 との間の回転オフセットを計算することによって、ロール算出アルゴリズムの性能をさらに評価し得る。上述されたように、理想的な場合には、これらの回転行列は同一であり得る。上述のステップにおいて取得されたカテーテル先端の推定回転の正しさを評価するために、以下の式を用いて回転オフセットを計算することができる：
Figure 2023527968000025
[0071] ＥＭセンサデータからの運動学フレームの再構成におけるロール誤差は、回転オフセットを軸及び角度の表現に分解することによって計算することができる。角度は、ＥＭセンサデータからの運動学フレームの再構成における誤差の意味を持つ。誤差角は以下の式を用いて得ることができる：
Figure 2023527968000026
[0073] 次に、誤差角を内視鏡の進行方向軸上に射影し、純粋なロール誤差θｒを得る：
Figure 2023527968000027
[0075] 場合によっては、代替的方法が、最後のステップにおいてロール誤差を計算するために用いられ得る。ロール誤差は、再構成されたカテーテル先端座標フレームを、内視鏡先端の進行方向によって規定される平面上に射影することによって、幾何学的方法を用いて計算することができる。すなわち、内視鏡の進行方向は平面と直交する。再構成されたカテーテル先端のｘ軸を計算することができ、ロール誤差は、以下の式を用いて、再構成されたｘ軸と運動学的カテーテル先端におけるｘ軸との間の角度として定義することができる：
Figure 2023527968000028
Figure 2023527968000029
 、ここで、Ｐは、ベクトルを平面上に射影する、
Figure 2023527968000030
 として定義された射影行列であり、
Figure 2023527968000031
 である。
Figure 2023527968000032
実験
[0079] スコープをチューブ管腔内に挿入し、スコープが管腔内にある効果を模擬することによって、実験を実施した。図４は、実験セットアップにおけるチューブ管腔内のスコープを示す。１４．８±９．１０の平均計算ロール誤差を有する５つのデータセットを使って本提案のアルゴリズムを評価した。最後の２つの実験は、最初の３つの実験におけるものよりもはるかに大きい誤差を有した。１４．８±９．１０の平均計算ロール誤差を有する５つのデータセットを使って本提案のアルゴリズムを評価した。
[0080] 以下は、図４に示される実験から収集又は生成された生データの表である。θｒ２は、代替的方法（すなわち、幾何学的方法）を用いて計算されたロール角である。
Figure 2023527968000033
[0081] また、ロール配向を算出するために他の方法も採用され得る。位置データの２つのセット：（１）運動学的基部フレームに対する、運動学的先端フレームの位置、及び（２）ＥＭ界発生器座標系に対する、内視鏡先端内に組み込まれたＥＭセンサの位置が利用される、上述の位置合わせプロセスと同様に。実施形態によっては、ＥＭセンサは、（物理的にではないにしても）運動学的先端フレームと同様に、内視鏡先端内に剛体的に固定され得、位置データの両セットの基部フレームの間の相対配向を計算するために位置合わせプロセスが用いられ得る。
[0082] 場合によっては、ＥＭセンサデータを用いる代わりに、ロール配向を算出するために他のセンサデータも採用され得る。非運動学的位置情報は必ずしも電磁追跡システムに由来する必要はない。その代わりに、例えば、蛍光透視画像情報が、位置情報を取り込むために用いられ得る。上述された位置合わせ方法（例えば、点座標位置合わせ又は他の座標位置合わせアルゴリズム）と併せて、内視鏡運動学フレームと基準蛍光透視座標系との間の相対配向が計算され得る。例えば、蛍光透視画像データからの運動を、駆動機構の運動から取得された運動学における運動に写像することによって（例えば、蛍光透視画像データに基づいて運動学データ及びスコープ先端位置を計算する）、ロール運動を回復することができる。場合によっては、撮像モダリティ（例えば、ＥＭセンサデータに取って代わるための位置データを提供する撮像モダリティ）が既知の座標系内の位置情報を実際に明示的に提供するときには、画像アーチファクトを座標位置に写像する追加のステップが遂行され得る。
放射線不透過性物質を用いたカテーテル姿勢推定
[0083] 実施形態によっては、ロール測定又は姿勢推定は、放射線不透過性物質の物体認識を用いて達成され得る。例えば、放射線不透過性パターンをカテーテル先端に配設することによって、蛍光透視撮像及び画像認識を用いてカテーテルの配向を回復することができる。
[0084] 本方法は、蛍光透視撮像の下で見たときのカテーテル先端軸に沿ったロール角を測定する能力を有し得る。これは、６ＤＯＦセンサを用いないカテーテル姿勢推定を有利に可能にし得る。加えて、提供される方法は、蛍光透視撮像の助けによりカテーテル配向を自動的に算出することができる場合には、ユーザ対話を必要としなくてもよい。
[0085] 蛍光透視は、Ｘ線を用いた撮像視野内の患者の解剖学的構造、医療機器、及び任意の放射線不透過性マーカのリアルタイム動画像を取得する撮像モダリティである。蛍光透視システムは、位置的柔軟性をもたらし、手動又は自動制御を介した軌道、水平、及び／又は鉛直運動の能力を有するＣアームシステムを含み得る。非Ｃアームシステムは静止型であり、もたらす運動の柔軟性はより低い。蛍光透視システムは、概して、患者の解剖学的構造の２次元リアルタイム画像を生成するためにイメージインテンシファイア又はフラットパネル検出器のどちらかを用いる。２平面蛍光透視システムが、各々、異なる（多くの場合、直交した）視点からの、２つの蛍光透視画像を同時に取り込む。本提示の方法では、カテーテルの先端に配設された放射線不透過性マーカが蛍光透視撮像によって視認可能になり得、カテーテル又はカメラの姿勢を推定するために分析される。
[0086] 図５は、姿勢推定のためにカテーテル先端５０１に取り付けられた放射線不透過性マーカ５０３の一例を示す。図に示されるように、放射線不透過性パターンが内視鏡の先端上に配置され、蛍光透視撮像によって撮像される。場合によっては、放射線不透過性マーカは細長部材の先端の外面に一体的に結合され得る。代替的に、放射線不透過性マーカは細長部材に取り外し可能に結合され得る。内視鏡デバイスが運動している間に蛍光透視画像データが取り込まれ得る。放射線不透過性パターンは蛍光透視画像データ内で視認可能である。蛍光透視画像データは、コンピュータビジョン、機械学習、又は蛍光透視画像内のマーカの形状を認識及び分析するための他の物体認識方法を用いるなどして、カテーテル先端の配向を回復するために処理され得る。
[0087] 放射線不透過性マーカは、カテーテル先端の３Ｄ配向を回復するために有用である任意のパターン、形状、又は幾何学的特徴を有し得る。例えば、パターンは、少なくとも３つの点を有して非対称であり得る。図示の例では、放射線不透過性マーカは、限定であることを意図されない「Ｌ」字形状を有する。多くの形状及びサイズのマーカを採用することができる。場合によっては、マーカは、少なくとも３つの区別可能な点を有する非対称形状又はパターンを有し得る。
[0088] コンピュータビジョン（ＣＶ（computer vision））技法又はコンピュータビジョンシステムが、物体の３Ｄ配向又は姿勢を構築するべく２Ｄ画像データを処理するために用いられている。任意の他の好適な光学的方法又は画像処理技法が、パターンを認識し、分離するするとともに、それを回転角のうちの１つに関連付けるために利用され得る。例えば、カメラ又はカテーテル先端部分の配向は、例えば、物体認識、立体鏡視、単眼シェイプフロムモーション（monocular shape-from-motion）、シェイプフロムシェーディング（shape-from-shading）、及び同時位置決め地図作成（ＳＬＡＭ（Simultaneous Localization and Mapping））、或いはオプティカルフロー、計算的立体アプローチ、予測モデル、機械学習アプローチ、予測フィルタリングと組み合わせられた反復的方法、又は任意の非剛体位置合わせ方法などの他のコンピュータビジョン技法を含む方法を用いて得ることができる。
[0089] 場合によっては、カテーテル姿勢又はロール角を予測するための光学的技法は１つ以上の訓練済み予測モデルを採用し得る。場合によっては、予測モデルによって処理されるべき入力データは画像又は光学データを含み得る。画像データ又は映像データは蛍光透視システム（例えば、Ｃアームシステム）によって取り込まれ得、ロール配向は、画像又は光学データが収集される間にリアルタイムに回復され得る。
[0090] １つ以上の予測モデルは、任意の好適な深層学習ネットワークを用いて訓練することができる。例えば、深層学習ネットワークは、本質的に、符号器層の各々の出力を、対応する復号器層の出力へ直接転送するスキップ接続を有する、マルチスケール符号器－復号器アーキテクチャである、Ｕ－Ｎｅｔアーキテクチャを採用し得る。Ｕ－Ｎｅｔアーキテクチャの一例として、グリッディングアーチファクトの低減を助けるピクセルシャッフル層を用いて、復号器におけるアンサンプリングが遂行される。符号器の特徴と復号器のものとの併合が、ピクセルごとの加算演算を用いて遂行され、メモリ要求の低減をもたらす。中心入力フレームと出力との間の残差接続が、訓練プロセスを加速するために導入される。
[0091] 深層学習モデルは、フィードフォワードニューラルネットワーク、放射基底関数ネットワーク、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、深層残差学習ネットワーク、及び同様のものなどの、任意の種類のニューラルネットワークモデルを採用することができる。実施形態によっては、深層学習アルゴリズムは畳み込みニューラルネットワーク（ＣＮＮ（convolutional neural network））であり得る。モデルネットワークは、複数の層を含み得るＣＮＮなどの深層学習ネットワークであり得る。例えば、ＣＮＮモデルは、少なくとも、入力層、多数の隠れ層、及び出力層を含み得る。ＣＮＮモデルは、任意の総数の層、及び任意の数の隠れ層を含み得る。ニューラルネットワークの最も単純なアーキテクチャは入力層から開始し、その後に一連の中間又は隠れ層が続き、出力層で終了する。隠れ又は中間層は学習可能な特徴抽出器の役割を果たし得、その一方で、出力層は、改善された画像フレームを出力し得る。ニューラルネットワークの各層は多数のニューロン（又はノード）を含み得る。ニューロンは、入力データ（例えば、低品質画像データ等）から直接、又は他のニューロンの出力から到来する入力を受信し、特定の演算、例えば、合計を遂行する。場合によっては、入力からニューロンへの接続は重み（又は重み付け係数）に関連付けられる。場合によっては、ニューロンは入力及びそれらの関連重みの全ての対の積を合計し得る。場合によっては、重み付き合計はバイアスを用いてオフセットされる。場合によっては、ニューロンの出力は閾値又は活性化関数を用いてゲーティングされ得る。活性化関数は線形又は非線形であり得る。活性化関数は、例えば、正規化線形ユニット（ＲｅＬＵ（rectified linear unit））活性化関数、又は飽和双曲線正接、恒等、バイナリステップ、ロジスティック、arcTan、ソフトサイン、パラメテリック正規化線形ユニット、指数関数的線形ユニット、ソフトプラス、ベント恒等、softExponential、シヌソイド、シンク、ガウス、シグモイド関数などの他の関数、或いはこれらの任意の組み合わせであり得る。訓練プロセスの間に、ＣＮＮの重み又はパラメータは、グラウンドトゥルースデータを近似するように調整され、これにより、入力生画像データから所望の出力データ（例えば、３Ｄシーン内における物体の配向）へのマッピングを学習する。
ハイブリッド撮像及びナビゲーション
[0092] 本開示の内視鏡システムは、向上したナビゲーション能力をもたらすために複数の感知モダリティを組み合わせ得る。実施形態によっては、マルチモーダル感知システムは、少なくとも、位置感知（例えば、ＥＭセンサシステム）、直接視（例えば、カメラ）、超音波撮像、及びトモシンセシスを含み得る。
[0093] 上述されたように、電磁（ＥＭ）ナビゲーションは、術前ＣＴスキャンを用いて構築された解剖学的モデルとの位置合わせに基づく。実況カメラビジョンは、操作者が気管支鏡を駆動するための直接視を提供し、その一方で、画像データは、画像を術前ＣＴスキャンと位置合わせすることによって場所特定のためにも用いられる。モバイルＣアーム蛍光透視からの蛍光透視は、カテーテル及び解剖学的構造をリアルタイムに観察するために用いることができる。様々な角度におけるＸ線の映像に基づく部分的３Ｄ再構成であるトモシンセシスは病変を明らかにすることができ、病変は、ナビゲーション又はターゲティング中の実況蛍光透視像上に重ね合わせられ得る。気管支内超音波（ＥＢＵＳ）は、病変を視覚化するために用いられている。ロボット運動学は、カテーテルがロボット制御される際に気管支鏡の先端の場所を特定するために有用である。場合によっては、運動学データは内視鏡デバイスのロボット制御ユニットから取得され得る。
[0094] 場合によっては、内視鏡システムは、電磁（ＥＭ）センサ、光ファイバセンサ、及び／又は医療器具を、術前に記録された外科用画像と共に位置合わせして表示し、これにより、内視鏡の遠位部分を患者の身体又はグローバル基準系に対して位置付けるための他のセンサなどの、位置感知システムを実装し得る。位置センサは、外部生成電磁界にさらされ得る１つ以上の導電コイルを含むＥＭセンサシステムの構成要素であり得る。位置センサシステムを実装するために用いられるＥＭセンサシステムの各コイルは、このとき、外部生成電磁界に対するコイルの位置及び配向に依存する特性を有する誘導電気信号を作り出す。場合によっては、位置感知システムを実装するために用いられるＥＭセンサシステムは、少なくとも３つの自由度、例えば、３つの位置座標Ｘ、Ｙ、Ｚを測定するように構成され、位置付けられ得る。代替的に、又は加えて、ＥＭセンサシステムは、６つの自由度、例えば、３つの位置座標Ｘ、Ｙ、Ｚ、並びに基点のピッチ、ヨー、及びロールを指示する３つの配向角、或いは５つの自由度、例えば、３つの位置座標Ｘ、Ｙ、Ｚ、並びに基点のピッチ及びヨーを指示する２つの配向角を測定するように構成され、位置付けられ得る。
[0095] 直接視はカメラなどの撮像デバイスによって提供され得る。撮像デバイスは、内視鏡のカテーテル又は細長部材の遠位先端に配置され得る。場合によっては、方向視システムは撮像デバイス及び照明デバイスを含み得る。実施形態によっては、撮像デバイスはビデオカメラであり得る。撮像デバイスは、画像データを取り込むための光学要素及び画像センサを含み得る。画像センサは、光の波長に応じて画像データを生成するように構成され得る。相捕型金属酸化膜半導体（ＣＭＯＳ（complementary metal oxide semiconductor））又は電荷結合素子（ＣＣＤ（charge-coupled device））などの画像データを取り込むための種々の画像センサが採用され得る。撮像デバイスは低コストカメラであり得る。場合によっては、画像センサは回路基板上に設けられ得る。回路基板は撮像プリント回路基板（ＰＣＢ（printed circuit board））であり得る。ＰＣＢは、画像信号を処理するための複数の電子要素を含み得る。例えば、ＣＣＤセンサのための回路は、ＣＣＤセンサによって提供されたアナログ信号を増幅し、変換するためのＡ／Ｄ変換器及び増幅器を含み得る。任意選択的に、回路基板が必要とされなくなり得るよう、画像センサは、アナログ信号をデジタル信号に変換するための増幅器及び変換器と統合され得る。場合によっては、画像センサ又は回路基板の出力は、カメラのカメラ回路又はプロセッサによってさらに処理され得る画像データ（デジタル信号）であり得る。場合によっては、画像センサは光センサのアレイを含み得る。本明細書において後に説明されるように、撮像デバイスは、カテーテル、又は内視鏡に組み付けられた独立したハイブリッドプローブの遠位先端に配置され得る。
[0096] 照明デバイスは、内視鏡又はカテーテルの遠位先端に位置付けられた１つ以上の光源を含み得る。光源は、発光ダイオード（ＬＥＤ（light-emitting diode））、有機ＬＥＤ（ＯＬＥＤ（organic LED））、量子ドット、又は任意の他の好適な光源であり得る。場合によっては、光源は、コンパクト設計のための小型ＬＥＤ、又はデュアルトーンフラッシュＬＥＤ照明であり得る。
[0097] 提供される内視鏡システムは、医師を気道の外部の場所へ案内するのを助けるために超音波を用い得る。例えば、ユーザは超音波を用いて病変の場所をリアルタイムに特定し、コンピュータ断層撮影（ＣＴ（computed tomography））スキャンが孤立性肺結節のおおよその場所を明らかにした場所へ内視鏡を案内し得る。超音波は、コンベックス型プローブＥＢＵＳとしても知られる、線形気管支内超音波（ＥＢＵＳ）であり得、画像内視鏡デバイスの側方を撮像し得、又は半径方向に３６０°撮像するラジアルプローブＥＢＵＳであり得る。例えば、線形気管支内超音波（ＥＢＵＳ）トランスデューサ又はトランスデューサアレイが内視鏡の遠位部分に配置され得る。
[0098] 本開示のマルチモーダル感知特徴は、固有の融合フレームワークを用いて複数の感知モダリティを組み合わせることを含み得る。気管支鏡は、動的融合フレームワークを用いて、電磁（ＥＭ）センサ、直接撮像デバイス、トモシンセシス、運動学データ、及び超音波撮像を組み合わせ、特に、気道の外部で小さい肺モジュールが識別されることを可能にし、気管支鏡を標的に向けて自動的に操舵し得る。場合によっては、複数の感知モダリティは、各モダリティに関連付けられたリアルタイムの信頼スコア又は不確実性に基づいて動的に融合される。場合によっては、電磁（ＥＭ）システムが用いられるときには、リアルタイム撮像（例えば、トモシンセシス、ＥＢＵＳ、実況カメラ）が、ＥＭナビゲーションに対する補正を提供するために採用され得、これにより、場所特定精度を向上させる。
[0099] 提供されるシステム及び方法は、マルチモーダルデータの融合を最適化するために機械学習及びＡＩ技術を利用するマルチモーダルナビゲーションシステムを含み得る。実施形態によっては、マルチモーダルナビゲーションシステムは、インテリジェント融合フレームワークを介して、４種以上の異なる感知モダリティ、すなわち、位置感知（例えば、ＥＭセンサシステム）、直接視（例えば、カメラ）、超音波撮像、運動学データ、及びトモシンセシスを組み合わせ得る。
[0100] インテリジェント融合フレームワークは１つ以上の予測モデルを含み得、上述されたとおりの任意の好適な深層学習ネットワークを用いて訓練することができる。深層学習モデルは教師あり学習又は半教師あり学習を用いて訓練され得る。例えば、深層学習ネットワークを訓練するために、入力画像データ（すなわち、カメラによって取り込まれた画像）並びに所望の出力データ（例えば、カテーテル先端のナビゲーション方向、姿勢、又は場所）を有するデータセットの対が訓練データセットとしてシステムの訓練モジュールによって生成され得る。
[0101] 代替的に、又は加えて、手作りのルールが融合フレームワークによって利用され得る。例えば、信頼スコアが、異なるモダリティの各々のために生成され得、複数のデータはリアルタイムの条件に基づいて組み合わせられ得る。
[0102] 図６は、マルチモーダルナビゲーションシステムを動的に制御し、リアルタイム感知データ及びロボット運動学データを融合して処理し、ナビゲーション及び様々な他の目的のための出力を生成するためのインテリジェント融合フレームワーク６００を概略的に示す。実施形態によっては、インテリジェント融合フレームワーク６００は、位置センサ６１０、光学撮像デバイス（例えば、カメラ）６２０、トモシンセシスシステム６３０、ＥＢＵＳ撮像システム６４０、ロボット運動学データを提供するためのロボット制御システム６５０、センサ融合構成要素６６０、及びインテリジェントナビゲーション方向推測エンジン６７０を含み得る。位置センサ６１０、光学撮像デバイス（例えば、カメラ）６２０、トモシンセシスシステム６３０、ＥＢＵＳ撮像システム６４０、及びロボット運動学データ６５０は、上述されたものと同じであることができる。
[0103] 実施形態によっては、ナビゲーションエンジン６７０の出力６１３は、ロボット内視鏡をリアルタイムに操舵するための所望のナビゲーション方向又は操舵制御出力信号を含み得る。場合によっては、ロボット内視鏡システムが自律モードになっているときには、マルチモーダルナビゲーションシステムは、マルチモーダル入力データを処理し、予測操舵方向及び／又は操舵制御信号を、ロボット内視鏡の遠位先端を操舵するための出力として提供するために、人工知能アルゴリズム（例えば、深層機械学習アルゴリズム）を利用し得る。場合によっては、例えば、完全自動モードでは、マルチモーダルナビゲーションシステムは、外科医又は他の操作者からの入力をほとんど又は全く用いずに、前進する内視鏡を案内するように構成され得る。出力６１３は、ロボット内視鏡システムのコントローラによって、１つ以上の作動ユニットを制御するための制御信号に変換される所望の方向を含み得る。代替的に、出力は１つ以上の作動ユニットのための制御コマンドを直接含み得る。場合によっては、例えば、半自動モードでは、マルチモーダルナビゲーションシステムは、前進する内視鏡を能動的に案内している外科医への支援を行うように構成され得る。このような場合には、出力６１３はロボット内視鏡システムの操作者に対する案内を含み得る。
[0104] 出力６１３はナビゲーションエンジン６７０によって生成され得る。実施形態によっては、ナビゲーションエンジン６７０は、入力特徴生成モジュール６７１及び訓練済み予測モデル６７３を含み得る。予測モデルは訓練済みモデルであるか、又は機械学習アルゴリズムを用いて訓練され得る。機械学習アルゴリズムは、サポートベクタマシン（ＳＶＭ（support vector machine））、単純ベイズ分類、線形回帰モデル、分位点回帰モデル、ロジスティック回帰モデル、ランダムフォレスト、ニューラルネットワーク、畳み込みニューラルネットワークＣＮＮ、リカレントニューラルネットワークＲＮＮ、勾配ブースティング分類器又はリプレッサ、或いは別の教師あり又は教師なし機械学習アルゴリズム（例えば、敵対的生成ネットワーク（ＧＡＮ（generative adversarial network））、Ｃｙｃｌｅ－ＧＡＮ等）などの、任意の種類の機械学習ネットワークであることができる。
[0105] 入力特徴生成モジュール６７１は、訓練済み予測モデル６７３によって処理されるべき入力特徴データを生成し得る。実施形態によっては、入力特徴生成モジュール６７１は、位置センサ６１０、光学撮像デバイス（例えば、カメラ）６２０、トモシンセシスシステム６３０、ＥＢＵＳ撮像システム６４０，及びロボット運動学データ６５０からのデータを受信し、特徴を抽出し、入力特徴データを生成し得る。実施形態によっては、位置センサ６１０、光学撮像デバイス（例えば、カメラ）６２０、トモシンセシスシステム６３０、ＥＢＵＳ撮像システム６４０から受信されたデータは、生センサデータ（例えば、画像データ、ＥＭデータ、トモシンセシスデータ、超音波画像等）を含み得る。場合によっては、入力特徴生成モジュール６７１は、複数の異なる感知システム（例えば、センサは異なる周波数でデータを取り込み得る）によって生成された、又は異なるソース（例えば、サードパーティアプリケーションデータ）からの生入力データを前処理し得る（例えば、データ整列）。例えば、カメラ、位置センサ（例えば、ＥＭセンサ）、超音波画像データ、トモシンセシスデータによって取り込まれたデータは、時間及び／又は識別された特徴（例えば、病変）に関して整列させられ得る。場合によっては、データの複数のソースは同時に取り込まれ得る。
[0106] 種々のデータソース６１０、６２０、６３０、６４０、６５０から受信されたデータは処理済みデータを含み得る。例えば、トモシンセシスシステムからのデータは、生データから識別された病変に関する再構成データ又は情報を含み得る。
[0107] 場合によっては、マルチモーダルデータソースから受信されたデータ６１１はリアルタイムの条件に適応可能であり得る。センサ融合構成要素６６０は、それぞれの出力データを受信するためにデータソースに動作可能に結合され得る。場合によっては、データソース６１０、６２０、６３０、６４０、６５０によって作り出された出力データはリアルタイムの条件に基づいて動的に調整され得る。例えば、複数の感知モダリティは、各モダリティに関連付けられたリアルタイムの信頼スコア又は不確実性に基づいて動的に融合される。センサ融合構成要素６６０はデータソースごとの信頼スコアを評価し、ナビゲーション方向を推測するために用いられるべき入力データを決定し得る。例えば、カメラ視野が遮られたとき、又はセンサデータの品質が、物体の場所を識別するために十分に良好でないとき、対応するモダリティは低い信頼スコアを付与され得る。場合によっては、センサ融合構成要素６６０は信頼スコアに基づいて複数のソースからのデータに重み付けし得る。複数のデータはリアルタイムの条件に基づいて組み合わせられ得る。場合によっては、電磁（ＥＭ）システムが用いられるときには、リアルタイム撮像（例えば、トモシンセシス、ＥＢＵＳ、実況カメラ）が、ＥＭナビゲーションに対する補正を提供するために採用され得、これにより、場所特定精度を向上させる。
電磁（ＥＭ）ベースのナビゲーションのための呼吸補償
[0108] 肺構造を横断している間に、気管支鏡は呼吸運動のゆえに特定のオフセット（例えば、最大２センチメートル）だけ運動させられ得る。円滑なナビゲーション、及び標的部位（例えば、病変）との改善された整列を可能にすることによって、そこでの呼吸運動を補償する必要性がある。
[0109] 本開示は、呼吸運動を予測するリアルタイム適応可能モデルを作成することによってナビゲーション及び場所追跡を改善し得る。実施形態によっては、呼吸運動モデルは位置センサ（例えば、ＥＭセンサ）データに基づいて生成され得る。図７は、呼吸運動のための補償を算出する一例を示す。
[0110] モデルを構築するためのセンサデータは、検出された運動が実質的に患者の呼吸運動になるよう、ユーザの操作を伴わずに、ＥＭセンサを有するデバイスが患者の身体の内部に配置されている間に取り込まれ得る。代替的に、又は加えて、モデルを構築するためのセンサデータは、収集されたセンサデータが、呼吸運動及びデバイスの能動的運動の両方の結果としての運動を指示し得るよう、デバイスが駆動されている、又は動作させられている間に収集され得る。場合によっては、運動モデルは、センサ信号の自己相関を用いて周期運動周波数を識別し、及び／又はフィルタを用いて低周波数運動を抽出することによって作成され得る比較的低次のパラメトリックモデルであり得る。代替的に、又は加えて、モデルは基準信号を用いて作成され得る。例えば、患者の身体、ゴムバンド、人工呼吸器上に配置された位置センサ、又は人工呼吸器の動作からの音響信号が、呼吸運動を生感知データと区別するための基準信号を提供するために利用され得る。
[0111] 本方法は、位置センサデータを平滑化し、間引き、次元成分に分割することによって位置センサデータを前処理することを含み得る。時系列位置データの種類、形式、又はフォーマットはセンサの種類に依存し得る。例えば、時系列データが６ＤＯＦ ＥＭセンサから収集されるとき、時系列データはＸ、Ｙ、Ｚ軸に分解され得る。場合によっては、時系列データは前処理され、３次元数値配列に配列され得る。
[0112] 呼吸運動モデルは、定義された関数を、前処理されたセンサデータに次元的にフィッティングすることによって構築され得る。構築されたモデルは、呼吸運動をリアルタイムに補償するべく、入来するセンサデータに適用されるオフセットを算出するために用いることができる。場合によっては、呼吸運動モデルは、新たな感知データが収集され、処理された際に、算出され、更新され得、更新された呼吸運動モデルが使用のために展開され得る。
[0113] 場合によっては、肺のセグメンテーションからの静的情報が、ユーザアクションを呼吸運動と区別するために利用され得、これにより、予測精度を増大させる。場合によっては、モデルは機械学習技法を用いて作成され得る。場合によっては、呼吸運動モデルは、機械学習技法の助けにより呼吸運動を内視鏡デバイスのナビゲーション運動と区別することによって作成される。本明細書の他所において説明されるとおりの様々な深層学習モデル及びフレームワークが、呼吸モデルを訓練するために用いられ得る。場合によっては、ＥＭセンサデータは前処理され得（例えば、平滑化され、間引かれる）、前処理されたＥＭセンサデータが、訓練済みモデルによって処理されるべき入力特徴を生成するために用いられ得る。
[0114] 呼吸運動モデルは、ツールの軌道を計画し、及び／又は内視鏡をナビゲートするために用いられ得る。例えば、呼吸運動を補償することによって、スコープの遠位先端を、検査対象の構造の経路をたどるよう偏向させ、これにより、周囲の組織に加わる摩擦力を最小限に抑えるためのコマンドが生成され得る。別の例では、呼気と吸気との間の休止のための手術タスク又はサブタスク（例えば、針の挿入）の時間を決めることが有益である。
[0115] 実施形態によっては、内視鏡デバイスは使い捨て式ロボット内視鏡であり得る。場合によっては、カテーテルのみが処分可能であり得る。場合によっては、カテーテルの少なくとも部分が処分可能であり得る。場合によっては、ロボット内視鏡全体が機器駆動機構から取り外され得、処分され得る。
[0116] 本明細書において説明されるロボット内視鏡は、スコープの遠位先端を、偏向、又は周囲の組織に加わる摩擦力を最小限に抑えて、検査対象の構造の経路をたどるよう偏向させるための好適な手段を含み得る。例えば、遠位端部に隣接した関節運動セクションを、内視鏡の近位端部における制御機構のセット（例えば、ハンドル）、又はロボット支持システムに接続するために、制御ケーブル又は引っ張りケーブルが内視鏡本体内に保持される。遠位先端の配向（例えば、ロール角）は、上述された方法によって回復され得る。ナビゲーション制御信号は、上述されたとおりのナビゲーションシステムによって生成され得、ロボット内視鏡の運動の制御は、上述されたとおりの呼吸補償能力を有し得る。
[0117] ロボット内視鏡システムは機器駆動機構に取り外し可能に結合され得る。機器駆動機構は、ロボット支持システムのアームに、又は任意の作動させられる支持システムに装着され得る。機器駆動機構はロボット内視鏡システムへの機械的及び電気的インターフェースを提供し得る。機械的インターフェースは、ロボット内視鏡システムが機器駆動機構に取り外し可能に結合されることを可能にし得る。例えば、ロボット内視鏡のハンドル部分は、磁石及びばね荷重レベルなどの、高速取り付け／取り外し手段を介して機器駆動機構に取り付けることができる。場合によっては、ロボット内視鏡は、ツールを用いることなく手動で機器駆動機構に結合されるか、又はそれから取り外され得る。
[0118] 図８は、ロボット支持システムによって支持されたロボット内視鏡システムの一例を示す。場合によっては、ハンドル部分は電気的インターフェース（例えば、プリント回路基板）を介して機器駆動機構（例えば、機器駆動機構８２０）と電気的に通信し得、これにより、画像／映像データ及び／又はセンサデータが機器駆動機構の通信モジュールによって受信され得、他の外部デバイス／システムへ伝送され得る。場合によっては、電気的インターフェースはケーブル又は電線を用いずに電気的通信を確立し得る。例えば、インターフェースは、プリント回路基板（ＰＣＢ）などの電子基板上にはんだ付けされたピンを含み得る。例えば、レセプタクルコネクタ（例えば、雌型コネクタ）が嵌合インターフェースとして機器駆動機構上に設けられている。これは、内視鏡が、特別のケーブルを利用することなく機器駆動機構又はロボット支持に迅速に差し込まれることを有利に可能にし得る。このような種類の電気的インターフェースはまた、機械的インターフェースの役割も果たし得、これにより、ハンドル部分が機器駆動機構に差し込まれたときに、機械的及び電気的結合の両方が確立される。代替的に、又は加えて、機器駆動機構は機械的インターフェースのみを提供し得る。ハンドル部分は、モジュール式無線通信デバイス、或いはセンサデータを伝送し、及び／又は制御信号を受信するための任意の他のユーザデバイス（例えば、ポータブル／ハンドヘルドデバイス又はコントローラ）と電気的に通信し得る。
[0119] 図８に示されるように、ロボット内視鏡８２０はハンドル部分８１３及びフレキシブル細長部材８１１を含み得る。実施形態によっては、フレキシブル細長部材８１１は、本明細書の他所において説明されるように、シャフト、操舵可能先端、及び操舵可能セクションを含み得る。ロボット内視鏡は使い捨て式ロボット内視鏡であり得る。場合によっては、カテーテルのみが処分可能であり得る。場合によっては、カテーテルの少なくとも部分が処分可能であり得る。場合によっては、ロボット内視鏡全体が機器駆動機構から取り外され得、処分され得る。内視鏡は、機能動作を改善するために、そのシャフトに沿って様々な剛性レベルを包含し得る。
[0120] ロボット内視鏡は機器駆動機構８２０に取り外し可能に結合され得る。機器駆動機構８２０は、本明細書の他所において説明されるように、ロボット支持システムのアームに、又は任意の作動させられる支持システムに装着され得る。機器駆動機構はロボット内視鏡８２０への機械的及び電気的インターフェースを提供し得る。機械的インターフェースは、ロボット内視鏡８２０が機器駆動機構に取り外し可能に結合されることを可能にし得る。例えば、ロボット気管支鏡のハンドル部分は、磁石及びばね荷重レベルなどの、高速取り付け／取り外し手段を介して機器駆動機構に取り付けることができる。場合によっては、ロボット気管支鏡は、ツールを用いることなく手動で機器駆動機構に結合されるか、又はそれから取り外され得る。
[0121] 図９は、ロボット内視鏡のハンドル部分９１３への機械的インターフェースを提供する機器駆動機構９２０の一例を示す。本例において示されるように、機器駆動機構９２０は、カテーテルのプルワイヤのセットを回転駆動するために作動させられるモータのセットを含み得る。カテーテルアセンブリのハンドル部分９１３は機器駆動機構上に装着され得、これにより、そのプーリアセンブリはモータのセットによって駆動される。プーリの数はプルワイヤの構成に基づいて変化し得る。場合によっては、１本、２本、３本、４本、又はそれより多くのプルワイヤが、カテーテルを関節運動させるために利用され得る。
[0122] ハンドル部分は、ロボット内視鏡が、低減されたコストで処分可能になることを可能にするように設計され得る。例えば、古典的な手動内視鏡及びロボット内視鏡は内視鏡ハンドルの近位端部内にケーブルを有し得る。ケーブルは、多くの場合、照明ファイバ、カメラ映像ケーブル、並びに電磁（ＥＭ）センサ、又は形状感知ファイバなどの他のセンサファイバ又はケーブルを含む。このような複雑なケーブルは高価になり得、気管支鏡のコストを増大させる。提供されるロボット内視鏡は、機械的及び電気的機能性を保ちつつ、単純化された構造及び構成要素を採用することができるよう、最適化された設計を有し得る。場合によっては、ロボット内視鏡のハンドル部分は、カテーテルへの機械的／電気的インターフェースを提供しつつ、無ケーブル設計を採用し得る。
[0123] 場合によっては、ハンドル部分は、画像データを処理するか、電力を提供するか、又は他の外部デバイスとの通信を確立するように構成された構成要素を収容しているか、或いはそれらを含み得る。場合によっては、通信は無線通信であり得る。例えば、無線通信はWi-Fi、無線（radio）通信、Bluetooth、ＩＲ通信、又は他の種類の直接通信を含み得る。このような無線通信能力はプラグアンドプレイ方式でロボット気管支鏡の機能を可能にし得、一回使用した後に便利に処分され得る。場合によっては、ハンドル部分は、ロボット気管支鏡又はカテーテル内に配設された電子機器（例えば、カメラ及びＬＥＤ光源）に給電するための電源などの回路機構要素を含み得る。
[0124] ハンドル部分は、ケーブル又はファイバを解消することができるよう、カテーテルと併せて設計され得る。例えば、カテーテル部分は、機器がロボット気管支鏡を通過することを可能にするワーキングチャネル、ハイブリッドプローブが通過することを可能にするビジョンチャネル、並びにチップオンティップ（chip-on-tip）カメラなどの低コスト電子機器、発光ダイオード（ＬＥＤ）などの照明源、及びカテーテルの機械的構造に従って最適な場所に配置されたＥＭセンサを有する設計を採用し得る。これは、ハンドル部分の単純化された設計を可能にし得る。例えば、ＬＥＤを照明のために用いることによって、ハンドル部分における終端は電気はんだ付け又は電線圧着のみに基づくことができる。例えば、ハンドル部分は、カメラケーブル、ＬＥＤケーブル、及びＥＭセンサケーブルが終端する近位基板を含み得、その一方で、近位基板はハンドル部分のインターフェースに接続し、機器駆動機構への電気接続を確立する。上述されたように、機器駆動機構はロボットアーム（ロボット支持システム）に取り付けられ、ハンドル部分への機械的及び電気的インターフェースを提供する。これは、有利に、組み立て及び実装の効率を改善するとともに、製造プロセス及びコストを単純化し得する。場合によっては、ハンドル部分はカテーテルと共に一回使用した後に処分され得る。
[0125] ロボット内視鏡は、遠位部分に配設された電子要素のコンパクトな構成を有し得る。遠位先端／部分設計のための設計、並びにナビゲーションシステム／方法は、「systems and methods for robotic bronchoscopy」と題する、国際出願ＰＣＴ／ＵＳ２０２０／６５９９９号に記載されているものを含むことができる。同出願はその全体が本明細書において参照により組み込まれる。
[0126] 本発明の好ましい実施形態が本明細書において示され、説明されたが、このような実施形態は単に例として提供されるにすぎないことが当業者には明らかであろう。今や、当業者は、本発明から逸脱することなく数多くの変形、変更、及び置換に想到するであろう。本明細書において説明される本発明の実施形態に対する様々な代替例が本発明の実施において採用され得ることを理解されたい。添付の請求項は本発明の範囲を定義し、これらの請求項の範囲内の方法及び構造並びにそれらの等価物はこれらによって包括されることが意図される。

Claims (26)

  1. 患者の解剖学的管腔網を通して内視鏡デバイスをナビゲートするための方法であって、前記方法が、
    （ａ）関節運動細長部材の遠位先端に、所定の経路に沿って移動するよう指令することと、
    （ｂ）（ａ）と同時に、位置センサデータ及び運動学データを収集することと、
    （ｃ）前記位置センサデータ及び前記運動学データに基づいて前記遠位先端の推定ロール角を計算することと、
    を含む方法。
  2. 前記所定の経路が直線軌道を含む、請求項１に記載の方法。
  3. 前記所定の経路が非直線軌道を含む、請求項１に記載の方法。
  4. 前記位置センサデータが電磁（ＥＭ）センサによって取り込まれる、請求項１に記載の方法。
  5. 前記ＥＭセンサがロール配向を測定しない、請求項４に記載の方法。
  6. 前記位置センサデータが撮像モダリティから取得される、請求項１に記載の方法。
  7. 前記推定ロール角を計算することが、位置合わせアルゴリズムを前記位置センサデータ及び運動学データに適用することを含む、請求項１に記載の方法。
  8. 前記推定ロール角の精度を評価することをさらに含む、請求項１に記載の方法。
  9. 患者の解剖学的管腔網を通して内視鏡デバイスをナビゲートするための方法であって、前記方法が、
    （ａ）放射線不透過性マーカを前記内視鏡デバイスの遠位端部に取り付けることと、
    （ｂ）前記内視鏡デバイスが運動している間に前記内視鏡デバイスの蛍光透視画像データを取り込むことと、
    （ｃ）機械学習アルゴリズム訓練済みモデルを用いて前記蛍光透視画像データを処理することによって前記内視鏡デバイスの前記遠位端部の配向を再構成することと、
    を含む方法。
  10. 前記配向が前記内視鏡デバイスの前記遠位端部のロール角を含む、請求項９に記載の方法。
  11. 前記機械学習アルゴリズムが深層学習ネットワークである、請求項９に記載の方法。
  12. 前記内視鏡デバイスの前記遠位端部が関節運動可能及び回転可能である、請求項９に記載の方法。
  13. 患者の解剖学的管腔網を通して内視鏡デバイスをナビゲートするための方法であって、前記方法が、
    （ａ）位置センサデータ、カメラによって取り込まれた画像データ、蛍光透視画像データ、超音波画像データ、及び運動学データを含む複数のソースからの入力データを受信することと、
    （ｂ）前記複数のソースの各々のための信頼スコアを決定することと、
    （ｃ）前記信頼スコア及び前記入力データに少なくとも部分的に基づいて入力特徴データを生成することと、
    （ｄ）機械学習アルゴリズム訓練済みモデルを用いて前記入力特徴データを処理し、前記内視鏡デバイスの遠位端部を操舵するためのナビゲーション出力を生成することと、
    を含む方法。
  14. 前記位置センサデータが、前記内視鏡デバイスの前記遠位端部に取り付けられたＥＭセンサによって取り込まれる、請求項１３に記載の方法。
  15. 前記カメラが前記内視鏡デバイスの前記遠位端部に組み込まれている、請求項１３に記載の方法。
  16. 前記蛍光透視画像データがトモシンセシス技法を用いて取得される、請求項１３に記載の方法。
  17. 前記入力データが前記複数のソースから同時に取得され、時間に関して整列させられる、請求項１３に記載の方法。
  18. 前記超音波画像データが超音波トランスデューサのアレイによって取り込まれる、請求項１３に記載の方法。
  19. 前記運動学データが前記内視鏡デバイスのロボット制御ユニットから取得される、請求項１３に記載の方法。
  20. 前記ナビゲーション出力が前記内視鏡デバイスの作動ユニットへの制御コマンドを含む、請求項１３に記載の方法。
  21. 前記ナビゲーション出力が、前記内視鏡デバイスの操作者に提示されるべきナビゲーション案内を含む、請求項１３に記載の方法。
  22. 前記ナビゲーション出力が所望のナビゲーション方向を含む、請求項１３に記載の方法。
  23. 患者の解剖学的管腔網を通して内視鏡デバイスをナビゲートするための方法であって、前記方法が、
    （ａ）前記解剖学的管腔網を通して前記内視鏡デバイスをナビゲートする間に位置データを取り込むことと、
    （ｂ）機械学習アルゴリズム訓練済みモデルの助けにより前記位置データに基づいて呼吸運動モデルを作成することであって、前記呼吸運動モデルが、前記呼吸運動を前記内視鏡デバイスのナビゲーション運動と区別することによって作成される、作成することと、
    （ｃ）前記作成された呼吸運動モデルを用いて前記呼吸運動を補償することによって前記内視鏡デバイスの遠位部分を操舵するためのコマンドを生成することと、
    を含む方法。
  24. 前記位置データが、前記内視鏡デバイスの前記遠位部分に配置されたＥＭセンサによって取り込まれる、請求項２３に記載の方法。
  25. 前記機械学習アルゴリズムが深層学習ネットワークである、請求項２３に記載の方法。
  26. 前記位置データが平滑化され、間引かれる、請求項２３に記載の方法。
JP2022571840A 2020-06-03 2021-06-02 ハイブリッド撮像及びナビゲーションのためのシステム及び方法 Pending JP2023527968A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063034142P 2020-06-03 2020-06-03
US63/034,142 2020-06-03
PCT/US2021/035502 WO2021247744A1 (en) 2020-06-03 2021-06-02 Systems and methods for hybrid imaging and navigation

Publications (1)

Publication Number Publication Date
JP2023527968A true JP2023527968A (ja) 2023-07-03

Family

ID=78829892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022571840A Pending JP2023527968A (ja) 2020-06-03 2021-06-02 ハイブリッド撮像及びナビゲーションのためのシステム及び方法

Country Status (7)

Country Link
US (1) US20240024034A2 (ja)
EP (1) EP4161351A4 (ja)
JP (1) JP2023527968A (ja)
KR (1) KR20230040311A (ja)
CN (1) CN116261416A (ja)
AU (1) AU2021283341A1 (ja)
WO (1) WO2021247744A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230073109A1 (en) * 2020-02-14 2023-03-09 Institute For Cancer Research D/B/A The Research Institute Of Fox Chase Cancer Center Bronchoscope Tip Marker For Orientation Of Radial Endobronchial Ultrasound Probe
US20220218184A1 (en) * 2021-01-14 2022-07-14 Covidien Lp Magnetically controlled power button and gyroscope external to the lung used to measure orientation of instrument in the lung
CN114159166B (zh) * 2021-12-21 2024-02-27 广州市微眸医疗器械有限公司 一种机器人辅助的套管针自动对接方法和装置
WO2023129562A1 (en) * 2021-12-29 2023-07-06 Noah Medical Corporation Systems and methods for pose estimation of imaging system
CN118804722A (zh) * 2022-02-24 2024-10-18 奥瑞斯健康公司 器械和规程部位的三维重建
WO2024006649A2 (en) * 2022-06-30 2024-01-04 Noah Medical Corporation Systems and methods for adjusting viewing direction
WO2024059541A2 (en) * 2022-09-13 2024-03-21 Noah Medical Corporation Systems and methods for medical device intubation
WO2024186811A1 (en) * 2023-03-06 2024-09-12 Cornell University Machine learning for object tracking

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8337397B2 (en) * 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US10674982B2 (en) * 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
WO2017030913A2 (en) * 2015-08-14 2017-02-23 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
WO2017042812A2 (en) * 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
US9931025B1 (en) * 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
US10022192B1 (en) * 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
WO2020033318A1 (en) * 2018-08-07 2020-02-13 Auris Health, Inc. Combining strain-based shape sensing with catheter control

Also Published As

Publication number Publication date
US20240024034A2 (en) 2024-01-25
CN116261416A (zh) 2023-06-13
AU2021283341A1 (en) 2022-12-22
WO2021247744A1 (en) 2021-12-09
EP4161351A1 (en) 2023-04-12
KR20230040311A (ko) 2023-03-22
EP4161351A4 (en) 2024-09-04
US20230072879A1 (en) 2023-03-09

Similar Documents

Publication Publication Date Title
US20240024034A2 (en) Systems and methods for hybrid imaging and navigation
US20230190244A1 (en) Biopsy apparatus and system
US20240041531A1 (en) Systems and methods for registering elongate devices to three-dimensional images in image-guided procedures
KR102558061B1 (ko) 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템
JP2022141792A (ja) 管腔ネットワーク内の医療装置の姿勢を特定するロボットシステム
US20220313375A1 (en) Systems and methods for robotic bronchoscopy
KR20200073245A (ko) 항행(navigation)을 위한 이미지 기반 분지(branch) 감지 및 매핑
US11944422B2 (en) Image reliability determination for instrument localization
US11950868B2 (en) Systems and methods for self-alignment and adjustment of robotic endoscope
CN117320654A (zh) 支气管镜检查中的基于视觉的6DoF相机姿态估计
US12035881B2 (en) Systems and methods for responsive insertion and retraction of robotic endoscope
US20240325092A1 (en) Systems and methods for pose estimation of imaging system
JP2023529291A (ja) トリプル画像化ハイブリッドプローブのためのシステム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240529