JP2024008966A5 - - Google Patents

Download PDF

Info

Publication number
JP2024008966A5
JP2024008966A5 JP2023184066A JP2023184066A JP2024008966A5 JP 2024008966 A5 JP2024008966 A5 JP 2024008966A5 JP 2023184066 A JP2023184066 A JP 2023184066A JP 2023184066 A JP2023184066 A JP 2023184066A JP 2024008966 A5 JP2024008966 A5 JP 2024008966A5
Authority
JP
Japan
Prior art keywords
surgical instrument
observation
probability
robotically operated
tracking system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023184066A
Other languages
English (en)
Other versions
JP2024008966A (ja
Filing date
Publication date
Priority claimed from JP2021505259A external-priority patent/JP7376569B2/ja
Application filed filed Critical
Publication of JP2024008966A publication Critical patent/JP2024008966A/ja
Publication of JP2024008966A5 publication Critical patent/JP2024008966A5/ja
Pending legal-status Critical Current

Links

Claims (18)

  1. 命令を格納するメモリと、
    前記メモリに通信的に結合されるプロセッサと、を含み、
    前記プロセッサは、前記命令を実行して、
    外科領域の1つ以上の画像を表す画像データに基づいて、関心物体についての観察を決定し、
    前記外科領域に位置するロボット操作される手術器具への前記観察の関連付けの確率を決定し、
    前記確率に基づいて前記観察を前記ロボット操作される手術器具に関連付け、
    前記ロボット操作される手術器具と関連付けられる前記観察に基づいて前記外科領域での前記ロボット操作される手術器具の物理的位置を決定する、
    ように構成される、
    手術器具追跡システム。
  2. 前記プロセッサは、前記命令を実行して、前記外科領域の前記1つ以上の画像を表す前記画像データに基づいて、3次元(3D)空間内の前記関心物体についての前記観察の3D画像ベースの位置を決定するように構成される、請求項1に記載の手術器具追跡システム。
  3. 前記外科領域の前記1つ以上の画像は、前記外科領域の複数の画像を含み、
    前記プロセッサは、前記命令を実行して、前記外科領域の前記複数の画像から識別される前記関心物体の動きに少なくとも部分的に基づいて、前記3D空間内の前記関心物体について前記観察の前記3D画像ベースの位置を決定するように構成される、
    請求項2に記載の手術器具追跡システム。
  4. 前記プロセッサは、前記命令を実行して、前記観察によって示される前記関心物体の画像ベースの位置に基づいて前記ロボット操作される手術器具の運動学的動作ベースの位置を調整することによって前記外科領域での前記ロボット操作される手術器具の前記物理的位置を決定するように構成される、請求項1に記載の手術器具追跡システム。
  5. 前記プロセッサは、前記命令を実行して、
    前記外科領域の前記1つ以上の画像を表す前記画像データに基づいて、追加的な関心物体についての追加的な観察を決定し、
    前記外科領域に位置する前記ロボット操作される手術器具への前記追加的な観察の関連付けの確率を決定し、
    前記ロボット操作される手術器具への前記追加的な観察の前記関連付けの前記確率に基づいて前記追加的な観察を偽陽性指定に関連付け、
    前記ロボット操作される手術器具の前記物理的位置を決定するために前記追加的な観察を使用することを控える、
    ように構成される、
    請求項1~4のうちのいずれか1項に記載の手術器具追跡システム。
  6. 前記プロセッサは、前記命令を実行して、
    前記ロボット操作される手術器具への前記観察の関連付けについての第1の確率を決定することと、
    偽陽性指定への前記観察の関連付けについての第2の確率を決定することと、
    前記第1の確率が前記第2の確率よりも高いと決定することと、
    前記第1の確率が前記第2の確率よりも高いと決定することに応答して前記ロボット操作される手術器具に前記観察を関連付けることと、によって、
    前記関心物体についての前記観察を前記ロボット操作される手術器具に関連付けるように構成される、
    請求項1~5のうちのいずれか1項に記載の手術器具追跡システム。
  7. 前記観察は、前記関心物体の画像ベースの位置と、前記観察によって表される手術器具のタイプとを示す、請求項1~6のうちのいずれか1項に記載の手術器具追跡システム。
  8. 前記観察は、前記関心物体の画像ベースの位置及び向きを示す、請求項1~7のうちのいずれか1項に記載の手術器具追跡システム。
  9. 前記観察は、前記関心物体の画像ベースの位置と、前記関心物体と関連付けられる動きの手がかりとを示す、請求項1~8のうちのいずれか1項に記載の手術器具追跡システム。
  10. 前記プロセッサは、前記命令を実行して、前記ロボット操作される手術器具への前記観察の前記関連付けの前記確率が前記ロボット操作される手術器具への観察の関連付けの複数の確率の中の最高の確率であることに基づいて、前記観察を前記ロボット操作される手術器具に関連付けるように構成される、請求項1~9のうちのいずれか1項に記載の手術器具追跡システム。
  11. 前記プロセッサは、前記命令を実行して、前記ロボット操作される手術器具への前記観察の前記関連付けの前記確率が複数のロボット操作される手術器具への前記観察の関連付けの複数の確率の中の最高の確率であることに基づいて、前記観察を前記ロボット操作される手術器具に関連付けるように構成される、請求項1~10のうちのいずれか1項に記載の手術器具追跡システム。
  12. 前記プロセッサは、前記命令を実行して、訓練されたニューラルネットワークを使用して前記関心物体についての前記観察を決定するように構成される、請求項1~11のうちのいずれか1項に記載の手術器具追跡システム。
  13. 外科領域の1つ以上の画像を表す画像データに基づいて、手術器具追跡システムによって、関心物体についての観察を決定することと、
    前記手術器具追跡システムによって、前記外科領域に位置するロボット操作される手術器具への前記観察の関連付けの確率を決定することと、
    前記手術器具追跡システムによって、前記確率に基づいて前記観察を前記ロボット操作される手術器具に関連付けることと、
    前記手術器具追跡システムによって、前記ロボット操作される手術器具と関連付けられる前記観察に基づいて前記外科領域での前記ロボット操作される手術器具の物理的位置を決定することと、を含む、
    方法。
  14. 前記外科領域で前記ロボット操作される手術器具の前記物理的位置を決定することは、前記観察によって示される前記関心物体の画像ベースの位置に基づいて前記ロボット操作される手術器具の運動学的動作ベースの位置を調整することを含む、請求項13に記載の方法。
  15. 前記外科領域の前記1つ以上の画像を表す前記画像データに基づいて、前記手術器具追跡システムによって、追加的な関心物体についての追加的な観察を決定することと、
    前記手術器具追跡システムによって、前記外科領域に位置する前記ロボット操作される手術器具への前記追加的な観察の関連付けの確率を決定することと、
    前記手術器具追跡システムによって、前記ロボット操作される手術器具への前記追加的な観察の前記関連付けの前記確率に基づいて、前記追加的な観察を偽陽性指定に関連付けることと、
    前記手術器具追跡システムによって、前記ロボット操作される手術器具の前記物理的位置を決定するために前記追加的な観察を使用することを控えることと、を更に含む、
    請求項13又は14に記載の方法。
  16. 前記ロボット操作される手術器具に前記観察を関連付けることは、
    前記ロボット操作される手術器具への前記観察の関連付けについての第1の確率を決定することと、
    偽陽性指定への前記観察の関連付けについての第2の確率を決定することと、
    前記第1の確率が前記第2の確率よりも高いと決定することと、
    前記第1の確率が前記第2の確率よりも高いという前記決定に応答して前記観察を前記ロボット操作される手術器具に関連付けることと、を含む、
    請求項13~15のうちのいずれか1項に記載の方法。
  17. 前記観察を前記ロボット操作される手術器具に関連付けることは、前記ロボット操作される手術器具への前記観察の前記関連付けが、前記ロボット操作される手術器具への観察の関連付けの複数の確率の中の最大の確率であることに基づく、請求項13~16のうちのいずれか1項に記載の方法。
  18. 前記観察を前記ロボット操作される手術器具に関連付けることは、前記ロボット操作される手術器具への前記観察の前記関連付けが、複数のロボット操作される手術器具への前記観察の複数の確率の中の最大の確率であることに基づく、請求項13~17のうちのいずれか1項に記載の方法。

JP2023184066A 2018-07-31 2023-10-26 ロボット操作手術器具の位置を追跡システムおよび方法 Pending JP2024008966A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862712368P 2018-07-31 2018-07-31
US62/712,368 2018-07-31
JP2021505259A JP7376569B2 (ja) 2018-07-31 2019-07-27 ロボット操作手術器具の位置を追跡システムおよび方法
PCT/US2019/043825 WO2020028202A1 (en) 2018-07-31 2019-07-27 Systems and methods for tracking a position of a robotically-manipulated surgical instrument

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021505259A Division JP7376569B2 (ja) 2018-07-31 2019-07-27 ロボット操作手術器具の位置を追跡システムおよび方法

Publications (2)

Publication Number Publication Date
JP2024008966A JP2024008966A (ja) 2024-01-19
JP2024008966A5 true JP2024008966A5 (ja) 2024-01-29

Family

ID=67551737

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021505259A Active JP7376569B2 (ja) 2018-07-31 2019-07-27 ロボット操作手術器具の位置を追跡システムおよび方法
JP2023184066A Pending JP2024008966A (ja) 2018-07-31 2023-10-26 ロボット操作手術器具の位置を追跡システムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021505259A Active JP7376569B2 (ja) 2018-07-31 2019-07-27 ロボット操作手術器具の位置を追跡システムおよび方法

Country Status (5)

Country Link
US (1) US12108992B2 (ja)
EP (1) EP3829475A1 (ja)
JP (2) JP7376569B2 (ja)
CN (1) CN112672709A (ja)
WO (1) WO2020028202A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205508B2 (en) 2018-05-23 2021-12-21 Verb Surgical Inc. Machine-learning-oriented surgical video analysis system
US10679743B2 (en) * 2018-09-12 2020-06-09 Verb Surgical Inc. Method and system for automatically tracking and managing inventory of surgical tools in operating rooms
WO2021030536A1 (en) * 2019-08-13 2021-02-18 Duluth Medical Technologies Inc. Robotic surgical methods and apparatuses
US20210059758A1 (en) * 2019-08-30 2021-03-04 Avent, Inc. System and Method for Identification, Labeling, and Tracking of a Medical Instrument
US11844497B2 (en) * 2020-02-28 2023-12-19 Covidien Lp Systems and methods for object measurement in minimally invasive robotic surgery
KR102426925B1 (ko) * 2020-06-23 2022-07-29 (주)휴톰 3d 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램
US20230096268A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments
CN116849803A (zh) * 2021-11-08 2023-10-10 深圳市精锋医疗科技股份有限公司 界面显示控制方法和装置、计算机设备和系统、及介质
WO2023105467A1 (en) * 2021-12-08 2023-06-15 Verb Surgical Inc. Tracking multiple surgical tools in a surgical video
CN114220060B (zh) * 2021-12-24 2022-10-28 萱闱(北京)生物科技有限公司 基于人工智能的器具标注方法、装置、介质和计算设备
CN114005022B (zh) * 2021-12-30 2022-03-25 四川大学华西医院 一种手术器械使用的动态预测方法及系统
US12076005B2 (en) * 2022-03-23 2024-09-03 Verb Surgical Inc. Video-based analysis of stapling events during a surgical procedure using machine learning
CN118236166B (zh) * 2024-05-27 2024-10-18 华南师范大学 手术器械的自动跟踪系统及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8423123B2 (en) * 2005-09-30 2013-04-16 Given Imaging Ltd. System and method for in-vivo feature detection
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US8248413B2 (en) * 2006-09-18 2012-08-21 Stryker Corporation Visual navigation system for endoscopic surgery
CN102123651B (zh) * 2009-01-15 2014-02-26 奥林巴斯医疗株式会社 内窥镜系统
US11452464B2 (en) * 2012-04-19 2022-09-27 Koninklijke Philips N.V. Guidance tools to manually steer endoscope using pre-operative and intra-operative 3D images
CA2933684A1 (en) * 2012-12-14 2014-06-19 The Trustees Of Columbia University In The City Of New York Markerless tracking of robotic surgical tools
US9629595B2 (en) * 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
CN106535805B (zh) * 2014-07-25 2019-06-18 柯惠Lp公司 用于机器人手术系统的增强手术现实环境
WO2016149345A1 (en) * 2015-03-17 2016-09-22 Intuitive Surgical Operations, Inc. Systems and methods for onscreen identification of instruments in a teleoperational medical system
CN107049492B (zh) * 2017-05-26 2020-02-21 微创(上海)医疗机器人有限公司 手术机器人系统及手术器械位置的显示方法

Similar Documents

Publication Publication Date Title
JP2024008966A5 (ja)
TWI705382B (zh) 智慧型裝置跟焦方法、裝置、智慧型裝置及儲存媒體
WO2022116677A1 (zh) 目标物体抓取方法、装置、存储介质及电子设备
JP2022051761A (ja) 3次元空間内の姿勢推定
US11094337B2 (en) Cough detection device, cough detection method, and recording medium
CN111738261A (zh) 基于位姿估计和校正的单图像机器人无序目标抓取方法
JP2013508844A (ja) 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP2018504710A (ja) 位置特定およびマッピングの方法
JP2007249309A (ja) 障害物追跡装置及びその方法
JP6675691B1 (ja) 学習用データ生成方法、プログラム、学習用データ生成装置、および、推論処理方法
JP2021073606A (ja) 群衆状態認識装置、方法およびプログラム
JP2008000884A (ja) ロボットの相互作用のためのビジュアル・プロト−オブジェクトの評価
JPWO2010073929A1 (ja) 人判定装置、方法およびプログラム
JP7086878B2 (ja) 学習装置、学習方法、プログラムおよび認識装置
US20130148879A1 (en) Information processing apparatus, information processing method, and program
US9919429B2 (en) Robot, control method, and program
CN115471863A (zh) 三维姿态的获取方法、模型训练方法和相关设备
JP2023056466A (ja) グローバル測位装置及び方法
US10521964B1 (en) Switching among disparate simultaneous localization and mapping (SLAM) methods in virtual, augmented, and mixed reality (xR) applications
CN112258494B (zh) 一种病灶位置确定方法、装置及电子设备
KR101664733B1 (ko) 전 방향 고해상도 추적 녹화 장치 및 방법
JP2012086285A (ja) 追跡ロボット装置、追跡ロボット制御方法、追跡ロボット制御プログラム、ホモグラフィー行列取得装置、ホモグラフィー行列取得方法、およびホモグラフィー行列取得プログラム
JP2009302731A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
WO2022181253A1 (ja) 関節点検出装置、学習モデル生成装置、関節点検出方法、学習モデル生成方法、及びコンピュータ読み取り可能な記録媒体