JP7454863B2 - 医療手術のためのナビゲーションシステム及び方法 - Google Patents

医療手術のためのナビゲーションシステム及び方法 Download PDF

Info

Publication number
JP7454863B2
JP7454863B2 JP2021537457A JP2021537457A JP7454863B2 JP 7454863 B2 JP7454863 B2 JP 7454863B2 JP 2021537457 A JP2021537457 A JP 2021537457A JP 2021537457 A JP2021537457 A JP 2021537457A JP 7454863 B2 JP7454863 B2 JP 7454863B2
Authority
JP
Japan
Prior art keywords
virtual
data
instrument
navigation
robotic system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021537457A
Other languages
English (en)
Other versions
JP2022500204A (ja
Inventor
ユイ、シュオアン
タイ、パンハオ
スー、チョーウェイ
チョウ、ハオカイ
イェン、チアホ
ヤン、チーミン
チュアン、シュエチェン
Original Assignee
ポイント・ロボティクス・(シンガポール)・ピーティーイー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ポイント・ロボティクス・(シンガポール)・ピーティーイー・リミテッド filed Critical ポイント・ロボティクス・(シンガポール)・ピーティーイー・リミテッド
Publication of JP2022500204A publication Critical patent/JP2022500204A/ja
Application granted granted Critical
Publication of JP7454863B2 publication Critical patent/JP7454863B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/1662Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body
    • A61B17/1671Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans for particular parts of the body for the spine
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00115Electrical control of surgical instruments with audible or visual output
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00115Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2061Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072Reference field transducer attached to an instrument or patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/304Surgical robots including a freely orientable platform, e.g. so called 'Stewart platforms'
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08Accessories or related features not otherwise provided for
    • A61B2090/0807Indication means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983Reference marker arrangements for use with image guided surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/5025Supports for surgical instruments, e.g. articulated arms with a counter-balancing mechanism
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05Surgical care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Manipulator (AREA)

Description

本開示はロボットシステムに関し、より詳細には、ロボットシステムによって実行されるコンピュータ支援手術において、ユーザにナビゲーション指示を提供するための方法に関する。
多くの医療手術(例えば、外科手術)は、外科医の側で高い手動精度を必要とする。例えば、外科的整形外科手術では、特定のインプラントを骨に適合させるため、又は骨を成形して所望の幾何学的プロファイルを作成するために、外科医が対象の骨を正確な位置及び正確な角度でミル加工、ドリル加工、又は鋸で切る必要がある。このような手術は通常、外科医が特定の外科手術器具を持ち、解剖学的目印に基づいた軌跡をたどることにより、フリーハンドで行われる。したがって、外科手術の精度は、手持ち式外科手術器具を用いて所定の計画に従う際の外科医のスキルに依存している。
コンピュータ支援手術は、情報技術及びロボット工学の利点を利用して、医療手術の正確度(accuracy)及び精度(precision)を改善する際に信頼できる選択肢を提供してきた。米国特許公開第20120143084号にShohamによって開示されているような現存のロボットシステムのいくつかの事例は、外科手術器具の位置を制御するための手段を提供する。1つのコンピュータ支援アプローチは、器具が外科医によってデフォルトの解剖学的領域内又はそれを越えて移動されるときに、器具の移動をブロックするように、ロボットアームによって機械的拘束を生成することを含む。別のアプローチは、器具の操作ツールに接続されたロボット制御プラットフォームを利用して、操作ツールが移動し、その方位を調整して、計画された軌跡からの外科医の手の動きの偏差を補償することを可能にする。
しかしながら、自己調整可能な操作ツールを有する外科手術器具は、理論的には従来の器具よりも操作上の柔軟性を提供するが、器具の操縦性及び正確度は理想的ではない。一方では、器具を操作するとき、外科医が手術部位に対して器具を配置すべき好ましい範囲を決定することは困難である。言い換えれば、操作ツールの許容可能な移動に対応する空間範囲、又は偏差を補償するツールの能力を知ることなく、外科医は、外科手術部位からどれだけ離れているか、又はどれだけ近くに器具を配置すべきかを推測することしかできない。他方、操作ツールの好ましい又は許容可能な空間範囲の境界を知らないことによって、外科医は、好ましい手術範囲からの器具の意図しない偏差に気付かないであろう。
したがって、外科手術器具の許容範囲を外科医に通知する自己調整可能なツールを有する外科手術器具用に設計されたナビゲーションシステムが必要とされている。
本発明の目的は、操作ツールの偏差をリアルタイムで補正する器具の能力を決定し、医療手術中に外科医に高精度で手術環境の空間情報を提示する信頼性のあるナビゲーションシステムを提供することである。
本発明の別の目的は、医療手術中に手術器具の偏差をリアルタイムで補正する器具の能力を視覚化し、外科手術器具の操縦について外科医に明確な案内を提供する直感的ナビゲーションシステムを提供することである。
本開示の一実施形態は、ロボットシステムによって実施される医療手術のためのナビゲーション方法を提供する。ナビゲーション方法は、前記ロボットシステムのプロセッサにおいて、少なくとも1組のナビゲーションデータを受信するステップであって、少なくとも1組の登録データを受信するステップと、少なくとも1組の器具データを受信するステップと、少なくとも1組の空間センサデータを受信するステップと、少なくとも1組の医療手術計画データを受信するステップとを備え、前記器具データは前記ロボットシステムの少なくとも1組の仮想作業空間又は仮想アクティブ空間を含み、前記ナビゲーションデータは少なくとも1つの仮想物体を含む、受信するステップ(S1)と、前記ロボットシステムの前記プロセッサにおいて、前記ナビゲーションデータ内の前記仮想物体の少なくとも1つの3次元モデルを受信又は生成するステップ(S2)と、前記ロボットシステムの前記プロセッサにおいて、仮想環境を生成するように前記ナビゲーションデータを処理するステップ(S3)と、前記ロボットシステムの前記プロセッサにおいて、少なくとも1つのナビゲーション指示を生成するように前記ナビゲーションデータ及び前記仮想環境を処理するステップ(S4)と、前記ロボットシステムに電気的に接続されたユーザインタフェースにおいて、ユーザが医療手術中に参照するために、前記ロボットシステムの前記ユーザに前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を提示するステップ(S5)と、を含む。
好ましい実施形態では、前記ステップ(S1)は、少なくとも1組の解剖学的データを受信するステップ(S1-1)をさらに含む。
好ましい実施形態では、前記ステップ(S1-1)は、前記ロボットシステムに電気的に接続された低侵襲画像システムから少なくとも1組の内視鏡画像データを受信するステップをさらに含み、ステップ(S5)は、内視鏡画像データを表示するステップをさらに含み、前記内視鏡画像データは、前記仮想環境における仮想解剖学的構造と空間的かつタイムリーに一致する。
好ましい実施形態では、前記仮想アクティブ空間は、第1の仮想アクティブ空間及び第2の仮想アクティブ空間をさらに含み、前記第1の仮想アクティブ空間のサイズ又は形状は、前記第2の仮想アクティブ空間のサイズ又は形状とは異なる。
好ましい実施形態では、前記ロボットシステムは、マニピュレータ又はツールを有する器具システムに電気的に接続され、前記第1の仮想アクティブ空間は、前記マニピュレータ又は前記ツールをアクティブ化するための複数の基準のうちの1つに関連付けられ、前記第2の仮想アクティブ空間は、前記マニピュレータ又は前記ツールを非アクティブ化するための複数の基準のうちの1つに関連付けられる。
好ましい実施形態では、前記ステップ(S4)は、前記仮想環境内の少なくとも2つの仮想物体間の少なくとも1つの空間関係を決定するステップを含む。
好ましい実施形態では、前記少なくとも2つの仮想物体の第1の仮想物体は、前記器具データからの仮想作業空間又は仮想アクティブ空間であり、前記少なくとも2つの仮想物体の第2の仮想物体は、前記医療手術計画データからの仮想計画物体である。
好ましい実施形態では、前記少なくとも1つの空間関係は、少なくとも1つの補償評価を含み、前記補償評価は、前記医療手術データ及び前記仮想作業空間から、又は前記医療手術データ及び前記仮想アクティブ空間から計算される。
好ましい実施形態では、前記ステップ(S4)は、少なくとも1つのナビゲーション指示を生成するように、前記医療手術計画データ内の少なくとも1つの仮想計画物体属性を処理するステップを含む。
好ましい実施形態では、前記ロボットシステムの少なくとも1つの機能を制御するための少なくとも1つの組の制御信号を生成するステップをさらに含む。
好ましい実施形態では、前記制御信号は、第1の制御信号と第2の制御信号とを含み、前記第1の制御信号は、前記ナビゲーションデータの計算の第1の計算結果に基づいて生成され、前記第2のナビゲーション指示は、前記ナビゲーションデータの計算の第2の計算結果に基づいて生成される。
好ましい実施形態では、前記ステップ(S5)は、前記プロセッサに電気的に接続された表示装置上に3次元グラフィックスをレンダリングするステップを含み、前記3次元グラフィックスは、前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を含む。
好ましい実施形態では、前記レンダリングの視野角は、前記ロボットシステムに電気的に接続された器具の方位に合わせられる。
好ましい実施形態では、(前記ステップ(S5)は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース(GUI)アプリケーションにより、複数の2次元アイコンを生成及び表示するステップを含み、前記2次元アイコンは、前記ロボットシステムに電気的に接続された器具の位置、前記器具の方位、前記ナビゲーション指示、及び前記器具の有効な方位の範囲を表す。
好ましい実施形態では、前記ナビゲーション指示は、光インジケータ又はオーディオ装置によって提示され、前記光インジケータ及び前記オーディオ装置は、前記ロボットシステムに電気的に接続される。
好ましい実施形態では、前記ナビゲーション指示は、ツールの方向によって提示され、前記ツールは、前記ロボットシステムに電気的に接続されたマニピュレータに接続される。
好ましい実施形態では、前記ステップ(S5)は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース(GUI)アプリケーションにより、複数の2次元アイコンを生成及び表示するステップを含み、前記2次元アイコンは、作業空間プログレスバーを表す。
本開示の別の実施形態は、医療手術を支援するためのロボットシステムを提供する。前記ロボットシステムは、ユーザインタフェースと、前記ユーザインタフェースに電気的に接続されたコンピュータシステムと、を含み、前記コンピュータシステムは、医療手術をナビゲートするためのプログラムを記憶する非一時的なコンピュータ可読媒体を備え、前記プログラムは、前記コンピュータシステムの少なくとも1つのプロセッサによって実行可能であり、前記プロセッサによって実行されると、前記ロボットシステムに以下のステップを実行させる命令を含み、前記ステップは、前記ロボットシステムのプロセッサにおいて、少なくとも1組のナビゲーションデータを受信するステップであって、少なくとも1組の登録データを受信するステップと、少なくとも1組の器具データを受信するステップと、少なくとも1組の空間センサデータを受信するステップと、少なくとも1組の医療手術計画データを受信するステップとを備え、前記器具データは前記ロボットシステムの少なくとも1組の仮想作業空間又は仮想アクティブ空間を含み、前記ナビゲーションデータは少なくとも1つの仮想物体を含む、受信するステップ(S1)と、前記ロボットシステムの前記プロセッサにおいて、前記ナビゲーションデータ内の前記仮想物体の少なくとも1つの3次元モデルを受信又は生成するステップ(S2)と、前記ロボットシステムの前記プロセッサにおいて、仮想環境を生成するように前記ナビゲーションデータを処理するステップ(S3)と、前記ロボットシステムの前記プロセッサにおいて、少なくとも1つのナビゲーション指示を生成するように前記ナビゲーションデータ及び前記仮想環境を処理するステップ(S4)と、前記ロボットシステムに電気的に接続されたユーザインタフェースにおいて、ユーザが医療手術中に参照するために、前記ロボットシステムの前記ユーザに前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を提示するステップ(S5)と、を含む。
好ましい実施形態では、前記ステップ(S1)は、少なくとも1組の解剖学的データを受信するステップ(S1-1)をさらに含む。
好ましい実施形態では、前記ステップ(S1-1)は、前記ロボットシステムに電気的に接続された低侵襲画像システムから少なくとも1組の内視鏡画像データを受信するステップをさらに含み、ステップ(S5)は、内視鏡画像データを表示するステップをさらに含み、表示された前記内視鏡画像データは、前記仮想環境における仮想解剖学的構造と空間的かつタイムリーに一致する。
好ましい実施形態では、前記仮想アクティブ空間は、第1の仮想アクティブ空間及び第2の仮想アクティブ空間を含み、前記第1の仮想アクティブ空間のサイズ又は形状は、前記第2の仮想アクティブ空間のサイズ又は形状とは異なる。
好ましい実施形態では、前記ロボットシステムは、マニピュレータ又はツールを有する器具システムに電気的に接続され、前記第1の仮想アクティブ空間は、前記マニピュレータ又は前記ツールをアクティブ化するための複数の基準のうちの1つに関連付けられ、前記第2の仮想アクティブ空間は、前記マニピュレータ又は前記ツールを非アクティブ化するための複数の基準のうちの1つに関連付けられる。
好ましい実施形態では、前記ステップ(S4)は、前記仮想環境内の少なくとも2つの仮想物体間の少なくとも1つの空間関係を決定するステップを含む。
好ましい実施形態では、前記少なくとも2つの仮想物体の第1の仮想物体は、前記器具データからの仮想作業空間又は仮想アクティブ空間であり、前記少なくとも2つの仮想物体の第2の仮想物体は、前記医療手術計画データからの仮想計画物体である。
好ましい実施形態では、前記少なくとも1つの空間関係は、少なくとも1つの補償評価を含み、前記補償評価は、前記医療手術データ及び前記仮想作業空間から、又は前記医療手術データ及び前記仮想アクティブ空間から計算される。
好ましい実施形態では、前記ステップ(S4)は、少なくとも1つのナビゲーション指示を生成するように、前記医療手術計画データ内の少なくとも1つの仮想計画物体属性を処理するステップを含む。
好ましい実施形態では、前記ナビゲーション方法は、前記ロボットシステムの少なくとも1つの機能を制御するための少なくとも1つの組の制御信号を生成するステップをさらに含む。
好ましい実施形態では、前記制御信号は、第1の制御信号と第2の制御信号とを含み、前記第1の制御信号は、前記ナビゲーションデータの計算の第1の計算結果に基づいて生成され、前記第2のナビゲーション指示は、前記ナビゲーションデータの計算の第2の計算結果に基づいて生成される。
好ましい実施形態では、前記ステップ(S5)は、前記プロセッサに電気的に接続された表示装置上に3次元グラフィックスをレンダリングするステップを含み、前記3次元グラフィックスは、前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を含む。
好ましい実施形態では、前記レンダリングの視野角は、前記ロボットシステムに電気的に接続された器具の方位に合わせられる。
好ましい実施形態では、前記ステップ(S5)は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース(GUI)アプリケーションにより、複数の2次元アイコンを生成及び表示するステップを含み、前記2次元アイコンは、前記ロボットシステムに電気的に接続された器具の位置、前記ナビゲーション指示、及び前記器具の有効な方位の範囲を表す。
好ましい実施形態では、前記ナビゲーション指示は、光インジケータ又はオーディオ装置によって提示され、前記光インジケータ及び前記オーディオ装置は、前記ロボットシステムに電気的に接続される。
好ましい実施形態では、前記ナビゲーション指示は、ツールの方向によって提示され、前記ツールは、前記ロボットシステムに電気的に接続されたマニピュレータに接続される。
好ましい実施形態では、前記ステップ(S5)は、前記ナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース(GUI)アプリケーションにより、複数の2次元アイコンを生成及び表示するステップを含み、前記2次元アイコンは、作業空間プログレスバーを表す。
好ましい実施形態では、システムは、前記コンピュータシステムに電気的に接続され、ツールと前記ツールに接続されるマニピュレータとを備える器具システムをさらに含む。
要約すると、本開示の様々な実施形態によれば、ロボットシステムは、器具のマニピュレータの作業空間に関するデータを利用して、ロボットシステムのユーザにナビゲーション指示を提供する。ユーザは、ナビゲーション指示を参照することにより、器具の位置及び/又は方位に基づいて、所定の医療手術計画からのツールの位置又は方位の偏差を補正する器具の能力の感覚を提供される。さらに、ナビゲーション指示はまた、器具の位置及び/又は方位に基づいて、器具を最適な位置又は方位に手動で操作する方法に関する提案をユーザに通知して、所定の医療手術計画からのツールの位置又は方位の偏差を補正する器具の能力を改善する。
添付の図面は本発明の1つ又は複数の実施形態を示し、記述された説明とともに、本発明の原理を説明する。可能な限り、実施形態の同じ又は類似の要素を指すために、図面全体を通して同じ参照符号が使用される。
本開示の一実施形態に係るロボットシステムのブロック図である。 本開示の一実施形態に係るロボットシステムの概略図である。 本開示の一実施形態に係るロボットシステムの手持ち器具の斜視図である。 本開示の一実施形態に係るロボットシステムの手持ち器具の側面図である。 本開示の一実施形態に係るロボットシステムの手持ち器具のマニピュレータの側面図である。 本開示の一実施形態に係る、ロボットシステムの手持ち器具の別のマニピュレータの側面図である。 本開示の一実施形態に係るロボットシステムの動作状態の概略図である。 本開示の一実施形態に係るロボットシステムの空間センサシステムの動作状態の概略図である。 本開示の一実施形態に係るロボットシステムの動作状態の概略図である。 本開示の一実施形態に係るロボットシステムのナビゲーション方法のフロー図である。 本開示の一実施形態に係るナビゲーション方法においてナビゲーションデータを受信するステップを示すブロック図である。 本開示の一実施形態に係るナビゲーション方法において仮想環境及びナビゲーション指示を生成するステップを示すブロック図である。 本開示の一実施形態に係る仮想環境を生成するステップを示すブロック図である。 本開示の一実施形態に係るナビゲーション方法において仮想環境及びナビゲーション指示を提示するステップの概略図である。 本開示の一実施形態に係るロボットシステムのユーザインタフェースの概略図である。 本開示の一実施形態に係る、ロボットシステムのグラフィックユーザインタフェース(GUI)アプリケーションによって生成された2次元アイコンの概略図である。 本開示の一実施形態に係る、GUIアプリケーションによって生成された2次元アイコンの別の概略図である。
一般的な慣行によれば、様々な説明された特徴は、縮尺通りに描かれておらず、本開示に関連する特徴を強調するために描かれている。類似の参照符号は、図や本文中では類似の要素を表す。
以下、本発明の様々な例示的な実施形態を示す添付の図面を参照して、本発明をより全体的に説明する。しかしながら、本発明は、多くの異なる形態で具現化されてもよく、本明細書に記載された実施形態に限定されるものとして解釈されるべきではない。むしろ、これらの実施形態は、本開示が十全であり、本開示の範囲を当業者に十分に伝えるように提供される。全体を通して、類似の参照符号は類似の要素を指す。
本明細書で使用される用語は、特定の実施形態を説明するためだけのものであり、本開示を限定することを意図するものではない。本明細書で使用されるように、単数を表す用語、例えば、「1つ」は、他の文脈が明確に示されない限り、複数も含むように意図される。「含む」、「備え」などの用語は、本明細書で使用される場合、特徴、領域、整数、ステップ、操作、要素、及び/又は構成要素の存在を特定するが、1つ以上の他の特徴、領域、整数、ステップ、操作、構成要素、及び/又はそれらのグループの存在又は追加を妨げるものではない。
用語「及び/又は」と「少なくとも一つ」は、関連する列挙された項目のうちの1つ又は複数の任意の組合せ及び全ての組合せを含むことが理解されるであろう。第1、第2、第3などの用語は、様々な要素、構成要素、領域、部分及び/又はセクションを説明するために本明細書で使用され得るが、これらの要素、構成要素、領域、部分及び/又はセクションは、これらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、1つの要素、構成要素、領域、部分又はセクションを別の要素、構成要素、領域、層又はセクションから区別するためにのみ使用される。したがって、以下で説明する第1の要素、構成要素、領域、部分、又はセクションは、本開示の教示から逸脱することなく、第2の要素、構成要素、領域、層、又はセクションと呼ぶことができる。
本明細書で使用される「医療手術」という用語は、特定の医療目的のために患者に適用される手順又は手順の一部を指す。例えば、医療手術はコンピュータ支援手術であってもよく、又は医療手術はコンピュータ支援手術の一部である登録処理であってもよい。
本明細書で使用される「仮想物体」という用語は、記憶媒体に記憶可能な1組のコンピュータ実行可能データを指す。仮想物体は、現実世界の物体の表現/シミュレーション又は幾何学的概念を含むことができる。
本明細書で使用される「物体プロパティ」という用語は、仮想物体の少なくとも1つの属性を指す。言い換えると、物体プロパティは、データファイルに符号化され、データ構造又はメモリ構成に格納された仮想物体のコンテンツである。
本明細書で使用される「仮想環境」という用語は、現実世界の環境の表現/シミュレーションを含む1組のデータを指す。仮想環境には、少なくとも1つの明確に定義された座標系と、少なくとも1つの仮想物体が含まれる。少なくとも1つの仮想物体の明確に定義された座標系に対する空間プロパティも明確に定義される。
本明細書で使用される「空間プロパティ」という用語は物体の位置/方位を指し、本明細書で使用される「空間関係」という用語は、2つの物体間の相対位置又は相対方位を指す。
本開示では、データ構造の例示的な説明がデータ属性を説明するためのものである。言い換えれば、データに符号化された必要なコンテンツ及び対応する処理ステップは、例示的な説明において説明される。これらの例示的な説明は、データ構造、記憶方法、読み取り方法、処理方法、測定方法、及びデータに符号化されたこれらの必要なコンテンツの説明方法を限定すべきではないことが理解されるであろう。これらの例示的な説明は、対応する処理プログラム、コンピューティングプログラム、測定プログラム、又は他のアプリケーションのプログラミング方法又はプログラミング言語を限定すべきではないことも理解されよう。
別段の定義がない限り、本明細書で使用される全ての用語(技術用語及び科学用語を含む)は、本開示が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。さらに、一般的に使用される辞書で定義されるような用語は、関連技術及び本開示の文脈におけるそれらの意味と一致する意味を有するものとして解釈されるべきであり、本明細書で明示的にそのように定義されない限り、理想化された又は過度に形式的な意味で解釈されないことが理解されるであろう。
図1及び図2を参照する。本開示の一実施形態によれば、外科手術前及び外科手術のためのロボットシステム1000は、電子モジュール及びプロセッサ実行可能命令に結合された外科手術ハードウェアを含む。ロボットシステム1000は、器具システム1100と、空間センサシステム1500と、ユーザインタフェース1800と、器具システム1100と空間センサシステム1500とユーザインタフェース1800とに電気的に接続されたコンピュータシステム1700とを含む。この実施形態では、ロボットシステム1000は、ユーザ(例えば、外科医)がユーザインタフェース1800を参照して、器具システム1100によって対象(例えば、患者)に対して手術を行うことを可能にする。少なくとも1つの医用イメージャ1910は、ロボットシステム1000と通信し、対象の医用画像を取得し、画像をロボットシステム1000に送信するように構成される。空間センサシステム1500は、対象及び環境の空間情報を生成するように構成される。コンピュータシステム1700は、医用画像に基づいて仮想解剖学的モデルを生成し、仮想解剖学的モデルに基づいて手術計画を生成し、空間センサシステム1500から受信した空間情報に基づいて手術環境を追跡し、マニピュレータ1210の移動を制御する又は運動状態を変更するように構成される。ユーザインタフェース1800は、解剖学的モデルを視覚化し、ユーザが手術計画に基づいて手術野をナビゲートすることを可能にする。
図2に示されるように、ロボットシステム1000の器具システム1100は、対象に手術を施すための手持ち器具1200を含む。この実施形態では、器具システム1100は、手持ち器具1200に接続された支持アーム1450をさらに含み、ユーザの手の重量負荷を低減し、任意選択で、手術中により多くの動作安定性を提供することができる。
図3及び図4を参照する。一実施形態によると、手持ち器具1200は、ツール1250と、ツール設置ベース1260と、マニピュレータ1210と、器具ハウジング1280とを含む。ツール1250は、対象の身体部分上の解剖学的表面に接触又は修正するように構成される。ツール設置ベース1260がツール1250の端部とマニピュレータ1210とに接続されることにより、ツール1250は、マニピュレータ1210に安定して接続される。マニピュレータ1210は、ツール1250の位置及び方位を操作するために、コンピュータシステム1700によって制御される機構である。器具ハウジング1280は、マニピュレータ1210に接続されて、マニピュレータ1210の少なくとも一部を収容し、ロボットシステム1000の動作中に、ユーザが器具1200を保持したり操作したりすることを可能にするための1つ又は複数のハンドル1284を提供する。
この実施形態では、ツール1250が対象の解剖学的部位に接触するか又は評価し、解剖学的部位の構造又は状態を検出するためのプローブ又はインジケータであってもよい。ツール1250は、ドリルビット、バー、キュレット、こぎり、スクリュードライバ、又は穿孔、フライス削り、切断、又は削り取りによって解剖学的部位の組織の一部を修正又は除去する外科医学で一般に使用される他のツールであってもよい。いくつかの実施形態では、ツール1250は、表面マッチング登録を実行するための機械的、光学的、又は超音波プローブであり、剛性プローブ、圧力センサ、圧電センサ、エラストマーセンサ、光学カメラ、レーザスキャナ、又は超音波スキャナであってもよいが、これらに限定されない。
この実施形態では、ツール設置ベース1260は、ツール1250と、マニピュレータ1210のロボット制御プラットフォーム1230の第1の側面とに接続される。ツール設置ベース1260は、ツールアダプタ1265と、ツールアダプタ1265に接続されたモータ1270とを含む。ツールアダプタ1265は、ツール1250の端部を強固に保持して、動作中にツールの変位を回避するためのクランプ又は他の締結構造であってもよい。モータ1270は、直流(DC)モータ又は交流(AC)モータであってもよく、電気エネルギーを機械エネルギーに変換し、ツール1250の移動を駆動するための線形又は回転力を生成する。代替の実施形態では、モータは、器具の動作中のマニピュレータ1210への負荷を低減し、ユーザの人間工学を改善するために器具1200の重量を再配分するように、器具の後端に配置されてもよい。加えて、図5及び図6に示されるように、ツール設置ベース1260は、手術中にツール1250によって持続される力及び/又はトルクを検出するために、プラットフォーム1230の第1の側部に接続される力センサ1235をさらに含んでもよい。他の実施形態では、力センサ1235が器具のプローブ又はツール内に配置されてもよい。代替的に、器具1200は、プローブ又はツール内に配置された別の力センサ(図示せず)をさらに含んでもよい。力センサは、歪みゲージ、力感応抵抗器、圧力変換器、圧電センサ、電気活性ポリマー、又は光ファイバ曲げセンサであってもよいが、これらに限定されない。
この実施形態では、マニピュレータ1210は、ベース1220と、ツール設置ベース1260に接続されたプラットフォーム1230と、ツール1250から離れたプラットフォーム1230の第2の側、及びプラットフォーム1230に面するベース1220の第1の側に取り付けられた複数のジョイント1245a、1245bと、プラットフォーム1230から離れたベース1220の第2の側にベース1220に接続された複数のアクチュエータ1240とを含む。図4に示されるように、ベース1220は、器具ハウジング1280上に固定されても、又はその中に収容されてもよい。マニピュレータ1210は、より高い空間効率及び操縦性のために、6自由度(DOF)を有するスチュワートマニピュレータなどの平行マニピュレータであってもよい。加えて、マニピュレータは、ステンレス鋼又は炭素繊維で作られ、特定の機械的構造に配置されることが好ましい。これにより、マニピュレータ1210は、手術中に対象に接触するツール1250から発生する力及び/又はトルクに対して十分な持続性を有することができる。
この実施形態では、マニピュレータ1210のジョイントは、回転ジョイント、プリズムジョイント、球形ジョイント、自在ジョイント、シリンダジョイント、又は所望のDOFを可能にするこれらの任意の組み合わせであってもよいが、これらに限定されない。図5及び図6に例示されるように、6DOFを有する一般的なスチュワートプラットフォームを有するマニピュレータ1210は、マニピュレータ1210の広範囲の運動及び様々な運動状態を可能にするように、自在ジョイント1246と球形ジョイント1247とを含んでもよい。マニピュレータ1210は、複数のコネクタをさらに含んでもよく、各コネクタは、ジョイント1245aのうちの1つ及びジョイント1245bのうちの1つに接続され、ツール1250のより広範囲の移動を可能にしてもよい。
この実施形態では、マニピュレータ1210のアクチュエータ1240は、ジョイントと反対側のベース1220に接続され、コンピュータシステム1700から送信される制御信号に基づいて、ジョイントやコネクタを駆動するように構成される。代替の実施形態では、アクチュエータ1240及びジョイントは、ベース1220の同じ側に配置されてもよい。図6に例示されるように、アクチュエータ1240は、ベース1220とプラットフォーム1230との間に配置され、アクチュエータ1240のそれぞれは、自在ジョイント1246及び球形ジョイント1247によって接合される。複数のアクチュエータ1240は、より高い精度及びより強い持続性を有する線形アクチュエータであってもよい。
再び図3及び図4を参照する。この実施形態では、マニピュレータ1210を収容し、ハンドル1284を提供することに加えて、器具ハウジング1280は、ユーザがツール1250の動作をトリガ、停止、又は調整すること、又は器具1200の他の機能を実行することを可能にするための制御モジュール1282をさらに含んでもよい。
実施形態において、手持ち器具1200は、器具1200の幾何学的精度を保証するように、器具ハウジング1280に関してマニピュレータ1210の運動状態を校正するように構成された校正装置1300とともに使用されてもよい。
図7を参照する。器具1200は、特に低侵襲手術において、トロカール1400とともに使用されて、器具1200のツール1250が解剖学的関心部位に到達するための物理的ポータルを提供することができる。代替の実施形態では、トロカール1400は、マニピュレータ1210のプラットフォーム1230に取り外し可能に接続されて、トロカール1400及びツール1250の解剖学的部位への同時進入を可能にしてもよい。
次に、図8を参照する。本開示の一実施形態によれば、ロボットシステム1000の空間センサシステム1500は、少なくとも1つの目標物体の空間情報(例えば、位置及び方位)を検出して追跡するように構成され、目標物体に取り外し可能に取り付けられる少なくとも1つの空間マーカフレーム1550と、空間マーカフレーム1550から送信される信号を受信するための、少なくとも1つのカメラを有する空間センサ1510とを含む。
図7及び図8に例示されるように、目標物体は、器具1200、トロカール1400、又は選択された解剖学的部位であってもよい。この実施形態では、空間マーカフレーム1550は、電磁信号、音波、熱、又は他の知覚可能な信号を発するための複数のマーカ1555と、マーカ1555を保持するために目標物体に取り外し可能に取り付けられたアダプタ1560とを含み、目標物体が空間センサ1510によって追跡可能になる。別の実施形態では、空間センサシステム1500は、空間センサ1510上又は所定の位置に配置された信号発生器(図示せず)をさらに含んでもよい。その結果、マーカ1555による信号伝送は能動的又は受動的であってもよく、言い換えれば、マーカ1555によって発せられる信号は、マーカ球によって生成されてもよく、又はマーカ1555は、信号発生器によって生成される信号がマーカ1555によって空間センサ1510に反射されるように、反射材料で覆われてもよい。
この実施形態では、空間センサ1510によって受信された信号が目標物体の空間情報としてコンピュータシステム1700に送信される。さらに、空間マーカフレーム1550のマーカ1555は、図8に例示されるように、特定のパターンでアダプタ1560上に配置されてもよく、したがって、コンピュータシステム1700が、それに応じて目標物体の方位情報を生成することを可能にする。コンピュータシステム1700は、器具1200のマニピュレータ1210の移動を制御するか、又は運動状態を変更するか、又は指定された位置又は方位に器具1200を移動させるようにユーザに促すためにユーザインタフェース1800上に示される命令を生成するために、空間情報及び方位情報に基づいて制御信号を生成することができる。
本開示の一実施形態によれば、ロボットシステム1000のコンピュータシステム1700は、プロセッサ1710と記憶ユニットとを含む。プロセッサ1710は、汎用プロセッサ、特定用途向け命令セットプロセッサ(ASIP)、又は記憶ユニットや他のデータストリームなどのデータソース上で動作を実行する特定用途向け集積回路(ASIC)であってもよい。例えば、プロセッサは、ARMベースのプロセッサ又は8086xのプロセッサである。いくつかの実施形態では、プロセッサ1710は、複数のデジタル又はアナログ入力/出力をさらに含み、リアルタイムオペレーティングシステム(RTOS)プロセッサであってもよい。記憶ユニットは、コンピュータシステムで即時に使用するためにプロセッサによって割り当てられたデジタルデータを記憶することができる。記憶ユニットは、フラッシュメモリ、読み出し専用メモリ(ROM)、プログラム可能な読み取り専用メモリ(PROM)、消去可能な読み取り専用メモリ(EPROM)などの揮発性、又はダイナミックランダムアクセスメモリ(DRAM)及びスタティックランダムアクセスメモリ(SRAM)などの不揮発性であってもよい。
一実施形態によれば、ユーザインタフェース1800は、ユーザに情報を提示するための少なくとも1つの出力装置と、少なくとも1つの入力装置とを含む。ユーザインタフェース1800によって提示される情報は、手術計画、2次元(2D)又は3D再構成画像、2D又は3D穿孔状態(例えば、ツールの位置、角度、深さ、又は曲げ)、ツールの補償範囲、ユーザガイダンス、警告領域、手術計画からのツール偏差の通知、及びツールの力持続可能限界の通知を含んでもよいが、これらに限定されない。出力装置は、ディスプレイ、光インジケータ、又は他の視覚的手段であってもよい。代替的に、出力装置は、スピーチシンセサイザ又は他のオーディオ手段であってもよく、或いはスピーチシンセサイザ又は他のオーディオ手段をさらに含んでもよい。入力装置は、ユーザによって入力されたコマンドを電気信号に変換することができ、ペダル、キーボード、マウス、タッチパネル、音声認識インタフェース、又はジェスチャ認識インタフェースであってもよい。
一実施形態によれば、ロボットシステム1000は、低侵襲画像センサシステム4100をさらに含むことができる。低侵襲画像センサシステムは、患者の解剖学的部位1960の光学画像を感知し、処理し、出力するように構成される。低侵襲画像センサシステム4100は内視鏡装置4110と、内視鏡画像プロセッサ4120と、内視鏡ホルダ、内視鏡導入器、及び内視鏡位置検出ユニットなどの他のアクセサリとを含んでもよいが、これらに限定されない。
低侵襲画像センサシステム4100は、データの交換のためにプロセッサ1710に電気的に接続される。内視鏡装置4110の位置及び方位は、空間センサシステム1500によって追跡されてもよい。
いくつかの実施形態では、内視鏡装置4110は、器具1200のマニピュレータ1210に機械的に連結されてもよい。これらの実施形態では、内視鏡装置4100の位置及び方位はマニピュレータ1210によって制御される。
いくつかの実施形態では、内視鏡装置4110は、内視鏡装置が器具の長手方向軸(即ち、マニピュレータが初期姿勢又は初期運動状態にあるときのツールの回転軸)に平行なカメラ角度を有するように、器具1200に機械的に結合されてもよい。
図9を参照する。ユーザインタフェース1800はまた、器具1200の操作を容易にするように、コンピュータ生成ナビゲーション指示及び/又はコンピュータ生成仮想環境3600をユーザ(例えば、外科医)に提示してもよい。
仮想環境3600は、明確に定義された座標系と、少なくとも1つの仮想物体とを含む。一実施形態では、仮想物体は、仮想器具3604と、仮想解剖学的構造2110と、仮想医療手術計画3601と、器具1200のマニピュレータ1210の仮想作業空間3603とを含んでもよい。仮想環境3600において、仮想物体の各々と明確に定義された座標系との間の空間関係は、現実世界の手術環境をシミュレートするように明確に定義される。仮想物体間の空間関係を定義するために、空間センサシステム1500は、現実世界の物体の空間プロパティをコンピュータシステム1700に提供するように構成される。空間プロパティは、位置又は方向であってもよい。
ユーザは、提示されたナビゲーション指示及び仮想環境内の仮想物体間の空間関係を参照することにより、マニピュレータ1210の状態と仮想物体の空間プロパティとの間の複雑な関係を容易に理解することができる。
図9に例示されるように、仮想環境3600は、動作の目標スポット1965に対応する仮想医療手術計画3601を含む。目標スポット1965は、器具1200のツール1250によって影響を受ける。ユーザは、仮想作業空間3603及び仮想医療手術計画3601の位置/方位を参照することにより、ツール1250が解剖学的部位3701上の目標スポット1965に到達できる空間範囲内に器具1200を位置決めすることができる。さらに、ユーザインタフェース1800は、ユーザにツール1250の提案された移動方向などの移動提案を通知するように、ナビゲーション指示3602を提示することもできる。
図10を参照すると、本開示の実施形態に係る、医療手術を支援するためのナビゲーション方法3000のフロー図が提供される。この実施形態では、ロボットシステム1000によって実行されるナビゲーション方法3000は、様々なデータソースからナビゲーションデータを受信するステップ(S3100)と、仮想環境3600及びナビゲーション指示3602を生成するステップ(S3300)と、ユーザインタフェース1800上に仮想環境3600及びナビゲーション指示3602を提示するステップ(S3500)とを含む。ナビゲーション方法3000は、ユーザインタフェース1800上の仮想環境3600及びナビゲーション指示3602を参照して、器具システム1100を使用することにより、ユーザが対象に対して医療手術を実行することを可能にする。
いくつかの実施形態では、ナビゲーション方法3000が繰り返し実行されてもよい。他の実施形態では、ナビゲーション方法3000のステップS3110、S3300、S3500の順序を変更することができる。例えば、医療手術(例えば、外科手術)中に、患者及び器具のリアルタイムの位置/方位を外科医に提供するために、ナビゲーション方法3000は、ステップS3100、S3300、及びS3500を繰り返し実行することにより、患者/器具の位置/方位を更新することができる。
ステップS3100において、プロセッサ1710は、様々なデータソースからナビゲーションデータを受信する。ナビゲーションデータには、様々な仮想物体が含まれる場合がある。各仮想物体には、1組の物体プロパティを含めることができる。例えば、1組の物体プロパティは、アイデンティティ、空間プロパティ、又は形状を含むことができる。
仮想物体のアイデンティティは、仮想物体が表す実際の物体に対応する。例えば、器具1200のアイデンティティを含む仮想物体は、器具1200を表すように構成される。仮想物体のアイデンティティは、仮想物体が表す幾何学的概念に対応することができ、幾何学的概念は、コンピュータグラフィックスを生成するために、又は空間関係を計算するために使用することができる。例えば、仮想物体のアイデンティティは、器具1200の作業空間に対応することができる。別の例では、仮想物体のアイデンティティは、器具1200の所望の軌跡に対応することができる。
仮想物体の空間プロパティは、仮想物体の位置、方位、又はサイズを含むことができる。仮想物体ごとに、空間プロパティは、基準座標系に対する相対値とすることができる。
仮想物体の形状は、仮想物体の幾何学的境界を記述する。仮想物体の形状は、3次元モデルを形成するために用いられる。形状は、点群、ワイヤ-フレームモデル、境界表現、空間分割ツリー、又はその他のような種々の3次元モデリングデータ構造で構成されてもよい。
一実施形態では、ナビゲーションデータ3105は、医療におけるデジタル画像と通信(DICOM)の規格又は他の医療画像規格に適合する画像データであってもよい。別の実施形態では、ナビゲーションデータは、物体の方位を表すベクトル、マトリックスの形態の1組の画像データ、又は物体の位置及び方位を表す四元数とすることができる。
図11を参照する。一実施形態によれば、ナビゲーションデータを受信するステップ(S3100)は、解剖学的データを受信するステップ(S3110)と、器具データを受信するステップ(S3130)と、空間センサデータを受信するステップ(S3150)と、登録データを受信するステップ(S3170)と、医療手術計画データを受信するステップ(S3190)とを含むことができる。S3110、S3130、S3150、S3170、S3190のステップは本明細書では特定の順序なしに提示されており、言い換えれば、ステップは個別に、同時に、又は特定の順序で連続して実行され得ることを理解されたい。
ステップS3110において、プロセッサ1710は、解剖学的データソース3113から解剖学的データの少なくとも1組を受信する。解剖学的データソース3113は、ロボットシステム1000の記憶ユニット、他の外部メモリ装置、又は他の外部処理装置であってもよい。解剖学的データは、解剖学的部位3701(例えば、患者の脊椎)を表すための仮想物体を含むことができる。解剖学的データ内の仮想物体は、解剖学的部位3701のアイデンティティ、サイズ、形状、機械的特徴、又は生理学的特徴などの物体プロパティを含むことができる。本開示では、「仮想解剖学的構造」という用語は、解剖学的部位を表すための仮想物体を指す。仮想解剖学的構造は、解剖学的部位のアイデンティティを含む。解剖学的データは、手術前又は手術中に生成されてもよい。例えば、解剖学的データは、脊椎のコンピュータ断層撮影(CT)画像、脳の磁気共鳴画像(MRI)、又は筋肉の超音波画像のような、解剖学的部位の手術前又は手術中の医学的断層画像であってもよい。
本開示の一実施形態によれば、解剖学的データは、内視鏡画像データ(即ち、低侵襲画像センサシステム4100によって出力される画像データ及び/又はビデオデータ)を含むことができる。例えば、解剖学的データは、内視鏡装置4110によって取得された患者の脊椎のビデオデータであってもよい。
ステップS3130において、プロセッサ1710は、器具データソース3133から少なくとも1組の器具データを受信する。器具データソース3133は、ロボットシステム1000の記憶ユニット、他の外部メモリ装置、又は他の外部処理装置であってもよい。器具データは、器具システム1100又は器具システム1100の構成要素を表す少なくとも1つの仮想物体を含むことができる。本開示では、「器具仮想物体」という用語は、器具データ内の仮想物体を指す。器具仮想物体は、器具システム1100のアイデンティティ、サイズ、形状、機械的特徴などの物体プロパティを含むことができる。
図2~6に示されるように、器具仮想物体のアイデンティティは、器具1200、マニピュレータ1210、ベース1220、プラットフォーム1230、アクチュエータ1240、ジョイント1245、ツール1250、プローブ1255、ツール設置ベース1260、ツールアダプタ1265、モータ1270、器具ハウジング1280、校正装置1300、ツールガイド1310、マニピュレータガイド1320、充電モジュール1330、校正装置1300のベース1340、トロカール1400、吊下げアーム1450、空間センサ1510、空間マーカ1550、マーカ1555、インプラント1475、及び内視鏡装置4110を含んでもよい。器具仮想物体のアイデンティティはまた、器具1200のマニピュレータ1210の作業空間、及び器具1200のアクティブ空間であってもよい。
本開示では、「仮想作業空間」という用語は、作業空間を表すための仮想物体を指す。器具1200のマニピュレータ1210の作業空間は、マニピュレータ1200のベースが静止したままであるときのエンドエフェクタ(例えば、ツール1250)の1組の全ての到達可能な点である。一実施形態では、マニピュレータ1210の作業空間は、ツール1250の1組の全ての到達可能な点(例えば、ドリルビットの先端の到達可能な点)である。さらに、マニピュレータ1210の作業空間の形状及びサイズは、マニピュレータの自由度(DOF)の数によって変化してもよい。例えば、6DOFを有するマニピュレータの作業空間は、3次元形状のボリュームであってもよい。別の例では、1DOFのみを有するマニピュレータの作業空間が点、1次元曲線、又は1次元直線とすることができる。
仮想作業空間は、器具1200の作業空間に対応する物体プロパティを含むことができる。例えば、物体プロパティは、特定の作業空間を表すためのアイデンティティ、作業空間の形状/サイズ、及び作業空間の空間プロパティを含むことができる。
器具1200のマニピュレータ1210のアクティブ空間は、作業空間のサブセットであってもよい。言い換えれば、アクティブ空間は、マニピュレータ1210のベースが静止したままであるときのエンドエフェクタの1組の全ての到達可能な点の一部である。本開示において、「仮想アクティブ空間」又は「仮想作業空間」という用語は、アクティブ空間を表すための仮想物体を意味する。仮想アクティブ空間は、アクティブ空間のアイデンティティを含む。
仮想作業空間(又は仮想アクティブ空間)は、他の仮想物体と相互作用する場合がある。仮想作業空間3603(又は仮想アクティブ空間)と他の仮想物体との相互作用は、それらの空間関係を計算することによって定義されてもよい。プロセッサ1710は、仮想作業空間3603(又は仮想アクティブ空間)と他の仮想物体との相互作用に基づいて、ロボットシステム1000を制御するための制御信号を生成することができる。例えば、器具1200のロボット操作の機能は、仮想作業空間3603(又は仮想アクティブ空間)が別の仮想物体を含むときに起動されてもよい。別の例では、別の仮想物体を有する仮想作業空間3603(又は仮想アクティブ空間)を、器具1200のロボット操作の機能をアクティブ化するための基準の1つとして設定することができる。
また、器具1200のロボット操作の機能は、仮想作業空間3603(又は仮想アクティブ空間)空間にターゲット仮想物体が含まれていない場合には非アクティブ化される可能性がある。別の例では、目標仮想物体のない仮想作業空間3603(又は仮想アクティブ空間)を、器具1200のロボット操作の機能を非アクティブ化するための基準として設定することができる。
器具仮想物体のサイズ、形状、及び機械的特徴は、器具仮想物体のアイデンティティに対応してもよい。例えば、特定の器具を表す器具仮想物体は、その特定の器具のサイズ属性及び形状属性を含むことができる。例えば、器具データ2275は、マニピュレータ1210の一連のコンピュータ生成設計図を含むことができる。
一実施形態では、アクティブ空間は、ロボットシステム1000のユーザによって定義されてもよい。別の実施形態では、アクティブ空間は、第1のアクティブ空間及び第2のアクティブ空間を含むことができる。第1のアクティブ空間は、マニピュレータの少なくとも1つの機能をアクティブ化/オンにするための第1の基準を設定するように構成される。第2のアクティブ空間は、少なくともマニピュレータのオン機能を非アクティブ化/オフにするための第2の基準を設定するように構成される。第1のアクティブ空間及び第2のアクティブ空間の形状は、同一であっても異なっていてもよい。
器具データは、様々なコンピュータファイルフォーマットで符号化され、記憶されてもよい。例えば、器具仮想物体は、形状、サイズ、及び他の物体プロパティを含むコンピュータ支援設計(CAD)ファイルであってもよい。
再び図11を参照する。ステップS3150において、プロセッサ1710は、空間センサデータソース3153から少なくとも1組の空間センサデータを受信する。空間センサデータソース3153は、空間センサシステム1500、ロボットシステム1000の記憶ユニット、他の外部メモリ装置又は他の外部処理装置であってもよい。空間センサデータは、空間マーカを表すための仮想物体を含むことができる。本開示では、「仮想空間マーカ」という用語が空間マーカを表すための仮想物体を指す。
仮想空間マーカは、アイデンティティ、形状、サイズ、及び空間プロパティなどの物体プロパティを含むことができる。仮想空間センサのアイデンティティは、少なくとも1つの空間マーカであってもよい。空間プロパティは、位置及び方位であってもよい。位置及び方位は、1次元アレイ又は2次元アレイなどの様々なデータ構造によって表すことができる。仮想空間センサの形状は、空間マーカの形状を表すことができる。したがって、一例では、空間センサデータが物体の位置及び方位を含む四元数を表すための2次元アレイであってもよい。
ステップS3170において、プロセッサ1710は、登録データソース3173から少なくとも1組の登録データを受信する。登録データソース3173は、ロボットシステム1000の記憶ユニット、他の外部メモリ装置、又は他の外部処理装置であってもよい。登録データは、少なくとも2つの異なる座標系間の変換関係を定義するように構成される。登録データは、2つ以上の異なる座標系に関する基準点の空間プロパティを含むことができる。例えば、2つの異なる座標系で基準点の座標を定義することによって、2つの座標間の変換行列を導出することができる。登録データを導入することにより、第1の座標系に関する仮想物体の空間プロパティを、第2の座標系に関する別の形式に変換することができる。
登録データは、様々なタイプの座標系の変換関係を定義するように構成することができる。例えば、登録データは、仮想空間センサマーカの座標系と仮想器具の座標系との間の変換関係を定義することができる。この例では、仮想器具に関する空間プロパティが仮想空間センサマーカに関する空間プロパティに変換されてもよい。
別の例では、登録データは、仮想解剖学的構造の座標系と仮想環境の座標系との間の変換関係を定義することができる。この例では、仮想解剖学的構造に関する空間プロパティを、仮想環境に関する空間プロパティに変換することができる。仮想解剖学的構造は、座標変換を採用することにより、仮想環境と同じ座標系を共有する。したがって、仮想解剖学的構造は、仮想環境内に配置されることを可能にする。
ステップS3190において、プロセッサ1710は、医療手術計画データソース3193から少なくとも1組の医療手術計画データを受信する。医療手術計画データソース3193は、ロボットシステム1000の記憶ユニット、他の外部メモリ装置、又は他の外部処理装置であってもよい。医療手術計画データは、ロボットシステム1000によって実行される所定の医療手術を表すように構成される。医療手術計画データは、解剖学的部位を表すための仮想物体と、所定の医療手術を表すための仮想物体とを含むことができる。医療手術計画データの仮想物体は、アイデンティティ、空間プロパティ(例えば、位置又は方位)、形状、サイズ、又は他の物体プロパティを含むことができる。具体的には、医療手術計画データの仮想物体のアイデンティティは、計画物体、器具、解剖学的部位、又は他の物体とすることができる。
計画物体は、器具1200又は解剖学的部位1960との所定の相互作用を表す幾何学的概念である。計画物体には、計画物体境界(POB)と計画物体属性(POA)を含めることができる。POBは、計画物体の幾何学的境界である。POAは、計画物体と器具との間の相互作用の特性を定義するように構成される。
医療手術計画は、ロボットシステム1000のコンピュータシステムの計画モジュールによって生成されてもよい。ロボットシステム1000のユーザは、計画物体のPOB及びPOAを割り当てて、医療手術計画を生成し、1組の医療手術計画データとして医療手術計画を出力することができる。
本開示では、「仮想計画物体」という用語は、計画物体を表すための仮想物体を指す。仮想解剖学的構造は、解剖学的部位のアイデンティティを含む。仮想計画物体は、アイデンティティ、空間プロパティ(例えば、位置及び方位)、3次元グラフィックスプロパティ(例えば、形状及びサイズ)、ならびに仮想計画物体属性(VPOA)などの様々な物体プロパティを含むことができる。
仮想計画物体のアイデンティティは、ロボットシステム1000のユーザによって、又はロボットシステム1000自体によって、又はその両方によって定義される計画物体とすることができる。例えば、仮想計画物体のアイデンティティは、脊椎手術の人間が定義した穿孔軌跡であってもよい。別の例として、仮想計画物体のアイデンティティは、登録データを生成するための登録処理におけるコンピュータ生成のサンプリングルートであってもよい。
仮想計画物体の空間プロパティ(例えば、位置及び/又は方位)は、ロボットシステム1000のユーザによって定義されてもよい。通常、仮想計画物体の位置/方位は、仮想解剖学的構造と固定空間関係を有する。例えば、軌跡の仮想計画と仮想解剖学的構造との間に、それらの空間関係を表す変換行列が存在してもよい。
仮想計画物体の形状は、仮想計画物体境界(VPOB)を含むことができる。VPOBは、仮想計画物体の領域の範囲を定義するように構成される。VPOBは、様々な幾何学的空間システムにおける境界であってもよい。例えば、VPOBは、1次元空間内の点、2次元空間内の閉ループ、又は3次元空間内の閉表面であってもよい。POBは、様々な形状を形成することができる。例えば、VPOBは、球形の閉じた表面、又は任意の形状の表面を形成することができる。
VPOAは、少なくとも1つのVPOBによって包囲される地域の特性を定義するように構成される。特性は、POAのリストから選択することができる。POAのリストは、器具1200と解剖学的部位との間の相互作用(例えば、穿孔、フライス削り、切断、登録のためのサンプリング)を含む。例えば、POAは、穿孔軌跡としてPOB内の曲線直線領域を定義することができる。POAのリストは、器具が領域内に存在すべきでないことを示すための、又はツール1250によって影響されるべきでない制限領域を示すための特性をさらに含んでもよい。このような例では、VPOAは、仮想VPOB内のボリュームをツール1250の制限領域として定義することができる。さらに、POAのリストは、ツール1250の有効な方位を表すための1組のベクトルデータを含むこともできる。
計画物体属性のリストは、ロボットシステム1000の機能をオン又はオフに切り替えるべきであることを示すための特性をさらに含むことができる。例えば、計画物体属性(POA)2359は、計画物体境界(POB)2357によって包囲されるボリュームを自動パイロット領域として定義することができる。自動パイロット領域は、マニピュレータ1210がツール1250の位置及び方位を自動的に制御し得る領域である。
図12を参照する。一実施形態によれば、仮想環境及びナビゲーション指示を生成するステップ(S3300)は、3次元モデルを準備するステップ(S3310)と、仮想環境を生成するステップ(S3330)と、仮想作業空間又は仮想アクティブ空間の空間関係を決定するステップ(S3350)と、ナビゲーション指示を生成するステップ(S3370)とを含むことができる。S3110、S3130、S3150、S3170、S3190のステップは本明細書では特定の順序なしに提示されており、言い換えれば、ステップは個別に、同時に、又は特定の順序で連続して実行され得ることを理解されたい。
ステップS3310において、形状を有する少なくとも1つの仮想物体が取得される。例えば、ロボットシステム1000は、3次元コンピュータグラフィックス処理を実行して、少なくとも1つの仮想物体の形状を定義することができる。別の例では、ロボットシステム1000は、ユーザの入力から、又はナビゲーションデータから、明確に定義された形状を有する仮想物体をロードすることができる。
より具体的には、一実施形態では、ロボットシステム1000は、3次元コンピュータグラフィックス処理を実行して、仮想解剖学的構造の形状を定義する。この実施形態では、3次元コンピュータグラフィックス処理は、断層撮影再構成及びセグメンテーションを含むことができる。断層撮影再構成では、ロボットシステム1000は、1組の解剖学的画像を利用して3次元モデルを生成する。1組の解剖学的画像は、1組のCTスライスであってもよい。一方、セグメンテーションでは、ロボットシステム1000は、解剖学的構造の3次元モデルを、それらの対応する生理学的情報に基づいて少なくとも2つのパーティションに分離することができる。例えば、脊椎を表す仮想解剖学的構造は、複数の仮想椎骨に分離されることができる。
別の実施形態では、ロボットシステム1000は、3次元コンピュータグラフィックス処理を実行して、仮想解剖学的構造の部分形状を定義してもよい。例えば、3次元メッシュは、仮想物体の1組の特定の境界のみを描写することができる。1組の特定の境界は、仮想解剖学的構造の外面、又はロボットシステムのユーザによって割り当てられた任意の境界を含むことができる。別の例では、3次元メッシュは例えば、矢印アイコンを使用して仮想物体の方位を表すことにより、仮想物体の空間プロパティを表す単純なモデルのみを表すことができる。
図13を参照する。一実施形態によれば、ロボットシステム1000は、ステップ(S3330)において、医療手術環境を表す仮想環境を生成する。ステップS3330は、明確に定義された座標系を定義するステップ(S3331)と、仮想物体を登録するステップ(S3333)と、仮想物体の空間プロパティを更新するステップ(S3335)とを含むことができる。S3110、S3130、S3150、S3170、S3190のステップは本明細書では特定の順序なしに提示されており、言い換えれば、ステップは個別に、同時に、又は特定の順序で連続して実行され得ることを理解されたい。
ステップS3331において、ロボットシステム1000は、明確に定義された座標系3332を定義することにより、仮想空間を生成することができる。仮想空間では、原点と軸/座標の単位とが明確に定義されている。例えば、仮想空間の座標系は、空間センサシステム1500の観測座標系によって定義されてもよい。例えば、仮想空間の座標系の原点は、解剖学的部位上に位置する空間センサマーカの位置によって定義されてもよい。
ステップS3333において、ロボットシステム1000は、仮想物体と仮想空間との間の空間関係を定義することができる。言い換えれば、仮想空間の座標系に関する少なくとも1つの仮想物体の空間プロパティは、ロボットシステム1000によって明確に定義される。例えば、ロボットシステム1000は、1組の登録データに基づいて、仮想空間に対する仮想解剖学的構造2110及び仮想器具3604の位置を定義することができる。別の例では、ロボットシステム1000は、対応する登録データを介して内視鏡画像データの位置及び方位を定義することができる。仮想環境への内視鏡画像データの登録は、内視鏡画像データの画像/ビデオが仮想解剖学的構造上に表示されることを可能にし、その結果、内視鏡画像データは、仮想環境における仮想解剖学的構造と空間的かつタイムリーに一致する。
ステップS3335において、ロボットシステム1000は、空間センサデータを更新することにより、仮想空間内の全ての仮想物体の空間プロパティを自動的に修正することができる。例えば、医療手術中に、仮想解剖学的構造2110及び仮想器具3604の位置/方位が変化する可能性がある。したがって、ロボットシステム1000は、空間センサデータを継続的に受信し、位置/方位を更新してもよい。その結果、仮想空間内の仮想物体は、実際の医療手術環境を動的に模倣することができる。
再び図12を参照すると、ステップS3350において、ロボットシステム1000は、ステップS3330で生成された仮想環境3600に基づいて仮想物体の空間関係を決定する。空間関係は、関心のある仮想物体の物体プロパティの計算に基づいて決定される。例えば、仮想アクティブ空間と仮想計画物体との間の空間関係を決定するために、空間プロパティ(例えば、位置又は方位)、形状、及びVPOBなどの物体プロパティを計算することができる。この例では、ロボットシステム1000は、仮想計画物体が仮想アクティブ空間とオーバーラップするか否かを判定することができる。さらに、仮想環境3600は動的システムであるため、ステップS3350で決定された空間関係も、仮想環境3600内の仮想物体の動的に変更された物体プロパティに基づいて動的に更新される。
いくつかの実施形態では、空間関係は数値的に決定されてもよい。例えば、ロボットシステム1000は、器具1200の補償評価を取得することができる。補償評価は、複数の独立変数の関数であり、複数の独立変数は器具1200に対応する仮想器具の空間プロパティ(例えば、位置及び方位)、器具1200の仮想作業空間又は仮想アクティブ空間の形状(又は幾何学的境界)、少なくとも1つの仮想計画物体の空間プロパティ、及び少なくとも1つの仮想計画物体の形状を含む。補償評価の値は、器具1200の現在の空間プロパティに基づいて、所定の医療手術計画からの器具の空間偏差を補正するために、ツール1250の空間プロパティを操作する器具1200のマニピュレータ1210の能力を表す。
例えば、仮想器具3604の位置、方位、又は位置及び方位の両方が範囲にない、即ち、仮想器具3604の仮想作業空間が仮想計画物体をカバーしない場合、補償評価の値は、ゼロから10までのスケールでゼロなどの最小値に設定されてもよい。したがって、器具1200が所定の医療手術計画に基づいて、ツール1500を操作するためにマニピュレータ1210を効果的に使用することを禁止する。別の例では、仮想器具3604の位置、方位、又は位置及び方位の両方が範囲内にある、即ち、仮想器具3604の仮想作業空間が仮想計画物体をカバーする場合、補償評価の値は、ゼロから10までのスケールで10などの最大値に設定されてもよい。したがって、器具1200が医療手術計画に基づいて、ツール1500を操作するためにマニピュレータ1210を効果的に使用することを可能にする。
再び図12を参照する。ロボットシステム1000は、ステップS3370において、ナビゲーション指示3602を生成し、及び/又はナビゲーション指示3602を出力する。ナビゲーション指示3602は、ロボットシステム1000のユーザに提示されるように、ユーザインタフェース1800によって受信されてもよい。
ステップS3370において、ロボットシステム1000は、少なくとも1つのナビゲーション指示3602を生成し、ロボットシステム1000のユーザに提示するためのナビゲーション指示3602を出力する。ナビゲーション指示3602は、ステップS3350で決定された空間関係に基づいて、器具1200の手動操作のコンピュータ生成提案である。例えば、ステップS3370において、ロボットシステム1000は、ナビゲーション指示3602を生成して、ロボットシステム1000のユーザに、器具1200を手動で特定の位置に移動させるように、又は器具1200の方位を特定の方位の範囲内に維持するように提案することができる。
この実施形態では、ロボットシステム1000のユーザは、空間関係を観察し、その後、操作の対応するアクションを得ることによって通知されてもよい。例えば、医療手術中に、ユーザは、器具の作業空間が目標の解剖学的部位に含まれていないことを指摘するナビゲーション指示を受け取ることができる。したがって、ユーザは、それに応じて器具1200の位置/方位を手動で調整することができる。別の例では、医療手術中に、ユーザは、器具1200の現在の位置/方位に関する補償評価を受け取ることができる。したがって、ユーザは、医療手術計画に基づいて、器具1200の現在の位置/方位に関する器具1200の補償の能力を理解することができ、その後、それに応じて器具1200の位置/方位を手動で調整することができる。
いくつかの実施形態では、ロボットシステム1000は、仮想環境内の仮想物体間の位置関係又は方位関係に基づいてナビゲーション指示3602を生成する。例えば、ナビゲーション指示は、ロボットシステム1000のユーザに、器具の位置/方位を変更するように通知することができる。別の例では、ロボットシステム1000は、仮想器具と仮想計画物体との間の位置関係、及び仮想計画物体の仮想計画物体属性(VPOA)に基づいて、ナビゲーション指示3602を生成することができる。
いくつかの実施形態では、ロボットシステム1000は、ロボットシステム1000が安全状態にあることをロボットシステム1000のユーザに通知するように構成されたナビゲーション指示3602を生成することができる。安全状態は、ロボットシステム1000が所定の医療手術計画に準拠している状態であってもよい。例えば、安全状態は、器具が望ましくない位置にない状態であってもよい。
いくつかの実施形態では、ロボットシステム1000は、ロボットシステム1000が不安全状態にあることをロボットシステム1000のユーザに通知するように構成されたナビゲーション指示3602を生成することができる。不安全状態は、ロボットシステム1000が所定の医療手術計画に準拠していない状態であってもよい。例えば、安全状態は、器具が望ましくない位置にある状態であってもよい。
ステップS3370において、ロボットシステム1000によって生成されたナビゲーション指示3602は、テキスト、スクリプト、2次元又は3次元画像のデータとして出力されてもよい。
いくつかの実施形態では、ステップS3300は、制御信号(図示せず)を生成するステップ(S3390)をさらに含んでもよい。ステップS3390において、ロボットシステム1000は、ステップS3350で決定された少なくとも1つの空間関係に基づいて、少なくとも1つの制御信号セットを生成してもよい。例えば、ロボットシステム1000は、ステップS3350で決定される空間関係に基づいて、器具1200の少なくとも1つの機能をアクティブ化又は非アクティブ化するための制御信号を生成してもよい。
ステップS3500において、仮想環境及び/又はナビゲーション指示は、ユーザインタフェース1800を介してロボットシステム1000のユーザに提示される。仮想環境の提示及びナビゲーション指示は、視覚的に、聴覚的に、及び/又は他の手段によって実行されてもよい。
図14を参照する。本開示の一実施形態によれば、ステップS3500は、仮想環境3600及び/又はナビゲーション指示3602をレンダリングするステップ(S3510)を含む。この実施形態では、仮想環境3600及びナビゲーション指示3602は、仮想環境3600及び/又はナビゲーション指示3602の3次元グラフィックスをレンダリング及び表示することにより、視覚的に提示される。ステップS3510で生成されたレンダリング3501は、表示装置1813に表示されてもよい。
ステップS3510において、プロセッサ1710は、特定の視点から仮想環境の画像を生成することができる。例えば、通常、特定の位置にある仮想カメラは、仮想環境を取り込むように構成される。次いで、仮想カメラによって取り込まれた仮想環境の画像又はビデオが表示装置上に表示される。レンダリング処理によって生成された画像は、レンダリング3501と呼ばれることができる。
レンダリング処理は、当業者には3次元コンピュータグラフィックスとして知られているはずである。レンダリングは、コンピュータグラフィックスパイプラインによって記述されることが多い。アプリケーションプログラミングインタフェース(API)は、様々なタイプの3次元グラフィックスハードウェアのためのグラフィックパイプラインのステップを統一するために作成された。例えば、APIは、VTK(Visualization Toolkit)システム、Direct3Dシステム、又はOpenGLシステムなどである。レイアウトを表示装置1813に表示するために、グラフィックパイプラインが実行されてもよい。表示装置1813は、テレビセット、コンピュータモニタ、パネル、又はヘッドマウントディスプレイであってもよい。
いくつかの実施形態では、レンダリング処理によって生成されたレンダリングは、グラフィカルユーザインタフェースアプリケーション3503と統合されてもよい。ロボットシステム1000のGUIアプリケーション3503は、3次元レンダリングを表示するための領域を含んでもよい。他の領域は、手術前の解剖学的画像を表示するための機能、マニピュレータ制御のための機能、又は他の機能など、他の機能を提供することができる。
いくつかの実施形態では、ロボットシステム1000のGUIアプリケーションは、レンダリングに加えて、グラフィックスを生成するために、ナビゲーション方法3000のナビゲーションデータ、仮想環境3600、及びナビゲーション指示3601を利用してもよい。
図14を参照すると、表示装置1813上に表示される、GUIアプリケーション1815の例示的な実施形態が示されている。GUIアプリケーション1815は、仮想環境のレンダリング3501を含む。レンダリング3501は、仮想解剖学的構造2110及び仮想計画物体3603を含む。この実施形態では、レンダリングが器具1200の方位の方向に平行な視角から行われる。
この実施形態では、GUIアプリケーション1815は、GUIアプリケーション1815によって生成された1組の2次元アイコンも表示する。1組の2次元アイコンはレンダリング3501とオーバーラップし、相互作用する。1組の2次元アイコンは、ドーナツアイコン3505、円形ポイントアイコン3507、及び円アイコン3509を含んでもよい。ドーナツアイコン3505の位置は、実空間における器具によるアクティブ空間の位置を表す。円形ポイントアイコン3507の位置は、器具1200のツール1250の先端の位置を表す。
この実施形態では、GUIアプリケーション1815はまた、ナビゲーション指示3602を表示して、器具1200の提案された移動方向を提供してもよい。ナビゲーション指示3602は、3次元モデルレンダリング又はGUI生成2次元アイコンとされてもよい。
本実施形態では、円アイコン3509は、ドーナツアイコン3505に対して移動可能である。ドーナツアイコン3505に対する円アイコン3509の相対位置は、器具1200の方位を表す。図15、図16、及び図17に例示されるように、器具1200の方位は、器具1200の空間センサデータから取得され、次いで、ドーナツアイコン3505に対する円アイコン3509の相対位置によって提示されてもよい。図15において、円アイコン3509は、器具1200がz軸に平行に向けられることで、ドーナツアイコン3505の中心に配置される。図16において、器具1200がz軸に対してx軸上の角度で配向されることで、円アイコン3509はx方向に沿って、ドーナツアイコン3505の中心からの変位として位置付けられる。図17において、器具1200がz軸に対してx軸上の角度で配向され、この角度は、器具1200の有効な方位3511の所定の範囲を超える。いくつかの実施形態では、器具1200の有効な方位3511の所定の範囲は、仮想計画物体のVPOA又は器具データに記述されて、例えば、脊椎を穿孔するなどの医療手術の所定の角度範囲を表してもよい。いくつかの他の実施形態では、器具1200の有効な方位3511の所定の範囲は、仮想器具3604及び考慮中の仮想計画物体の相対位置を無視して、仮想作業空間又は仮想アクティブ空間が仮想器具3604の方位に基づいて仮想計画物体を完全にカバーしているか否かの範囲として定義されてもよい。円アイコン3509の色は、器具1200の方位が有効な方位3511の範囲を超えることをユーザに通知するように変更することができる。
いくつかの他の実施形態では、仮想環境又は2次元アイコンは、医療手術の作業空間プログレスバーを表してもよい。例えば、作業空間プログレスバーは、所定の穿孔計画ルートの終点と、器具の作業空間/アクティブ空間の点との間の距離の比率に基づいて生成されてもよい。作業空間プログレスバーを参照することにより、ユーザには、器具の現在の位置/方位で所定の医療手術を完了することができるか否か、又は所定の医療手術を完了するためにユーザが手動で器具を最適な位置又は方位に移動又は操作しなければならないか否かの感覚が提供される。
実施形態において、作業空間プログレスバーは、円周方向においてドーナツアイコン3505上にカラーバーとして表示されてもよい。別の例では、作業空間プログレスバーは、3次元モデルレンダリングとして表示することができる。
本発明の一実施形態によれば、仮想環境及びナビゲーション指示を提示するステップ(S3500)は、内視鏡画像データを表示するステップをさらに含んでもよい。内視鏡画像データは、仮想環境に登録された仮想内視鏡表示面に表示されてもよい。或いは、内視鏡画像データは、仮想環境のレンダリングに重畳されたGUI生成領域に表示されてもよい。内視鏡画像データは特定のカメラ角度で内視鏡装置4110によって取得されるので、ユーザインタフェースは、ロボットシステムのユーザが仮想環境のレンダリングの視野角を操作することを可能にする制御パネルを提供してもよい。レンダリングの視野角がカメラ角度と一致する場合、ユーザは仮想環境上で拡張された内視鏡画像データを観察することが可能であり、換言すれば、内視鏡画像データは、仮想環境内の仮想解剖学的構造と空間的かつタイムリーに一致する。
本開示の一実施形態によるナビゲーション方法3000において、仮想環境及びナビゲーション指示を提示するステップ(S3500)は、仮想環境及びナビゲーション指示を別のタイプの提示で提示するステップ(S3520)をさらに含んでもよい。
一実施形態によると、ロボットシステム1000は、マニピュレータを使用して、特定の目的地に向かう方向を示すことができ、その結果、ロボットシステム1000のユーザは、指示された方向を参照して、器具1200を移動させることができる。別の実施形態では、ロボットシステム1000は、光インジケータを含んでもよい。光インジケータは、特定の方向を表すための少なくとも1つのサブグループ照明要素を含んでもよい。その結果、ロボットシステム1000のユーザは、器具を動かす方向を参照することができる。例えば、光インジケータは、発光ダイオードのアレイを含む装置であってもよい。さらに別の実施形態では、ロボットシステム1000は、オーディオ信号によってナビゲーション指示をユーザに通知するために、オーディオモジュールを使用してもよい。例えば、ロボットシステム1000は、ナビゲーション指示を記述するための警告音を提供することができる。
要約すると、本開示の様々な実施形態によれば、ロボットシステム1000は、器具1200のマニピュレータ1210の作業空間に関するデータを利用して、ロボットシステム1000のユーザにナビゲーション指示3602を提供する。ロボットシステム1000のユーザは、ナビゲーション指示3602を参照することにより、器具1200の位置及び/又は方位に基づいて、所定の医療手術計画からのツール1250の位置又は方位の偏差を補正する器具の能力の感覚を提供される。さらに、ナビゲーション指示はまた、器具1200の位置及び/又は方位に基づいて、所定の医療手術計画からのツール1250の位置又は方位の偏差を補正する器具の能力を改善するように、器具を最適な位置又は方位に手動で操作する方法に関する提案をユーザに通知する。
上記説明は、本開示の実施形態にすぎず、本開示の範囲を限定することを意図しない。本開示の特許請求の範囲及び明細書による多くの変形及び修正は、依然として特許請求の範囲の開示の範囲内である。さらに、実施形態及び特許請求の範囲のそれぞれは、開示された利点又は特徴の全てを達成する必要はない。さらに、要約書及び発明の名称は、特許文献の調査を容易にするのに役立つだけであり、クレームされた開示の範囲を限定することを決して意図したものではない。

Claims (34)

  1. ツールを使用するロボットシステムによって実施される医療手術のためのナビゲーション方法であって、
    前記ロボットシステムのプロセッサにおいて、少なくとも1組のナビゲーションデータを受信するステップであって、前記少なくとも1組のナビゲーションデータは、少なくとも1組の登録データ、少なくとも1組の器具データ、少なくとも1組の空間センサデータ、少なくとも1組の医療手術計画データを含み、前記少なくとも1組の空間センサデータは、空間マーカフレームで送信した信号による情報を含み、前記ロボットシステムは、器具システムの器具、及び前記器具に接続された支持アームを含み、前記器具はハウジングを含み、前記ハウジングは、前記ハウジングに機械的に連結されたハンドル及びマニピュレータを提供し、前記マニピュレータは、前記ツールに連結されたプラットフォームと、ベースと、前記プラットフォームとベースと間に接続されたジョイントと、前記ジョイントの移動を駆動するために互いに並列して前記ハウジングの内部に配置されたアクチュエータとを含み、前記空間マーカフレームは前記プラットフォームに配置され、前記ハンドルは前記マニピュレータと前記支持アームの間に配置され、前記少なくとも1組の器具データは前記ロボットシステムの少なくとも1組の仮想作業空間又は仮想アクティブ空間を含み、前記ナビゲーションデータは少なくとも1つの仮想物体を含み、前記仮想物体は解剖学的部位の表現又は器具システムの表現を生成するために用いられる、受信するステップ(S1)と、
    前記ロボットシステムの前記プロセッサにおいて、前記少なくとも1組のナビゲーションデータ内の前記仮想物体の少なくとも1つの3次元モデルを受信又は生成するステップ(S2)と、
    前記ロボットシステムの前記プロセッサにおいて、仮想環境を生成するように前記仮想物体の少なくとも1つの3次元モデルが含まれた前記少なくとも1組のナビゲーションデータを処理するステップであって、前記仮想環境は前記少なくとも1組の仮想作業空間又は前記仮想アクティブ空間、並びに前記少なくとも1つの仮想物体を含む、ステップ(S3)と、
    前記ロボットシステムの前記プロセッサにおいて、少なくとも1つのナビゲーション指示を生成するために、前記少なくとも1組ナビゲーションデータ及び前記仮想環境を処理することで、前記少なくとも1組の仮想作業空間又は前記仮想アクティブ空間と、前記少なくとも1つの仮想物体との間に空間関係を決定し、前記少なくとも1組の仮想作業空間又は前記仮想アクティブ空間は前記マニピュレータの作業空間に基づいて決定され、前記マニピュレータの前記作業空間は、前記ベースが静止したままであるときの前記ツールにおける1組の到達可能な点を含む、ステップ(S4)と、
    前記ロボットシステムに電気的に接続されたユーザインタフェースにおいて、ユーザが前記医療手術中に参照するために、前記ロボットシステムの前記ユーザに前記仮想環境、前記ナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を提示するステップ(S5)と、を含む、
    ナビゲーション方法。
  2. 前記ステップ(S1)は、少なくとも1組の解剖学的データを受信するステップ(S1-1)をさらに含む、請求項1に記載のナビゲーション方法。
  3. 前記ステップ(S1-1)は、前記ロボットシステムに電気的に接続された低侵襲画像システムから少なくとも1組の内視鏡画像データを受信するステップをさらに含み、
    ステップ(S5)は、内視鏡画像データを表示するステップをさらに含み、前記内視鏡画像データは、前記仮想環境における仮想解剖学的構造と空間的かつタイムリーに一致する、請求項2に記載のナビゲーション方法。
  4. 前記仮想アクティブ空間は、第1の仮想アクティブ空間及び第2の仮想アクティブ空間をさらに含み、前記第1の仮想アクティブ空間のサイズ又は形状は、前記第2の仮想アクティブ空間のサイズ又は形状とは異なる、請求項1に記載のナビゲーション方法。
  5. 前記ロボットシステムは、器具システムに電気的に接続され、前記第1の仮想アクティブ空間は、前記マニピュレータ又は前記ツールをアクティブ化するための複数の基準のうちの1つに関連付けられ、前記第2の仮想アクティブ空間は、前記マニピュレータ又は前記ツールを非アクティブ化するための複数の基準のうちの1つに関連付けられる、請求項4に記載のナビゲーション方法。
  6. 前記少なくとも1つの空間関係は、少なくとも1つの補償評価を含み、前記少なくとも1つの補償評価は、前記少なくとも1組の医療手術計画データ及び前記仮想作業空間から、又は前記少なくとも1組の医療手術計画データ及び前記仮想アクティブ空間から計算される、請求項1に記載のナビゲーション方法。
  7. 前記ステップ(S4)は、少なくとも1つのナビゲーション指示を生成するように、前記医療手術計画データ内の少なくとも1つの仮想計画物体属性を処理するステップを含み、前記少なくとも1つの仮想計画物体属性は、前記医療手術における前記ツールの軌跡を表す、請求項1に記載のナビゲーション方法。
  8. 前記ロボットシステムの少なくとも1つの機能を制御するための少なくとも1つの組の制御信号を生成するステップをさらに含む、請求項1に記載のナビゲーション方法。
  9. 前記制御信号は、第1の制御信号と第2の制御信号とを含み、前記第1の制御信号は、前記ナビゲーションデータの計算の第1の計算結果に基づいて生成され、前記第2の制御信号は、前記ナビゲーションデータの計算の第2の計算結果に基づいて生成される、請求項8に記載のナビゲーション方法。
  10. 前記ステップ(S5)は、前記プロセッサに電気的に接続された表示装置上に3次元グラフィックスをレンダリングするステップを含み、
    前記3次元グラフィックスは、前記仮想環境、前記少なくとも1つのナビゲーション指示、又は前記仮想環境と前記少なくとも1つのナビゲーション指示を含む、請求項1に記載のナビゲーション方法。
  11. 前記レンダリングの視野角は、前記ロボットシステムに電気的に接続された器具の方位に合わせられる、請求項10に記載のナビゲーション方法。
  12. 前記ステップ(S5)は、前記少なくとも1つのナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース(GUI)アプリケーションにより、複数の2次元アイコンを生成及び表示するステップを含み、
    前記複数の2次元アイコンは、前記ロボットシステムに電気的に接続された器具の位置、前記器具の方位、前記少なくとも1つのナビゲーション指示、及び前記器具の有効な方位の範囲を表す、請求項1に記載のナビゲーション方法。
  13. 前記少なくとも1つのナビゲーション指示は、光インジケータ又はオーディオ装置によって提示され、前記光インジケータ及び前記オーディオ装置は、前記ロボットシステムに電気的に接続される、請求項1に記載のナビゲーション方法。
  14. 前記少なくとも1つのナビゲーション指示は、ツールの方向によって提示される、請求項1に記載のナビゲーション方法。
  15. 前記ステップ(S5)は、前記少なくとも1つのナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース(GUI)アプリケーションにより、複数の2次元アイコンを生成及び表示するステップを含み、
    前記2次元アイコンは、作業空間プログレスバーを表す、請求項1に記載のナビゲーション方法。
  16. ツールによって医療手術を支援するためのロボットシステムであって、
    ハウジングを含む器具と、前記器具に接続される支持アームとを備える器具システムであって、前記ハウジングは前記ハウジングに機械的に連結されるハンドルとマニピュレータを提供し、前記マニピュレータは、前記ツールに連結されたプラットフォームと、ベースと、前記プラットフォームとベースと間に接続されたジョイントと、前記ジョイントの移動を駆動するために互いに並列して前記ハウジングの内部に配置されたアクチュエータとを含み、前記プラットフォームに空間マーカフレームが配置される、器具システムと、
    前記ロボットシステムに電気的に接続されたユーザインタフェースと、
    前記ユーザインタフェース及び前記器具システムに電気的に接続されたコンピュータシステムと、を含み、
    前記コンピュータシステムは、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサに接続され、前記医療手術をナビゲートするための複数のコンピュータ読み取り可能命令を記憶する非一時的なコンピュータ可読媒体とを備え、前記複数のコンピュータ読み取り可能命令は、前記少なくとも1つのプロセッサによって実行されると、前記ロボットシステムに以下のステップを実行させる命令を含み、
    前記ステップは、
    前記ロボットシステムのプロセッサにおいて、少なくとも1組のナビゲーションデータを受信し、前記少なくとも1組のナビゲーションデータは、少なくとも1組の登録データと、少なくとも1組の器具データと、少なくとも1組の空間センサデータと、少なくとも1組の医療手術計画データとを含み、前記少なくとも1組の空間センサデータは、空間マーカフレームで送信した信号による情報を含み、前記少なくとも1組の器具データは前記ロボットシステムの少なくとも1組の仮想作業空間又は仮想アクティブ空間を生成するために用いられ、前記少なくとも1組のナビゲーションデータは、解剖学的部位の表現又は器具システムの表現を含む少なくとも1つの仮想物体を生成するために用いられる、受信するステップ(S1)と、
    前記少なくとも1組のナビゲーションデータ内の前記仮想物体の少なくとも1つの3次元モデルを受信又は生成するステップ(S2)と、
    仮想環境を生成するように前記仮想物体の少なくとも1つの3次元モデルが含まれる前記少なくとも1組のナビゲーションデータを処理するステップであって、前記仮想環境は少なくとも1組の仮想作業空間又は仮想アクティブ空間、並びに前記仮想物体を含むステップ(S3)と、
    少なくとも1つのナビゲーション指示を生成するために、前記少なくとも1組のナビゲーションデータ及び前記仮想環境を処理することで、前記少なくとも1組の仮想作業空間又は前記仮想アクティブ空間と、前記少なくとも1つの仮想物体との間に空間関係を決定し、前記少なくとも1組の仮想作業空間又は前記仮想アクティブ空間は前記マニピュレータの作業空間に基づいて決定され、前記マニピュレータの前記作業空間は、前記ベースが静止したままであるときの前記ツールにおける1組の到達可能な点である、ステップ(S4)と、
    前記ロボットシステムに電気的に接続されたユーザインタフェースにおいて、ユーザが医療手術中に参照するために、前記ロボットシステムの前記ユーザに少なくとも1つの前記仮想環境、前記少なくとも1つのナビゲーション指示、又は前記仮想環境と前記ナビゲーション指示を提示するステップ(S5)と、を含む、ロボットシステム。
  17. 前記ステップ(S1)は、少なくとも1組の解剖学的データを受信するステップ(S1-1)をさらに含む、請求項16に記載のロボットシステム。
  18. 前記ステップ(S1-1)は、前記ロボットシステムに電気的に接続された低侵襲画像システムから少なくとも1組の内視鏡画像データを受信するステップをさらに含み、
    ステップ(S5)は、前記少なくとも1組の内視鏡画像データを表示するステップをさらに含み、表示された前記少なくとも1組の内視鏡画像データは、前記仮想環境における仮想解剖学的構造と空間的かつタイムリーに一致する、請求項17に記載のロボットシステム。
  19. 前記仮想アクティブ空間は、第1の仮想アクティブ空間及び第2の仮想アクティブ空間を含み、前記第1の仮想アクティブ空間のサイズ又は形状は、前記第2の仮想アクティブ空間のサイズ又は形状とは異なる、請求項16に記載のロボットシステム。
  20. 前記ロボットシステムは、前記器具システムに電気的に接続され、前記第1の仮想アクティブ空間は、前記マニピュレータ又は前記ツールをアクティブ化するための複数の基準のうちの1つに関連付けられ、前記第2の仮想アクティブ空間は、前記マニピュレータ又は前記ツールを非アクティブ化するための複数の基準のうちの1つに関連付けられる、請求項19に記載のロボットシステム。
  21. 前記少なくとも1つの空間関係は、少なくとも1つの補償評価を含み、前記少なくとも1つの補償評価は、前記少なくとも1組の医療手術計画データ及び前記仮想作業空間から、又は前記少なくとも1組の医療手術計画データ及び前記仮想アクティブ空間から計算される、請求項16に記載のロボットシステム。
  22. 前記ステップ(S4)は、少なくとも1つのナビゲーション指示を生成するように、前記少なくとも1組の医療手術計画データ内の少なくとも1つの仮想計画物体属性を処理するステップを含み、前記少なくとも1つの仮想計画物体属性は、前記医療手術における前記ツールの軌跡を表す、請求項16に記載のロボットシステム。
  23. 前記複数のコンピュータ読み取り可能命令が前記少なくとも1つのプロセッサによって実行されると、前記ロボットシステムはさらに、前記ロボットシステムの少なくとも1つの機能を制御するための少なくとも1つの組の制御信号を生成する、請求項16に記載のロボットシステム。
  24. 前記少なくとも1つの組の制御信号は、第1の制御信号と第2の制御信号とを含み、前記第1の制御信号は、前記少なくとも1つの組のナビゲーションデータの計算の第1の計算結果に基づいて生成され、前記第2の制御信号は、前記少なくとも1つの組ナビゲーションデータの計算の第2の計算結果に基づいて生成される、請求項23に記載のロボットシステム。
  25. 前記ステップ(S5)は、前記プロセッサに電気的に接続された表示装置上に3次元グラフィックスをレンダリングするステップを含み、
    前記3次元グラフィックスは、少なくとも1つの前記仮想環境、前記少なくとも1つのナビゲーション指示、又は少なくとも1つの前記仮想環境と前記少なくとも1つのナビゲーション指示を含む、請求項16に記載のロボットシステム。
  26. 前記レンダリングの視野角は、前記ロボットシステムに電気的に接続された器具の方位に合わせられる、請求項25に記載のロボットシステム。
  27. 前記ステップ(S5)は、前記少なくとも1組のナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース(GUI)アプリケーションにより、複数の2次元アイコンを生成及び表示するステップを含み、
    前記2次元アイコンは、前記ロボットシステムに電気的に接続された器具の位置、前記少なくとも1つのナビゲーション指示、及び前記器具の有効な方位の範囲を表す、請求項16に記載のロボットシステム。
  28. 前記少なくとも1つのナビゲーション指示は、光インジケータ又はオーディオ装置によって提示され、前記光インジケータ及び前記オーディオ装置は、前記ロボットシステムに電気的に接続される、請求項16に記載のロボットシステム。
  29. 前記少なくとも1つのナビゲーション指示は、前記ツールの方向によって提示され、前記ツールは、前記マニピュレータに接続される、請求項16に記載のロボットシステム。
  30. 前記ステップ(S5)は、前記少なくとも1組のナビゲーションデータ及び前記仮想環境に応じて、グラフィカルユーザインタフェース(GUI)アプリケーションにより、複数の2次元アイコンを生成及び表示するステップを含み、
    前記2次元アイコンは、作業空間プログレスバーを表す、請求項16に記載のロボットシステム。
  31. 前記器具システムは、前記コンピュータシステムに電気的に接続される、請求項16に記載のロボットシステム。
  32. ツールを使用するロボットシステムによって実施される医療手術のためのナビゲーション方法であって、
    前記ロボットシステムのプロセッサにおいて、少なくとも1組のナビゲーションデータを受信するステップであって、前記少なくとも1組のナビゲーションデータは、少なくとも1組の登録データ、少なくとも1組の器具データ、少なくとも1組の空間センサデータ、少なくとも1組の医療手術計画データを含み、前記少なくとも1組の空間センサデータは、空間マーカフレームで送信した信号による情報を含み、前記ロボットシステムは、器具システムの器具を含み、前記器具はハウジングを含み、前記ハウジングはマニピュレータを提供し、前記マニピュレータは、前記ツールに連結されたプラットフォームと、ベースと、前記プラットフォームとベースと間に接続されたジョイントと、前記ジョイントの移動を駆動するために互いに並列して前記ハウジングの内部に配置されたアクチュエータとを含み、前記空間マーカフレームは前記プラットフォームに配置され、前記少なくとも1組の器具データは前記ロボットシステムの少なくとも1組の仮想作業空間又は前記ロボットシステムの仮想アクティブ空間を含み、前記少なくとも1組の仮想作業空間又は前記仮想アクティブ空間は、前記器具の作業空間に対応した物体属性を含み、前記少なくとも1組の仮想作業空間又は前記仮想アクティブ空間は、前記マニピュレータの作業空間を含み、前記マニピュレータの前記作業空間は、前記ベースが静止したままであるときの前記ツールにおける1組の到達可能な点を含み、前記少なくとも1組のナビゲーションデータは少なくとも1つの仮想物体を含み、前記仮想物体は解剖学的部位の表現又は器具システムの表現を生成するために用いられる、受信するステップ(S1)と、
    前記プロセッサにおいて、前記少なくとも1組のナビゲーションデータ内の前記仮想物体の少なくとも1つの3次元モデルを受信又は生成するステップ(S2)と、
    前記プロセッサにおいて、仮想環境を生成するために、前記仮想物体の少なくとも1つの3次元モデルが含まれた前記少なくとも1組のナビゲーションデータを処理するステップであって、前記仮想環境は前記少なくとも1組の仮想作業空間又は前記仮想アクティブ空間、並びに前記少なくとも1つの仮想物体を含む、ステップ(S3)と、
    前記プロセッサにおいて、少なくとも1つのナビゲーション指示を生成するために、前記少なくとも1組ナビゲーションデータ及び前記仮想環境を処理するステップであって、前記少なくとも2つの仮想物体との間に空間関係を決定し、前記少なくとも2つの仮想物体における第1の仮想物体は、前記少なくとも1組の器具データによる仮想作業空間又は仮想アクティブ空間であり、前記少なくとも2つの仮想物体における第2の仮想物体は、前記少なくとも1組の器具データによる仮想計画物体であり、前記仮想計画物体は、前記ツールと前記解剖学的部位との間の相互作用による所定の部位の表現であり、前記少なくとも1つの空間関係は、少なくとも1つの補償評価を含み、前記少なくとも1つの補償評価は、前記少なくとも1組の医療手術計画データ及び前記仮想作業空間から、又は前記少なくとも1組の医療手術計画データ及び前記仮想アクティブ空間から計算される、ステップ(S4)と、
    前記ロボットシステムに電気的に接続されたユーザインタフェースにおいて、ユーザが前記医療手術中に参照するために、前記ロボットシステムの前記ユーザに少なくとも1つの前記仮想環境及び前記少なくとも1つのナビゲーション指示を提示するステップであって、前記ロボットシステムは、前記器具の前記少なくとも1つの補償評価を獲得するステップ(S5)と、を含む、
    ナビゲーション方法。
  33. 前記アクチュエータは前記ベースに連結される、請求項1に記載のナビゲーション方法。
  34. 各前記ジョイントは、前記ベース及び前記プラットフォームの一方に接続される、請求項33に記載のナビゲーション方法。
JP2021537457A 2018-09-05 2019-09-05 医療手術のためのナビゲーションシステム及び方法 Active JP7454863B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/122,861 US11612438B2 (en) 2018-09-05 2018-09-05 Navigation system and method for medical operation by a robotic system using a tool
US16/122,861 2018-09-05
PCT/CN2019/104567 WO2020048511A1 (en) 2018-09-05 2019-09-05 Navigation system and method for medical operation

Publications (2)

Publication Number Publication Date
JP2022500204A JP2022500204A (ja) 2022-01-04
JP7454863B2 true JP7454863B2 (ja) 2024-03-25

Family

ID=69639484

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021537457A Active JP7454863B2 (ja) 2018-09-05 2019-09-05 医療手術のためのナビゲーションシステム及び方法

Country Status (6)

Country Link
US (1) US11612438B2 (ja)
EP (1) EP3846726A4 (ja)
JP (1) JP7454863B2 (ja)
CN (1) CN110876643B (ja)
TW (1) TWI693923B (ja)
WO (1) WO2020048511A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3067299A1 (en) 2011-09-02 2013-03-07 Stryker Corporation Surgical instrument including a cutting accessory extending from a housing and actuators that establish the position of the cutting accessory relative to the housing
US11209954B2 (en) * 2015-12-10 2021-12-28 Cmr Surgical Limited Surgical robotic system using dynamically generated icons to represent orientations of instruments
US11642182B2 (en) * 2016-09-27 2023-05-09 Brainlab Ag Efficient positioning of a mechatronic arm
KR102274167B1 (ko) * 2019-09-05 2021-07-12 큐렉소 주식회사 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템
US20240130795A1 (en) * 2019-10-18 2024-04-25 Integrity Implants Inc. D/B/A Accelus Surgical navigation system
JP7439603B2 (ja) 2020-03-23 2024-02-28 Toppanホールディングス株式会社 可視化装置、可視化方法、およびプログラム
TWI727725B (zh) * 2020-03-27 2021-05-11 台灣骨王生技股份有限公司 手術導航系統及其成像方法
TWI808336B (zh) * 2020-07-30 2023-07-11 杰悉科技股份有限公司 影像顯示方法與影像監控系統
CN112826458B (zh) * 2021-01-08 2022-11-01 广州中医药大学(广州中医药研究院) 脉诊系统和脉诊方法
WO2022172697A1 (ja) * 2021-02-12 2022-08-18 オリンパス株式会社 マニピュレータシステムおよびマニピュレータの制御装置
EP4088681A1 (en) * 2021-05-11 2022-11-16 DePuy Ireland Unlimited Company System for guiding a surgical tool comprising an operative axis with respect to an anatomical structure
WO2023052881A1 (en) * 2021-09-28 2023-04-06 Auris Health, Inc. Real-time 3d robotic status
WO2023060198A1 (en) * 2021-10-08 2023-04-13 Intuitive Surgical Operations, Inc. Medical instrument guidance systems, including guidance systems for percutaneous nephrolithotomy procedures, and associated devices and methods
US20230149082A1 (en) * 2021-11-16 2023-05-18 Mazor Robotics Ltd. Systems, methods, and devices for performing a surgical procedure using a virtual guide
CN115227463B (zh) * 2022-07-22 2023-04-07 北京长木谷医疗科技有限公司 手术器械的磨锉装置、手术器械及手术机器人
CN116919596B (zh) * 2023-09-14 2024-01-09 武汉联影智融医疗科技有限公司 器械导航方法、系统、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130096574A1 (en) 2011-10-18 2013-04-18 Hyosig Kang System and method for robotic surgery
US20130172906A1 (en) 2010-03-31 2013-07-04 Eric S. Olson Intuitive user interface control for remote catheter navigation and 3D mapping and visualization systems
JP2015502180A (ja) 2011-09-02 2015-01-22 ストライカー・コーポレイション ハウジングから延びる切断アクセサリ及びハウジングに対する切断アクセサリの位置を確立するアクチュエータを備える手術器具

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8004229B2 (en) * 2005-05-19 2011-08-23 Intuitive Surgical Operations, Inc. Software center and highly configurable robotic systems for surgery and other uses
US7831292B2 (en) 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
CA2826925C (en) 2005-02-22 2017-01-24 Mako Surgical Corp. Haptic guidance system and method
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
WO2007136770A2 (en) * 2006-05-19 2007-11-29 Mako Surgical Corp. System and method for verifying calibration of a surgical device
WO2008083079A2 (en) * 2006-12-27 2008-07-10 Mako Surgical Corp. Apparatus and method for providing an adjustable positive stop in space
US7950306B2 (en) * 2007-02-23 2011-05-31 Microdexterity Systems, Inc. Manipulator
EP2467798B1 (en) 2009-08-17 2020-04-15 Mazor Robotics Ltd. Device for improving the accuracy of manual operations
US8603089B2 (en) * 2011-01-19 2013-12-10 Covidien Lp Surgical instrument including inductively coupled accessory
CA2854505C (en) * 2011-11-04 2020-03-24 The Johns Hopkins University Steady hand micromanipulation robot
US9289264B2 (en) 2011-12-29 2016-03-22 Mako Surgical Corp. Systems and methods for guiding an instrument using haptic object with collapsing geometry
TWI463964B (zh) * 2012-03-03 2014-12-11 Univ China Medical 手術影像導引定位裝置及其系統
CN103040525B (zh) * 2012-12-27 2016-08-03 深圳先进技术研究院 一种多模医学影像手术导航方法及系统
AU2014240998B2 (en) 2013-03-13 2018-09-20 Stryker Corporation System for arranging objects in an operating room in preparation for surgical procedures
WO2014165060A2 (en) 2013-03-13 2014-10-09 Stryker Corporation Systems and methods for establishing virtual constraint boundaries
US9901356B2 (en) 2013-03-14 2018-02-27 Think Surgical, Inc. Systems and methods for monitoring a surgical procedure with critical regions
US9014851B2 (en) * 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9600138B2 (en) 2013-03-15 2017-03-21 Synaptive Medical (Barbados) Inc. Planning, navigation and simulation systems and methods for minimally invasive therapy
KR102356881B1 (ko) * 2013-08-15 2022-02-03 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 카테터 위치설정 및 삽입을 위한 그래픽 사용자 인터페이스
US10045826B2 (en) 2015-01-20 2018-08-14 Mako Surgical Corporation Systems and methods for repairing bone with multiple tools
EP3247306B1 (en) * 2015-01-22 2020-03-25 Neocis Inc. Interactive guidance and manipulation detection arrangements for a surgical robotic system
JP6832870B2 (ja) * 2015-05-19 2021-02-24 マコ サージカル コーポレーション 生体構造を加工するためのシステム及び方法
WO2017020081A1 (en) * 2015-08-03 2017-02-09 Deakin University Apparatus, system and method for controlling motion of a robotic manipulator
EP4070723A1 (en) 2015-09-18 2022-10-12 Auris Health, Inc. Navigation of tubular networks
BR112018007473A2 (pt) 2015-10-14 2018-10-23 Surgical Theater LLC navegação cirúrgica de realidade aumentada
WO2017114834A1 (en) 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
CN108472090B (zh) * 2015-12-29 2021-06-18 皇家飞利浦有限公司 用于控制外科手术机器人的系统、控制单元和方法
KR20180113512A (ko) 2016-02-26 2018-10-16 씽크 써지컬, 인크. 로봇의 사용자 위치설정을 안내하는 방법 및 시스템
US10413366B2 (en) 2016-03-16 2019-09-17 Synaptive Medical (Bardbados) Inc. Trajectory guidance alignment system and methods
CN105943161A (zh) * 2016-06-04 2016-09-21 深圳市前海康启源科技有限公司 基于医疗机器人的手术导航系统及方法
TWI618036B (zh) * 2017-01-13 2018-03-11 China Medical University 以斷層影像為基礎之手術探針導航模擬方法及其系統
CN107970060A (zh) 2018-01-11 2018-05-01 上海联影医疗科技有限公司 手术机器人系统及其控制方法
US10058396B1 (en) 2018-04-24 2018-08-28 Titan Medical Inc. System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130172906A1 (en) 2010-03-31 2013-07-04 Eric S. Olson Intuitive user interface control for remote catheter navigation and 3D mapping and visualization systems
JP2015502180A (ja) 2011-09-02 2015-01-22 ストライカー・コーポレイション ハウジングから延びる切断アクセサリ及びハウジングに対する切断アクセサリの位置を確立するアクチュエータを備える手術器具
US20130096574A1 (en) 2011-10-18 2013-04-18 Hyosig Kang System and method for robotic surgery

Also Published As

Publication number Publication date
EP3846726A4 (en) 2021-11-17
CN110876643B (zh) 2021-12-24
US11612438B2 (en) 2023-03-28
US20200069373A1 (en) 2020-03-05
CN110876643A (zh) 2020-03-13
JP2022500204A (ja) 2022-01-04
WO2020048511A1 (en) 2020-03-12
EP3846726A1 (en) 2021-07-14
TWI693923B (zh) 2020-05-21
TW202010477A (zh) 2020-03-16

Similar Documents

Publication Publication Date Title
JP7454863B2 (ja) 医療手術のためのナビゲーションシステム及び方法
JP7233841B2 (ja) ロボット外科手術システムのロボットナビゲーション
US11813030B2 (en) Robotic navigation of robotic surgical systems
US20210386494A1 (en) Systems and methods for controlling a surgical instrument
KR102258511B1 (ko) 로봇 수술 시스템용 그래픽 사용자 인터페이스
US10888385B2 (en) Calibration device and calibration method for surgical instrument
US11589939B2 (en) Systems and methods for guided port placement selection
US11298186B2 (en) Surgery assistive system and method for obtaining surface information thereof
US20210378750A1 (en) Spatially-Aware Displays For Computer-Assisted Interventions
Šuligoj et al. Medical applicability of a low-cost industrial robot arm guided with an optical tracking system
EP4203830A1 (en) Control of an endoscope by a surgical robot
JP2021122743A (ja) ナビゲートされたロボット外科手術のためのエクステンデッドリアリティ器具相互作用ゾーン
KR20220024055A (ko) 추적 시스템 시야 위치설정 시스템 및 방법
EP3811892A1 (en) Calibration device and calibration method for surgical instrument
JP6901160B2 (ja) 手術支援システムおよびその表面情報を取得する方法
JP7154606B2 (ja) 手術用器具の校正装置及び校正方法
US20240099781A1 (en) Neuromapping systems, methods, and devices
EP3811889A1 (en) Surgery assistive system for obtaining surface information
WO2024076592A1 (en) Increasing mobility of computer-assisted systems while maintaining a partially constrained field of view
CN114366299A (zh) 用于确定器械的末端的球形表面部分的半径的技术

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220817

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240305

R150 Certificate of patent or registration of utility model

Ref document number: 7454863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150