JP2024052761A - マルチモダリティ画像表示を備えた手術システム - Google Patents
マルチモダリティ画像表示を備えた手術システム Download PDFInfo
- Publication number
- JP2024052761A JP2024052761A JP2024017572A JP2024017572A JP2024052761A JP 2024052761 A JP2024052761 A JP 2024052761A JP 2024017572 A JP2024017572 A JP 2024017572A JP 2024017572 A JP2024017572 A JP 2024017572A JP 2024052761 A JP2024052761 A JP 2024052761A
- Authority
- JP
- Japan
- Prior art keywords
- surgical
- image
- modality
- display
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 97
- 210000003484 anatomy Anatomy 0.000 claims abstract description 45
- 238000001356 surgical procedure Methods 0.000 claims description 89
- 230000004044 response Effects 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 description 59
- 238000010586 diagram Methods 0.000 description 51
- 238000001069 Raman spectroscopy Methods 0.000 description 44
- 238000000701 chemical imaging Methods 0.000 description 29
- 230000033001 locomotion Effects 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 22
- 210000001519 tissue Anatomy 0.000 description 20
- 206010028980 Neoplasm Diseases 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000002591 computed tomography Methods 0.000 description 11
- 239000012636 effector Substances 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 210000004204 blood vessel Anatomy 0.000 description 9
- 238000013439 planning Methods 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000002792 vascular Effects 0.000 description 7
- 238000002073 fluorescence micrograph Methods 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 238000012014 optical coherence tomography Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000002405 diagnostic procedure Methods 0.000 description 3
- 238000000799 fluorescence microscopy Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 206010058314 Dysplasia Diseases 0.000 description 2
- 238000001530 Raman microscopy Methods 0.000 description 2
- 238000001237 Raman spectrum Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 238000011471 prostatectomy Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000013060 biological fluid Substances 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000003679 cervix uteri Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000002675 image-guided surgery Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012978 minimally invasive surgical procedure Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000000626 ureter Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/77—Manipulators with motion or force scaling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Human Computer Interaction (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
【課題】手術シーンのマルチモダリティ画像を生成するための方法を提供する。【解決手段】方法は:手術シーンから反射された光を取り込むステップと;第1のモダリティ画像に対応する第1の画像情報を生成するステップと;第2のモダリティ画像に対応する第2の画像情報を生成するステップと;第2のモダリティ画像の部分を選択するステップであって、選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、第2のモダリティ画像の部分を選択するステップと;手術シーンの第1のモダリティ画像の少なくとも一部および第2のモダリティ画像の選択された部分を表示内に同時に生成するステップと;を含む、方法が提供される。【選択図】図21A
Description
(優先権の主張)
本出願は、2016年11月11日に出願された米国特許出願第62/421,095号の優先権の利益を主張し、この米国特許出願はその全体が参照により本出願に援用される。
本出願は、2016年11月11日に出願された米国特許出願第62/421,095号の優先権の利益を主張し、この米国特許出願はその全体が参照により本出願に援用される。
本出願は、マルチモダリティ画像表示を備えた手術システムに関する。
画像誘導手術技術は、手術シーン内の解剖学的対象物(anatomical object)の内部構造を可視化する能力を外科医に提供する。向上した可視化能力は、外科医が、手術器具の実際の位置と、解剖学的対象物内の重要または隠れた解剖学的構造との物理的関係をより良く知覚することを可能にし、これはより安全かつより効果的な低侵襲手術処置をもたらすことができる。
以下の概要は、基本的な理解を提供するために、発明の主題事項の特定の態様を紹介する。この概要は、本発明の主題の広範な概観ではなく、重要な要素若しくは重要な要素を特定すること又は発明の主題の範囲を線引きすることを意図するものではない。本概要は、本発明の主題の様々な態様および実施形態に関連する情報を含むが、その唯一の目的は、下記のより詳細な説明の前文として、いくつかの態様および実施形態を一般的な形態で提示することである。
一態様では、手術シーンのマルチモダリティ画像を生成するための方法が提供される。カメラが、手術シーンから反射された光を取り込む。手術シーンの第1のモダリティ画像に対応する第1の画像情報が生成される。手術シーンに対応する第2のモダリティ画像情報が生成される。第2のモダリティ画像の部分は、それが含む解剖学的構造情報に少なくとも部分的に基づいて選択される。コンピュータが、第1の画像情報および第2の画像情報を使用して、手術シーンの第1のモダリティ画像の少なくとも一部および手術シーンの第2のモダリティ画像の選択された部分を表示内に同時に生成するように構成される。
別の態様では、手術シーンのマルチモダリティ画像を生成する方法が提供される。カメラが、手術シーンから反射された光を取り込む。手術シーンの第1のモダリティ画像に対応する第1の画像情報が生成される。手術シーンの第2のモダリティ画像に対応する第2の画像情報が生成される。ユーザの眼の焦点位置が、表示内で追跡される。第2のモダリティ画像の一部が、少なくとも部分的に追跡されたユーザの眼の焦点に基づいて選択される。コンピュータが、第1の画像情報および第2の画像情報を使用して、手術シーンの第1のモダリティ画像の少なくとも一部および手術シーンの第2のモダリティ画像の選択された部分を表示内に同時に生成するように構成される。
さらに別の態様では、手術シーンのマルチモダリティ画像を生成する方法が提供される。カメラが、手術シーンから反射された光を取り込む。手術シーンの第1のモダリティ画像に対応する第1の画像情報が生成される。手術シーンの第2のモダリティ画像に対応する第2の画像情報が生成される。手術処置の過程で手術ステージ(Surgical stage)が追跡される。モダリティ画像フォーマットが、少なくとも部分的に追跡された手術段階に基づいて選択される。コンピュータが、第1の画像情報および第2の画像情報を使用して、選択されたフォーマットで表示内に第1のモダリティ画像の少なくとも一部および第2のモダリティ画像の少なくとも一部を生成するように構成される。
本発明の態様、実施形態、実装、または用途を示すこの説明および添付の図面は、限定として解釈されるべきではなく、特許請求の範囲が保護される発明を定義する。この説明および特許請求の範囲の精神および範囲から逸脱することなく、様々な機械的、組成的、構造的、電気的、および動作上の変更を加えることができる。いくつかの例では、本発明を曖昧にしないために、よく知られている回路、構造、または技法は詳細に示されていないかまたは説明されていない。2つ以上の図中の類似の番号は、同一または類似の要素を表す。
以下の説明は、当業者が手術システムにおいてマルチモダリティ画像を作成し且つ使用することを可能にするために提示される。本実施形態に対する種々の修正は、当業者には容易に明らかであり、本明細書で定義される一般的な原理は、本発明の主題の精神および範囲から逸脱することなく、他の実施形態および用途に適用され得る。さらに、以下の説明では、説明目的で多くの詳細が記載されている。しかし、当業者は、本発明の主題がこれらの特定の詳細を使用することなく実施され得ることを理解するであろう。他の例において、よく知られた機械構成要素、プロセス及びデータ構造は、不必要な詳細で本開示を不明瞭にしないために、ブロック図の形式で示される。同一の参照番号は、異なる図面において同一のアイテムの異なる図を表すために使用することができる。下記に参照される図面のフロー図は、プロセスを表すために使用される。コンピュータシステムが、これらのプロセスのいくつかを実行するように構成され得る。コンピュータ実施プロセスを表すフロー図内のブロックは、これらのモジュールを参照して説明した動作を実行するコンピュータプログラムコードによるコンピュータシステムの構成を表す。従って、本発明の主題は、示された実施形態に限定されることを意図するものではなく、本明細書に開示された原理および特徴と一致する最も広い範囲を与えられるべきである。
低侵襲遠隔操作手術システム
遠隔操作は、離れた機械の操作をいう。低侵襲遠隔操作医療システムにおいて、外科医は、患者の体内の手術部位を見るためのカメラを含む内視鏡を使用することができる。いくつかの実施形態では、立体画像が取り込まれることができ、これは、手術処置の間の深さの認識を可能にする。
遠隔操作は、離れた機械の操作をいう。低侵襲遠隔操作医療システムにおいて、外科医は、患者の体内の手術部位を見るためのカメラを含む内視鏡を使用することができる。いくつかの実施形態では、立体画像が取り込まれることができ、これは、手術処置の間の深さの認識を可能にする。
図1は、手術台14上に横たわっている患者12への低侵襲の診断または手術処置を実施するために典型的に使用される、低侵襲遠隔操作手術システム10の例示的な平面図である。このシステムは、外科医18が処置中に使用するための外科医のコンソール16を含む。1または複数の助手20もまた、この処置に参加することができる。低侵襲遠隔操作手術システム10は、患者側カート(複数可)22およびエレクトロニクスカート24をさらに含む。患者側カート22は、外科医18が外科医のコンソール16を通して手術部位を見ている間に、患者12の身体における低侵襲切開部を通して少なくとも1つの手術器具26を操作することができる。手術部位の画像は、立体内視鏡などの内視鏡28によって取得されることができ、これは患者側カート22によって操作されて内視鏡28を配向させることができる。エレクトロニクスカート24上に位置するコンピュータプロセッサが、外科医のコンソール16を通して外科医18への後の表示のために、手術部位の画像を処理するために使用されることができる。個別のシステム構成要素(すなわち、患者側カート22、エレクトロニクスカート24、および外科医のコンソール16)は、例示的な目的のために図示され、説明されているが、種々の実施形態において、そこに含まれる構成要素は、組み合わされ、および/または分離され得ることに留意されたい。例えば、いくつかの実施形態では、エレクトロニクスカート24のコンピュータプロセッサは、外科医のコンソール16および/または患者側カート22に組み込まれることができる。一度に使用される手術器具26の数は、一般に、他の要因の中でも診断または手術処置および手術部位内の空間的制約に依存する。処置中に使用される手術器具26の1つまたは複数を交換する必要がある場合、助手20が、手術器具26を患者側カート22から取り外し、それを手術室のトレイ30からの別の手術器具26と交換することができる。
図2は、外科医のコンソール16の斜視図である。外科医のコンソール16は、外科医18に深さ知覚を可能にする手術部位の協調立体視図を提示するための左目ディスプレイ32および右目ディスプレイ34を含むビューアディスプレイ31を含む。コンソール16は、さらに、1つまたは複数の制御入力部36を含む。患者側カート22(図1に示す)で使用するために設置された1つまたは複数の手術器具は、外科医18による1つまたは複数の制御入力部36の操作に応じて動く。制御入力部36は、外科医18にテレプレゼンス、または外科医が器具26を直接制御する強い感覚を有するように制御入力部36が器具26と一体であるという知覚を与えるために、関連する手術器具26(図1に示される)と同じ機械的自由度を提供することができる。この目的のために、位置、力、および触覚フィードバックセンサ(図示せず)が、位置、力、および触覚知覚を手術器具26から制御入力部36を通して外科医の手に戻って伝えるために用いられてもよく、通信遅延の制約を受ける。固定ビューア31および機械的に結合された制御入力部36を備えた物理コンソール16が例示の目的のために図示され説明されているが、種々の他の実施形態では、「接地されていない」制御入力部および/またはディスプレイ構造が使用されることができるに留意されたい。例えば、いくつかの実施形態では、ビューア31は、ヘッドマウントディスプレイであることができ、および/または制御入力部36は、任意のベース構造から機械的に独立していることができる(例えば、有線、無線、またはMicrosoftからのKinectなどのジェスチャベース)。
外科医のコンソール16は、外科医が手術を直接監視し、必要に応じて物理的に存在し、電話または他の通信媒体よりもむしろ直接患者側の助手に話すことができるように、通常は患者と同じ部屋に位置する。しかし、外科医は、別の部屋、全く異なる建物、または遠隔手術処置を可能にする患者から離れた場所に位置することができる。
図3は、エレクトロニクスカート24の斜視図である。エレクトロニクスカート24は、内視鏡28に結合されることができ、外科医のコンソールの外科医への、またはローカルおよび/またはリモートに配置された別の適切なディスプレイへの等、その後の表示のために取り込まれた画像を処理するためのコンピュータプロセッサを含む。例えば、立体内視鏡が使用される場合、エレクトロニクスカート24上のコンピュータプロセッサは、取り込まれた画像を処理して、外科医に手術部位の協調立体画像を提示することができる。このような調整は、対向する画像間のアライメントを含むことができ、立体内視鏡のステレオ作動距離を調整することを含むことができる。別の例として、画像処理は、光学収差などの画像取り込み装置の結像誤差を補償するための既に決定されたカメラ較正パラメータの使用を含むことができる。オプションで、エレクトロニクスカート内の装置は、外科医のコンソールまたは患者側カートに一体化されてもよく、または手術室内の様々な他の場所に分散されてもよい。
図4は、遠隔操作手術システム50(図1の低侵襲遠隔操作手術システム10など)を概略的に示す。外科医のコンソール52(図1における外科医のコンソール16のような)は、低侵襲処置の間、患者側カート54(図1における患者側カート22など)を制御するために外科医によって使用されることができる。患者側カート54は、手術部位の画像を取り込み、取り込まれた画像をエレクトロニクスカート56(図1のエレクトロニクスカート24など)上に位置するコンピュータプロセッサに出力するために、立体内視鏡などのイメージング装置を使用することができる。コンピュータプロセッサは、典型的には、コンピュータプロセッサの不揮発性メモリデバイスに記憶されたコンピュータ可読コードを実行することを目的とする1つまたは複数のデータ処理ボードを含む。1つの態様において、コンピュータプロセッサは、後の表示に先立って、様々な方法で取り込まれた画像を処理することができる。例えば、コンピュータプロセッサは、外科医のコンソール52を介して外科医に合成画像を表示する前に、取り込まれた画像を仮想制御インターフェースでオーバーレイすることができる。
加えて、または代替的に、取り込まれた画像は、エレクトロニクスカート56の外側に配置されたコンピュータプロセッサによって画像処理を受けることができる。一態様では、遠隔操作手術システム50は、エレクトロニクスカート56に配置されたコンピュータプロセッサと同様のオプションのコンピュータプロセッサ(CPU)58を含み、患者側カート54は、外科医のコンソール52に表示する前に画像処理のために取り込んだ画像をコンピュータプロセッサ(CPU)58に出力する。別の態様では、取り込まれた画像は、最初に、エレクトロニクスカート56のコンピュータプロセッサによる画像処理を受け、次に、外科医のコンソール52に表示する前に、コンピュータプロセッサ58による追加の画像処理を受ける。遠隔操作手術システム50は、破線で示されるように、オプションのディスプレイ60を含むことができる。ディスプレイ60は、エレクトロニクスカート56に位置するコンピュータおよびコンピュータプロセッサ(CPU)58に結合され、これらのコンピュータプロセッサによって処理された取り込まれた画像は、外科医のコンソール52のディスプレイに表示されることに加えて、ディスプレイ60に表示されることができる。
図5Aは、幾つかの実施形態に従って、1つまたは複数の機械的支持アーム510を用いて手術処置を実施するための遠隔操作手術システム10の構成要素の配置を示す例示的な単純化されたブロック図である。システム10の態様は、ロボット支援および自律的に動作する機能を含む。これらの機械的支持アーム510は、しばしば手術器具を支持する。例えば、機械的手術アーム(例えば、中央機械的手術アーム510C)が、ステレオまたは三次元手術画像取り込み装置101Cを備える内視鏡を支持するために使用され得る。機械的手術アーム510Cは、滅菌アダプタ、あるいはクランプ、クリップ、ねじ、スロット/溝、または画像取り込み装置101Cを含む内視鏡を機械的アームに機械的に固定するための他の締結機構を含み得る。
ユーザまたはオペレータO(一般に外科医)は、マスタ制御コンソール16のハンドグリップおよびフットペダルなどの制御入力装置36を操作することにより患者Pに対して手術処置を行う。オペレータは、立体表示ビューア31を通して、患者の体内の手術部位の画像のビデオフレームを見ることができる。コンソール16のコンピュータプロセッサ(CPU)58は、制御ライン159を介して遠隔操作式に制御された内視鏡手術器具101A-101Cの動きを指示し、患者側システム24(患者側カートとも呼ばれる)を用いて器具の運動を生じさせる。
患者側システム24は、1つまたは複数の機械的支持アーム510を含む。典型的には、患者側システム24は、対応する位置決めセットアップアーム156によって支持される少なくとも3つの機械的手術アーム510A-510C(一般に、機械的手術支持アーム510と呼ばれる)を含む。中央機械的手術アーム510Cは、カメラの視野内の画像の取り込みに適した内視鏡カメラ101Cを支持し得る。中央の左右の機械的手術支持アーム510Aおよび510Bは、組織を操作することができる器具101Aおよび101Bをそれぞれ支持し得る。
図5Bは、実施形態による、低侵襲遠隔操作手術システム10の患者側カート500の斜視図である。患者側カート500は、1つまたは複数の支持アームアセンブリ510を含む。手術器具マニピュレータ512が、各支持アームアセンブリ510の端部に取り付けられる。追加的に、各支持アームアセンブリ510は、オプションで、手術のための患者を基準に取り付けられた手術器具マニピュレータ512を位置決めするために使用される1つまたは複数のセットアップジョイント(例えば、電力供給されていない且つ/またはロック可能)を含むことができる。図示のように、患者側カート500は床上にある。他の実施形態では、患者側カートの動作部分は、壁、天井、患者の身体522も支持する手術台526、または他の手術室装置に取り付けられることができる。さらに、患者側カート500は、4つの手術器具マニピュレータ512を含むように示されているが、より多くの、またはより少ない手術器具マニピュレータ512が使用されてもよい。
機能的な遠隔操作手術システムは、一般に、遠隔操作手術システムのユーザが患者の身体522の外側から手術部位を見ることを可能にする視覚システム部分を含む。視覚システムは、典型的には、ビデオ画像を取り込むためのカメラ器具528と、取り込まれたビデオ画像を表示するための1つまたは複数のビデオディスプレイとを含む。いくつかの手術システム構成では、カメラ器具528は、カメラ器具528の遠位端部からの画像を、患者の身体522の外側でデジタル画像情報を生成する1つまたは複数の画像センサ(例えば、CCDまたはCMOSセンサ)に伝える光学系を含む。代替的に、イメージングセンサ(複数可)は、カメラ器具528の遠位端部に配置されることができ、センサ(複数可)によって生成されたデジタル画像情報信号は、1つまたは複数のビデオディスプレイ上で処理および表示するために、リード線に沿って、または無線で送信されることができる。ビデオディスプレイの一例は、カリフォルニア州サニーベールのIntuitive Surgical, Inc.によって商業化された手術システム内の外科医のコンソールの立体ディスプレイである。
図5A-5Bを参照すると、各手術器具マニピュレータ512に取り付けられるのは、患者の身体522の中の手術部位で動作する手術器具520である。各手術器具マニピュレータ512は、関連する手術器具が1つまたは複数の機械的自由度(例えば、6デカルト自由度、5以下のデカルト自由度など)で動くことを可能にする種々の形態で提供されることができる。典型的には、機械的または制御的拘束が、各マニピュレータ512を、患者を基準に静止したままである器具の動作の中心の周りにその関連する手術器具を動かすように拘束し、この動作の中心は、典型的には器具が体内に入る位置に位置する。
一態様では、手術器具520は、コンピュータ支援遠隔操作によって制御される。機能的な低侵襲遠隔操作手術システムは、遠隔操作手術システムのユーザ(例えば、外科医または他の医療者)から入力を受け取る制御入力部を含む。制御入力部は、1つまたは複数のコンピュータ制御遠隔操作アクチュエータ、例えば、手術器具520が結合される1つまたは複数のモータと通信している。このようにして、手術器具520は、医療者の制御入力部の動きに応答して動く。一態様では、1つまたは複数の制御入力部は、図2に示す外科医のコンソール16のような外科医のコンソールに含まれる。外科医は、外科医のコンソール16の制御入力装置36を操作して、患者側カート500の遠隔操作アクチュエータを操作することができる。遠隔操作アクチュエータによって生成される力は、遠隔操作アクチュエータからの力を手術器具520に伝達するドライブトレーン機構を介して伝達される。
図5A-5Bを参照すると、一態様では、手術器具520およびカニューレ524は、マニピュレータ512に取り外し可能に結合され、手術器具520は、カニューレ524を通って挿入される。マニピュレータ512の1つまたは複数の遠隔操作アクチュエータは、手術器具512全体を動かす。マニピュレータ512は、器具キャリッジ530をさらに含む。手術器具520は、器具キャリッジ530に着脱可能に接続される。一態様では、器具キャリッジ530は、手術器具520が手術器具520のエンドエフェクタの種々の動きに変換するいくつかのコントローラ動作を提供する1つまたは複数の遠隔操作アクチュエータを内部に収容する。従って、器具キャリッジ530内の遠隔操作アクチュエータは、器具全体ではなく、手術器具520の1つまたは複数の構成要素のみを動かす。器具全体または器具の構成要素のいずれかを制御するための入力は、外科医または他の医療者によって制御入力部(「マスタ」コマンド)に提供される入力が手術器具による対応する動作(「スレーブ」応答)に変換されるようなものである。
いくつかの実施形態によれば、手術システム10は、ドッキングされる、追従する、器具の種類およびヘッドインを含む複数のシステム作動状態を有することができる。ドッキングされたシステム状態の間、1つまたは複数のマニピュレータ512はカニューレ524に結合されている。追従するシステム状態の間、手術器具(「スレーブ」)は制御入力(「マスタ」コマンド)を追跡している。器具タイプのシステム状態の間、システムは、特定の手術処置の実行に適したまたは手術処置の間の特定の手術作業の実行に適した、一組の器具をその中に設置した。ヘッドインシステム状態の間、システムは、外科医が「マスタ」制御入力デバイスを保持したことを示すのを待っている。
代替の実施形態では、器具キャリッジ530は、遠隔操作アクチュエータを収容しない。手術器具520のエンドエフェクタの種々の動きを可能にする遠隔操作アクチュエータは、器具キャリッジ530から離れた位置、例えば患者側カート500の他の場所に収容される。ケーブルベースの力伝達機構等が、遠隔に配置された遠隔操作アクチュエータの各々の動作を、器具キャリッジ530に配置された対応する器具インタフェースアクチュエータ出力に伝えるために使用される。いくつかの実施形態では、手術器具520は、長手方向の(longitudinal)(z軸)回転などの手術器具の第1の動きを制御する第1のアクチュエータに機械的に結合される。手術器具520は、二次元(x,y)運動などの手術器具の第2の動きを制御する第2のアクチュエータに機械的に結合される。手術器具520は、ジョーエンドエフェクタの開閉などの手術器具の第3の動きを制御する第3のアクチュエータに機械的に結合される。
図5Cは、手術シーン550を表し、いくつかの実施形態に従ってシーンを記録するために使用されるカメラ528を取り付けた内視鏡101Cも示す例示的な図である。シーン550は、患者の体腔内に配置される。シーン550は、幾何学的輪郭554を含む例示的な仮想の球状解剖学的構造552を含む。シーン550は、手術器具556を包含する。第1および第2のカメラ528および533は、内視鏡101Cに取り付けられて、ビューア31内に表示され且つ後の再生のために記録されるシーンを取り込む。選択可能な第1の光フィルタ528は、第1のカメラに関連付けられる。第1及び第2の光源531が設けられる。選択可能な第2のフィルタ529は、少なくとも1つの光源531に関連付けられる。
図6は、遠位部分650と、細長いチューブ中心軸611を有する細長いチューブ610によって結合された近位制御機構640とを含む手術器具520の側面図である。手術器具520は、患者の体内に挿入されるように構成され、手術または診断的処置を実施するために使用される。手術器具520の遠位部分650は、示された鉗子、針駆動装置、焼灼装置、切断ツール、イメージング装置(例えば、内視鏡または超音波プローブ)などのような種々のエンドエフェクタ654のいずれかを提供することができる。手術エンドエフェクタ654は、開閉するジョー、または経路に沿って移動するナイフなどの機能的機械的自由度を含むことができる。図示の実施形態では、エンドエフェクタ654は、細長いチューブの中心軸611に対してエンドエフェクタが配向されることを可能にする手首部652によって細長いチューブ610に結合される。手術器具520はまた、永久的であり得る又は手術器具520を動作させるように構成された手術システムによって更新可能であり得る(例えば、器具に関連付けられた半導体メモリ上に)記憶された情報を含むことができる。従って、手術システムは、手術器具520と手術システムの1つまたは複数の構成要素との間の一方向または双方向の情報通信を提供し得る。
図7は、手術器具マニピュレータ512の斜視図である。器具マニピュレータ512は、手術器具が取り付けられていない状態で示されている。器具マニピュレータ512は、器具キャリッジ530を含み、器具キャリッジ530には、手術器具(例えば、外科器具520)が着脱可能に接続されることができる。器具キャリッジ530は、複数の遠隔操作アクチュエータを収容する。各遠隔操作アクチュエータは、アクチュエータ出力部705を含む。手術器具が器具マニピュレータ512に設置されるとき、器具近位制御機構(例えば、図6における近位制御機構640)の1つまたは複数の器具入力部(図示せず)は、対応するアクチュエータ出力部705と機械的に結合される。一態様では、この機械的結合は直接的であり、アクチュエータ出力部705は、対応する器具入力部と直接接触する。別の態様では、この機械的結合は、器具マニピュレータ512と関連する手術器具との間に滅菌バリアを提供するように構成されたドレープの構成要素などの中間インターフェースを介して生じる。
一態様では、対応する遠隔操作アクチュエータによる1つまたは複数の器具入力部の動作は、手術器具の機械的自由度の動きをもたらす。例えば、一態様では、器具マニピュレータ512に取り付けられた手術器具は、図6に示された外科器具520である。図6を参照すると、一態様では、対応する遠隔操作アクチュエータによる近位制御機構640の1つまたは複数の器具入力部の動きが、細長いチューブの中心線611周りに近位制御機構640に対して細長いチューブ610(ならびに取り付けられた手首部652およびエンドエフェクタ654)を回転させる。別の態様では、対応する遠隔操作アクチュエータによる1つまたは複数の器具入力部の動きは、手首部652の動きをもたらし、細長いチューブ中心軸611に対してエンドエフェクタ654を方向付ける。別の態様では、対応する遠隔操作アクチュエータによる1つまたは複数の器具入力部の動きは、エンドエフェクタ654の1つまたは複数の可動要素(例えば、ジョー部材、ナイフ部材など)の動きをもたらす。従って、器具マニピュレータ512に設置された種々の機械的自由度の手術器具は、器具キャリッジ530の遠隔操作アクチュエータの操作によって動かされることができる。
録画したビデオに注釈を付ける
図8は、例示的な手術計画ツール800の概略図を示す。一態様では、手術計画ツール800は、電子医療デバイス記録データベース830とデータ通信する遠隔操作手術システム850を含む。ここに示される遠隔操作手術システム850は、図4に示される遠隔操作手術システム850と同様である。一態様では、電子医療記録データベース830は、特定の病院または複数の病院で治療を受けた患者の医療記録を含む。データベース830は、病院のオンサイトにあるサーバに実装されることができる。データベース830に含まれる医療記録エントリは、イントラネットネットワークを通じて病院のコンピュータからアクセスすることができる。代替的には、データベース830は、例えば、いくつかのクラウドデータストレージサービスのうちの1つを使用して、病院からオフサイトに位置するリモートサーバに実装されることもできる。この場合、データベース830の医療記録エントリは、クラウドサーバに格納され、インターネットアクセスを有するコンピュータによってアクセスすることができる。
図8は、例示的な手術計画ツール800の概略図を示す。一態様では、手術計画ツール800は、電子医療デバイス記録データベース830とデータ通信する遠隔操作手術システム850を含む。ここに示される遠隔操作手術システム850は、図4に示される遠隔操作手術システム850と同様である。一態様では、電子医療記録データベース830は、特定の病院または複数の病院で治療を受けた患者の医療記録を含む。データベース830は、病院のオンサイトにあるサーバに実装されることができる。データベース830に含まれる医療記録エントリは、イントラネットネットワークを通じて病院のコンピュータからアクセスすることができる。代替的には、データベース830は、例えば、いくつかのクラウドデータストレージサービスのうちの1つを使用して、病院からオフサイトに位置するリモートサーバに実装されることもできる。この場合、データベース830の医療記録エントリは、クラウドサーバに格納され、インターネットアクセスを有するコンピュータによってアクセスすることができる。
一態様では、手術処置は、遠隔操作手術システム850を使用して第1の患者に対して行われる。遠隔操作手術システム850に関連するイメージング装置は、手術部位の画像を取り込み、取り込まれた画像を外科医のコンソール52のディスプレイ上のビデオのフレームとして表示する。一態様では、外科医のコンソール52の医療者は、外科医のコンソール52の入力装置を使用して、表示されたビデオに示された特定の患者の解剖学的構造をハイライトするまたはそれに注釈をつける。このような入力装置の一例は、図2に示される制御入力部36であり、これは、表示されたビデオ上にオーバーレイされたグラフィックユーザインタフェースと共に動作するカーソルに結合される。グラフィックユーザインタフェースは、QWERTYキーボード、マウスおよび対話型スクリーンディスプレイのようなポインティングデバイス、タッチスクリーンディスプレイ、あるいはデータ若しくはテキスト入力または音声注釈/またはマイクロホンおよびプロセッサを介したテキスト変換のための他の手段を含むことができる。従って、医療者は、表示された画像の中の特定の関心組織をハイライトするか、またはテキスト注釈を入力することができる。
一態様では、手術部位ビデオは、エレクトロニクスカート56に位置するディスプレイに追加的に表示される。一態様では、エレクトロニクスカートのディスプレイは、エレクトロニクスカートのディスプレイに表示するために表示される画像上に示される患者の解剖学的構造の特定部分をハイライトするとともにそれに注釈をつけるために医療者によって使用可能なタッチスクリーンのユーザインタフェースである。ユーザは、タッチスクリーンユーザインタフェース上に表示される患者の解剖学的構造の部分にタッチすることにより、表示画像の部分をハイライトすることができる。加えて、QWERTYキーボードを含むグラフィックインターフェイスが、表示画像上にオーバーレイされることができる。ユーザは、テキスト注釈を入力するためにQWERTYキーボードを使用することができる。
一態様では、遠隔操作手術システム850に関連するイメージング装置によって取り込まれた手術部位ビデオは、遠隔操作手術システム850によって記録され、ユーザに対してリアルタイムまたはほぼリアルタイムで表示されることに加えて、データベース830に記憶される。ユーザによって作成された記録されたビデオに関連するハイライトおよび/または注釈も、データベース830に記憶することができる。一態様では、ユーザによってなされたハイライトは、データベース830に記憶する前に、記録されたビデオに埋め込まれる。その後、記録されたビデオは見るために検索されることができる。一態様では、記録されたビデオを見る人は、ハイライトが表示されるかまたは表示から隠されるかを選択することができる。同様に、記録されたビデオに関連する注釈も、データベース830に記憶することができる。一態様では、ユーザによってなされた注釈は、記録されたビデオにタグを付けるために使用され、記録されたビデオに含まれる主題を識別する手段として提供するために使用することができる。例えば、1つの注釈は、特定の疾患状態の条件を記述してもよい。この注釈は、記録されたビデオにタグを付けるために使用される。後に、この病態に関する記録された処置を見たい人は、キーワード検索を用いてビデオを探し出すことができる。
保存したビデオの検索
場合によっては、医療者が、所与の患者に行われた過去の手術処置のビデオ記録を見ることができることが望ましい。一態様では、医学的状態を治療するための第1の手術処置を以前に受けた患者は、その後、同一の医学的状態の再発を治療するためまたは第1の手術処置の手術部位の近くに位置する解剖学的構造を治療するために、第2の手術処置を必要とする。一態様では、第1の手術処置の手術部位事象が手術部位ビデオ記録に取り込まれ、ビデオ記録が患者の電子医療記録の一部としてデータベース830にアーカイブされた。患者に第2の手術処置を実施する前に、医療者は、患者の以前の手術処置のビデオ記録を見つけるためにデータベース830の検索を行うことができる。
場合によっては、医療者が、所与の患者に行われた過去の手術処置のビデオ記録を見ることができることが望ましい。一態様では、医学的状態を治療するための第1の手術処置を以前に受けた患者は、その後、同一の医学的状態の再発を治療するためまたは第1の手術処置の手術部位の近くに位置する解剖学的構造を治療するために、第2の手術処置を必要とする。一態様では、第1の手術処置の手術部位事象が手術部位ビデオ記録に取り込まれ、ビデオ記録が患者の電子医療記録の一部としてデータベース830にアーカイブされた。患者に第2の手術処置を実施する前に、医療者は、患者の以前の手術処置のビデオ記録を見つけるためにデータベース830の検索を行うことができる。
場合によっては、患者に対して手術処置を実施することを計画している医療者が、患者に類似した特定の特徴を有する人に対して行われた同様の手術処置のビデオ記録を見ることができることが望ましい。一態様では、手術処置の手術部位ビデオ記録は、各ビデオ記録がデータベース830にアーカイブされる前に、患者の年齢、性別、ボディマスインデックス、遺伝情報、患者が受けた処置の種類などのメタデータ情報でタグ付けすることができる。一態様では、ビデオ記録にタグ付けするために使用されるメタデータ情報は、患者のその時点で存在する医療記録から自動的に検索され、その後、ビデオ記録がデータベース830にアーカイブされる前にビデオ記録にタグ付けするために使用される。従って、患者に対して医療処置を実施する前に、医療者は、患者と共通の特定の特徴を共有する患者に対して行われた同様の処置のビデオ記録についてデータベース830を検索することができる。例えば、医療者が、ボディマスインデックスが高い65歳の男性患者に前立腺摘除術を実施するために遠隔操作手術システム850を使用することを計画している場合、医療者は、同様の年齢で同様にボディマスインデックスが高い他の男性に対して遠隔操作手術システム850を使用して実施された前立腺摘除術の手術部位ビデオ記録についてデータベース830を検索することができる。
一態様では、手術処置のビデオ記録は、データベース830によってオプションのパーソナルコンピュータ820(破線で示される)に伝達され、手術処置を実行する予定の医療者による閲覧に利用可能にされる。追加的にまたは代替的に、以前の手術処置のビデオ記録が、データベース830によって遠隔操作手術システム850に伝達され、術前または術中の閲覧に利用可能にされることができる。一態様では、ビデオ記録は、外科医のコンソール52に位置するディスプレイに遠隔操作手術システム850によって表示される。別の態様では、第1の手術処置のビデオ記録は、エレクトロニクスカート56に位置するディスプレイに表示される。
クラウドベースのビデオデータベース
一態様では、データベース830は、クラウドデータストレージサービスを使用してリモートサーバ上に実装され、複数のヘルスケアプロバイダによってアクセス可能である。図8を参照すると、破線で示されるように、手術計画ツール800は、オプションで、(破線で示される)遠隔操作手術システム850および(破線で示される)パーソナルコンピュータ840を含む。一態様では、遠隔操作手術システム850は、遠隔操作手術システム850と同様であり、パーソナルコンピュータ840は、パーソナルコンピュータ820と同様であるが、ただし、遠隔操作手術システム850およびパーソナルコンピュータ820は、第1のヘルスケアプロバイダに位置し、遠隔操作手術システム850およびパーソナルコンピュータ840は、第2の場所または第2のヘルスケアプロバイダに位置する。一態様では、第1の患者は、医学的状態の手術治療を必要とし、第1のヘルスケアプロバイダにおいて、遠隔操作手術システム850を使用する手術処置を受ける。手術処置のビデオ記録は、データベース830にアーカイブされる。その後、第2の患者は、同じ医学的状態の手術治療を必要とし、第2のヘルスケアプロバイダにおいて、遠隔操作手術システム850を使用する手術治療を受けることを計画する。第2の患者に手術処置を実施する前に、医療者は安全なインターネット接続を介してデータベース830にアクセスし、同様な処置の手術部位ビデオ記録についてデータベース830を検索する。一態様では、第2の患者を治療する医療者は、第1の患者のアイデンティティの知識を取得することなしに、第1の患者の手術処置のビデオ記録をデータベース830から取り出すことができる。このようにして、第1の患者のプライバシーは保たれる。一態様では、第1の患者の手術処置のビデオ記録は、第1の患者を治療した医療者によってなされたハイライトおよび/または注釈を含む。
一態様では、データベース830は、クラウドデータストレージサービスを使用してリモートサーバ上に実装され、複数のヘルスケアプロバイダによってアクセス可能である。図8を参照すると、破線で示されるように、手術計画ツール800は、オプションで、(破線で示される)遠隔操作手術システム850および(破線で示される)パーソナルコンピュータ840を含む。一態様では、遠隔操作手術システム850は、遠隔操作手術システム850と同様であり、パーソナルコンピュータ840は、パーソナルコンピュータ820と同様であるが、ただし、遠隔操作手術システム850およびパーソナルコンピュータ820は、第1のヘルスケアプロバイダに位置し、遠隔操作手術システム850およびパーソナルコンピュータ840は、第2の場所または第2のヘルスケアプロバイダに位置する。一態様では、第1の患者は、医学的状態の手術治療を必要とし、第1のヘルスケアプロバイダにおいて、遠隔操作手術システム850を使用する手術処置を受ける。手術処置のビデオ記録は、データベース830にアーカイブされる。その後、第2の患者は、同じ医学的状態の手術治療を必要とし、第2のヘルスケアプロバイダにおいて、遠隔操作手術システム850を使用する手術治療を受けることを計画する。第2の患者に手術処置を実施する前に、医療者は安全なインターネット接続を介してデータベース830にアクセスし、同様な処置の手術部位ビデオ記録についてデータベース830を検索する。一態様では、第2の患者を治療する医療者は、第1の患者のアイデンティティの知識を取得することなしに、第1の患者の手術処置のビデオ記録をデータベース830から取り出すことができる。このようにして、第1の患者のプライバシーは保たれる。一態様では、第1の患者の手術処置のビデオ記録は、第1の患者を治療した医療者によってなされたハイライトおよび/または注釈を含む。
コンピュータベースのパターンマッチングと解析
手術計画ツール800は、コンピュータ実行可能コードの形態で実装されるパターンマッチングおよび解析アルゴリズムを含むことができる。一態様では、パターンマッチングおよび解析アルゴリズムは、手術計画ツール800の不揮発性メモリ装置に記憶され、データベース830にアーカイブされたビデオ記録を解析するように構成される。前述のように、データベース830にアーカイブされたビデオ記録の各々は、特定のメタデータ情報でタグ付けされるおよび/または埋め込まれることができる。このメタデータ情報は、患者の年齢、性別、および患者の健康または病歴を記述するその他の情報などの患者情報が含まれる。加えて、前述のように、メタデータ情報は、医療者によってなされたハイライトまたは注釈を含むことができる。一態様では、これらのハイライトおよび注釈は、ビデオ記録に埋め込まれ、データベース830内のビデオと共にアーカイブされる。
手術計画ツール800は、コンピュータ実行可能コードの形態で実装されるパターンマッチングおよび解析アルゴリズムを含むことができる。一態様では、パターンマッチングおよび解析アルゴリズムは、手術計画ツール800の不揮発性メモリ装置に記憶され、データベース830にアーカイブされたビデオ記録を解析するように構成される。前述のように、データベース830にアーカイブされたビデオ記録の各々は、特定のメタデータ情報でタグ付けされるおよび/または埋め込まれることができる。このメタデータ情報は、患者の年齢、性別、および患者の健康または病歴を記述するその他の情報などの患者情報が含まれる。加えて、前述のように、メタデータ情報は、医療者によってなされたハイライトまたは注釈を含むことができる。一態様では、これらのハイライトおよび注釈は、ビデオ記録に埋め込まれ、データベース830内のビデオと共にアーカイブされる。
一態様では、パターンマッチングおよび解析アルゴリズムは、データベース830に記憶された複数のビデオ記録間で共有される形状および色のパターンを識別する画像解析コンポーネントを含む。次に、パターンマッチングおよび解析アルゴリズムは、このビデオ記録のサブセットに関連するタグ付きメタデータをレビューして、任意の単語またはフレーズがこのサブセット内のビデオに頻繁に関連付けられているかどうかを決定する。パターンマッチングおよび解析アルゴリズムによって行われるこれらの解析は、患者の解剖学的構造、好ましい手術アプローチ、病態、潜在的な合併症などについての決定を医療者が行うのを助けるために使用されることができる。
外科情報アトラス
図9は、いくつかの実施形態による、医療記録データベース830内の非一時的記憶装置904内に記憶された手術情報アトラス902を表す例示的な図である。手術器具アトラスは、手術処置に関連して作成された情報を記憶する。例えば、手術処置の間に表示された画像は、情報アトラス902に記憶するために記録されることができる。いくつかのビデオ画像は、例えば、クリアであってよく、すなわち、強調されなくてよく、いくつかの画像は、狭帯域イメージング(NBI)情報を含んでもよく、ある画像は、光コヒーレンストモグラフィ(OCT)情報を含んでもよく、ある画像は、ラマン分光情報を含んでもよく、ある画像は、蛍光情報を含んでもよく、ある画像は、ハイパースペクトルイメージング情報を含んでもよく、そしてある画像はCT情報を含んでもよい。さらに、手術器具の運動学的情報および手術システム作動状態および手術器具作動状態などの手術ステージ情報などの情報も、手術処置の異なる点において記録される。手術システム作動状態は、例えば、システムアームの運動学的位置、カートの位置、およびマスタ制御位置に関連する情報の1つまたは複数を含む。異なる手術器具は、異なる作動状態を有する。手術器具の作動状態は、例えば、ピッチ、ヨー、ロールおよびジョーの位置を含むが、これらに限定されない、器具の運動学を含む。手術中または手術後に、外科医または手術チームの他のメンバーなどのユーザは、NBI画像、ラマン分光画像、OCT画像、蛍光画像またはハイパースペクトル画像など手術シーンの記録されたビデオ画像情報を、例えば血管、腫瘍、異形成、神経または結合組織などの特定の関心のある解剖学的構造を示すメタデータで注釈をつけることができる。注釈は、例えば、記録された動画情報にタグ付けされた書き込みノート及び/又はビデオ記録内の画像の色付け又は強調(例えば、テレストレーション)のうちの1つまたは複数、あるいはそれらの組み合わせを含み得る。記録された情報は、手術画像情報、手術ステージ情報、手術処置のインスタンスに関連する情報間の関連性を提供する手術情報アトラス902を構築するために使用され、この情報は手術記録情報構造に記憶される。
図9は、いくつかの実施形態による、医療記録データベース830内の非一時的記憶装置904内に記憶された手術情報アトラス902を表す例示的な図である。手術器具アトラスは、手術処置に関連して作成された情報を記憶する。例えば、手術処置の間に表示された画像は、情報アトラス902に記憶するために記録されることができる。いくつかのビデオ画像は、例えば、クリアであってよく、すなわち、強調されなくてよく、いくつかの画像は、狭帯域イメージング(NBI)情報を含んでもよく、ある画像は、光コヒーレンストモグラフィ(OCT)情報を含んでもよく、ある画像は、ラマン分光情報を含んでもよく、ある画像は、蛍光情報を含んでもよく、ある画像は、ハイパースペクトルイメージング情報を含んでもよく、そしてある画像はCT情報を含んでもよい。さらに、手術器具の運動学的情報および手術システム作動状態および手術器具作動状態などの手術ステージ情報などの情報も、手術処置の異なる点において記録される。手術システム作動状態は、例えば、システムアームの運動学的位置、カートの位置、およびマスタ制御位置に関連する情報の1つまたは複数を含む。異なる手術器具は、異なる作動状態を有する。手術器具の作動状態は、例えば、ピッチ、ヨー、ロールおよびジョーの位置を含むが、これらに限定されない、器具の運動学を含む。手術中または手術後に、外科医または手術チームの他のメンバーなどのユーザは、NBI画像、ラマン分光画像、OCT画像、蛍光画像またはハイパースペクトル画像など手術シーンの記録されたビデオ画像情報を、例えば血管、腫瘍、異形成、神経または結合組織などの特定の関心のある解剖学的構造を示すメタデータで注釈をつけることができる。注釈は、例えば、記録された動画情報にタグ付けされた書き込みノート及び/又はビデオ記録内の画像の色付け又は強調(例えば、テレストレーション)のうちの1つまたは複数、あるいはそれらの組み合わせを含み得る。記録された情報は、手術画像情報、手術ステージ情報、手術処置のインスタンスに関連する情報間の関連性を提供する手術情報アトラス902を構築するために使用され、この情報は手術記録情報構造に記憶される。
図10は、いくつかの実施形態による、手術情報アトラス902内に記憶された例示的な手術記録情報構造1006の特定の詳細を示す例示的な図である。患者健康記録フィールド(HR)1006-1は、例えば、年齢、体重、血液型、身長、性別、および人種などの、手術される患者に関する情報を提供する。医師情報フィールド(PI)1006-2は、例えば、一般的な経験のレベル、及びロボット支援手術システムを操作する経験のレベルなどの、個々の手術を行う外科医に関する情報を提供する。手術システム識別子フィールド(SID)1006-3は、例えば、メーカー、モデル、及びシリアル番号などの手術を行うために使用される手術システムに関する情報を提供する。動画画像フィールド(MPI)1006-4は、手術中に記録された動画画像のような情報を提供する。手術ステージフィールド(SST)1006-5は、手術中に記録された手術システム作動状態情報および手術器具作動状態情報を提供する。NBIフィールド(NBI)1006-6は、手術中にNBIを使用して記録された動画画像などの情報を提供する。ラマンフィールド(Ram)1006-7は、手術中にラマン分光法を使用して記録された動画画像のような情報を提供する。蛍光フィールド(Flu)1006-8は、手術中に蛍光を使用して記録された動画画像のような情報を提供する。HSIフィールド(HSI)1006-9は、手術中にハイパースペクトルイメージングを用いて記録された動画画像のような情報を提供する。手術注釈フィールド(Ann)1006-10は、情報構造の中に表される手術処置に関連する記述情報または専門家分析などの注釈情報を提供する。
表示モダリティ
本明細書で使用されるとき、手術シーンの「クリア」画像は、特別な強調なしで提示される画像である。手術画像の表示を強化するために、例えば、狭帯域イメージング(NBI)、ラマン分光法、蛍光、ハイパースペクトルイメージング(HSI)及びコンピュータ断層撮影を含む、多くの表示モダリティが存在する。これらの強調技術の各々は、利点を有する。
本明細書で使用されるとき、手術シーンの「クリア」画像は、特別な強調なしで提示される画像である。手術画像の表示を強化するために、例えば、狭帯域イメージング(NBI)、ラマン分光法、蛍光、ハイパースペクトルイメージング(HSI)及びコンピュータ断層撮影を含む、多くの表示モダリティが存在する。これらの強調技術の各々は、利点を有する。
図11は、いくつかの実施形態による、ビューア31内での表示のための内視鏡表示装置101Cのカメラ528によって取り込まれた手術シーン1100の例示のクリア画像を示す、例示的な図である。より詳しくは、光源531によって生成された光は、手術シーン551から反射され、カメラ528によって取り込まれ、カメラ528は、手術シーン551のクリアな表示画像を生成するようにコンピュータ58を構成するために使用することができる画像の第1の情報を生成する。組織領域1102は、第1の解剖学的物体1104および第2の解剖学的物体1106を含む。例示的な手術シーン1100では、第1の解剖学的物体1104は、例えば、前立腺または子宮を含むことができる。第2の解剖学的物体1106は、例えば、神経、尿管、または子宮頸部を含むことができる。第1の手術器具1108および第2の手術器具1100は、手術シーン1100内に配置される。第1の手術器具1108は、例えば、鉗子または針ドライバを含むことができる。第2の手術器具1110は、例えば、ハサミまたは、単極、双極もしくはアブレーションエネルギを供給するように装備された他の器具を含むことができる。
図12は、第1の解剖学的物体1104内の血管の解剖学的構造1112の画像が狭帯域イメージング表示モダリティを介して強調されている、図11の手術シーン1100の例示のNBIモダリティ画像1200を示す例示的な図である。狭帯域イメージング(NBI)は、組織表面下の血管1112および他の構造の視認性を改善する光学的イメージング技術である。NBIモダリティ画像は、手術シーン上を照らすフィルタ処理された光を通して作られる。より詳しくは、周囲光531は、ヘモグロビンのピーク光吸収が起こる特定の青色および緑色波長を提供するために、フィルタ529を用いてフィルタ処理される。反射光は、NBIモダリティ画像情報を含む対応する第2の画像情報を生成するカメラ528によって取り込まれる。フィルタ処理された光は、非常に暗く見える血管の細部を強調するために、解剖学的組織に照射され、それらの視認性の改善および他の表面構造の識別の改善を可能にする。より短い波長は、組織構造の最上層にのみ浸透し、より長い波長は、より深く浸透する。より短い波長は、表面近くの毛細血管によって吸収され、しばしば高度に血管新生される腫瘍の検出に特に有用である。より長い波長は、組織内のより深くに位置する血管によって吸収され、これは、より短い波長の光を吸収するより浅い血管とは異なるように見える。より深く透過するより長い波長の光は、組織表面からより遠くに位置する疑わしい病変の血管構造のより良い理解を可能にする。このように、NBIは、手術シーン内の解剖学的物体内の血管構造の視認性を高めることができる。
図13は、第2の解剖学的物体1106内の腫瘍の解剖学的構造1114の画像がラマン分光表示モダリティを介して強調されているカメラ528によって取り込まれた図11の例示のラマン分光モダリティ画像手術シーン1100を表す例示的な図である。手術シーンから反射された光は、カメラ528によって取り込まれる。コンピュータ58は、第三の(ラマン分光)画像情報を生成するよう取り込まれた画像のラマン分光光学画像処理を実行するために使用されるように構成される。ラマン分光法は、反射光に基づいて複雑な生体試料の化学組成を測定し、ラマン分光法画像情報を生成することを含む。特定の腫瘍組織1114は、例えば、正常な解剖学的組織よりも高い含水量を有し、従って、それらの含水量に基づいて周囲の組織と区別可能である。ラマンスペクトルは、組織の化学構造に関する定量的な情報を提供する。特に、ラマン分光法は、分子を振動させることによって光の非弾性散乱を観察するために使用することができ、細胞、組織または生体液の化学的フィンガプリントを提供することができる技術である。ラマン分光法は分子による光の散乱に依存し、分子の振動モードに関する情報は可視または近赤外レーザを用いて得ることができる。ラマンスペクトル画像を得るための一般的な方法は、レーザスポットを通して試料をラスタ走査するか、または試料を横切ってレーザスポットを走査し、次いで、各ラマンスペクトルに一変量または多変量スペクトルモデルを適用することである。従って、ラマン分光法は、構成化学組成に基づく解剖学的物体内の解剖学的構造の可視性を高めることができる。
蛍光は、手術処置の間に蛍光標識された構造を検出するために使用される表示モダリティである。例えば、蛍光は、蛍光を発する標識または非標識組織構造対蛍光を発しない組織構造の視覚的画像を強調するために使用することができる。蛍光ガイド下手術(FGS)は、カラー反射率画像および蛍光発光からのリアルタイムの同時情報を提供するイメージング装置を用いて実施することができる。蛍光モダリティ画像は、手術シーンから反射された光をフィルタ処理することによって生成される。より詳しくは、1つまたは複数の光源531は、解剖学的組織領域を励起し、照射するために使用される。カメラ528は、発蛍光団の発光スペクトルに一致し、強調された蛍光画像情報を含む第4の画像情報を生成する光学フィルタ529でフィルタ処理された手術シーンから反射された光を受け取る。
図14は、ハイパースペクトルイメージング表示モダリティを使用して表示される図11の手術シーン1100の例示的なハイパースペクトル画像1400を示す、例示的な図である。ハイパースペクトルイメージング(HSI)はデジタルイメージングと分光法を組み合わせている。ハイパースペクトルカメラ533は、画像内の各画素に対して、多数の(典型的には、数十~数百の)隣接するスペクトルバンドの光強度(放射輝度)を含む手術シーンから反射された光を取り込む。したがって、画像内のすべてのピクセルは、(放射または反射率の)連続スペクトルを含み、シーン内の物体を非常に正確かつ詳細に特徴付けるために使用することができる。より詳しくは、画像の各画素に対して、HSIは、2空間次元および1スペクトル次元を有するハイパーキューブと呼ばれる3次元データセットを取得する。コンピュータ58は、組織生理学、形態学、および組成に関する強化された視覚情報を提供して第5の(HSI)画像情報を生成するために、HSIによって得られたスペクトル画像を空間的に解像する処理を実行するために使用されるように構成されている。HSIは、通常、赤、緑、および青の視覚原色に対応する3つの異なるスペクトルチャネルのみを取得する通常のカラーカメラよりも、手術シーンのより詳細な視覚画像を提供することができる。HSIはまた、センサの視野内の組織の化学組成に基づいて物体または疾患状態を識別する能力を提供する。従って、ハイパースペクトルイメージングは、それらのスペクトル特性に基づいてシーン内の物体の間を視覚的に識別する大幅に改善された能力をもたらす。
図15は、いくつかの実施形態による、図11の例示的な手術シーン1100のコンピュータ断層撮影スライス表示モダリティを表す例示的な図である。コンピュータ断層撮影(CT)スライスは、放射線源、典型的にはX線放射線を用いて異なる角度から撮影された画像1500を組み合わせて、特定の解剖学的物体の仮想二次元(平坦)断面画像スライス1502を生成し、外科医が切断することなく物体の内部を見ることを可能にする。解剖学的物体内の異なる三次元深さにおける断面画像1502は、物体内の内部構造の視覚的表現を提供するために、別々に表示されることができる。
マルチモダリティ表示フォーマット
特定の表示モダリティは、特定の種類の解剖学的構造を画像化するのに他のモダリティよりも適している場合がある。例えば、表面血管系または異形成などの解剖学的構造は、しばしばNBIを用いてより目に見えるように表示することができる。しかし、癌辺縁などの病態は、例えばラマン分光法を用いてより目に見えるように表示することがしばしば可能である。さらに、蛍光マーカで標識することができる解剖学的構造、または(「内因性の」)それ自体の異なる発光で励起光に応答することができる解剖学的構造は、例えば、蛍光を使用して、しばしば、より目に見えるように表示することができる。さらに、独特のスペクトル特性を有する解剖学的構造は、例えば、ハイパースペクトルイメージングを用いて、しばしば、より目に見えるように表示することができる。
特定の表示モダリティは、特定の種類の解剖学的構造を画像化するのに他のモダリティよりも適している場合がある。例えば、表面血管系または異形成などの解剖学的構造は、しばしばNBIを用いてより目に見えるように表示することができる。しかし、癌辺縁などの病態は、例えばラマン分光法を用いてより目に見えるように表示することがしばしば可能である。さらに、蛍光マーカで標識することができる解剖学的構造、または(「内因性の」)それ自体の異なる発光で励起光に応答することができる解剖学的構造は、例えば、蛍光を使用して、しばしば、より目に見えるように表示することができる。さらに、独特のスペクトル特性を有する解剖学的構造は、例えば、ハイパースペクトルイメージングを用いて、しばしば、より目に見えるように表示することができる。
さらに、特定の表示モダリティは、手術処置の特定のステージでの使用に他の方法より適している場合がある。より詳しくは、例えば、NBI表示は、頭頸部手術処置の初期計画ステージにおいてしばしば使用される。ラマン分光法は、しばしば切除後の処置ステージの間に用いられるが、ラマン活性粒子と組み合わせた場合、生体内で用いることができる。蛍光はしばしば、組織切除手術ステージの前後に使用される。ハイパースペクトルイメージングは、しばしば、手術処置の計画部分の間に用いられる。
いくつかの実施形態によれば、多数の異なる表示フォーマットが提供され、そこから複数の表示モダリティを同時に使用する手術シーンを表示するように選択される。ステッチフォーマットは、異なる表示モダリティを使用して表される異なる部分を有する単一の手術シーンが生成されるように、単一シーンの2つ以上の異なる表示モダリティからのビデオ画像を一緒にステッチする(stitches)。ステッチフォーマットでは、唯一の画像モダリティが全体画像のステッチ領域内の任意の所与の点において見えるように、異なる画像モダリティが、手術シーンの全体画像の異なる部分を表すために使用される。ピクチャインピクチャ(PiP)フォーマットは、第1の表示モダリティを使用して、手術シーンの第1のプライマリの(primary)、典型的にはフルスクリーンのビデオ画像を表示し、ディスプレイの一部内に、第2の表示モダリティを使用して、手術シーンの縮小サイズのインサートビデオ(または静止)画像を表示する。オーバーレイフォーマットは、1つの表示モダリティを使用する画像を異なる表示モダリティを使用する画像上にオーバーレイする。オーバーレイフォーマットでは、オーバーレイ画像が部分的に透明であり、オーバーレイ部分がその下を可視化するように、異なる画像モダリティが、手術シーンの全体画像の単一部分を表現するために使用されることができる。
ステッチフォーマット
図16は、いくつかの実施形態によるステッチフォーマットを用いて組み合わされた複数の表示モダリティを使用する図11の手術シーン1100の例示的なマルチモダリティ表示である。手術シーンの第1の手術画像1600は、NBIモダリティを使用して生成される。手術シーン1100の第2の画像1650は、ラマン分光モダリティを使用して生成される。第1の画像1600では、特定の血管構造1112は容易に見えるが、第2の解剖学的物体1106内の腫瘍構造1114はそれほど容易には見えないことに留意されたい。逆に、第2の画像1650では、腫瘍構造1114は容易に見えるが、血管構造1112はそれほど容易に見えない。第3の画像1680は、第2の表示1650画像の選択された部分1652と第1の表示画像1600とが一緒にステッチされて生成される。NBIモダリティおよびラマン分光モダリティを使用して生成される両方の画像は、手術処置の間に生成され得ることが理解されるであろう。いくつかの実施形態に従って、表示ルールは、1つの画像モダリティのどの部分を異なる画像モダリティにステッチするかを決定することができる。図16の例では、第2の表示画像1650のラマン分光表示モダリティの腫瘍含有部分1652が、第1の表示画像にステッチされる。従って、図16の例では、ラマン分光モダリティにおいてより容易に見える重要な解剖学的構造の画像が、例えば、血管構造の表示により適したNBIモダリティにステッチされる。
図16は、いくつかの実施形態によるステッチフォーマットを用いて組み合わされた複数の表示モダリティを使用する図11の手術シーン1100の例示的なマルチモダリティ表示である。手術シーンの第1の手術画像1600は、NBIモダリティを使用して生成される。手術シーン1100の第2の画像1650は、ラマン分光モダリティを使用して生成される。第1の画像1600では、特定の血管構造1112は容易に見えるが、第2の解剖学的物体1106内の腫瘍構造1114はそれほど容易には見えないことに留意されたい。逆に、第2の画像1650では、腫瘍構造1114は容易に見えるが、血管構造1112はそれほど容易に見えない。第3の画像1680は、第2の表示1650画像の選択された部分1652と第1の表示画像1600とが一緒にステッチされて生成される。NBIモダリティおよびラマン分光モダリティを使用して生成される両方の画像は、手術処置の間に生成され得ることが理解されるであろう。いくつかの実施形態に従って、表示ルールは、1つの画像モダリティのどの部分を異なる画像モダリティにステッチするかを決定することができる。図16の例では、第2の表示画像1650のラマン分光表示モダリティの腫瘍含有部分1652が、第1の表示画像にステッチされる。従って、図16の例では、ラマン分光モダリティにおいてより容易に見える重要な解剖学的構造の画像が、例えば、血管構造の表示により適したNBIモダリティにステッチされる。
図17は、いくつかの実施形態によるステッチフォーマットを用いて組み合わされた複数の表示モダリティを使用する図11の手術シーン1100の代替的な例示のマルチモダリティ表示である。手術シーンの第1の画像1600は、NBIモダリティを使用して生成される。手術シーン1100の第2の画像1650は、ラマン分光モダリティを使用して生成される。図17では、手術シーン1100の第4の表示画像1700が生成され、第1の表示1600画像の選択された部分1602と第2のディスプレイイメージ1650とが一緒にステッチされる。重要な血管画像1112を含む第1の表示画像1600のNBI表示モダリティの一部1602は、第2の表示画像にステッチされる。従って、NBIモダリティにおいてより容易に見える重要な解剖学的構造の画像は、例えば、腫瘍構造の表示により適したラマン分光モダリティにステッチされる。
ピクチャインピクチャフォーマット
図18は、いくつかの実施形態によるピクチャインピクチャ(PiP)フォーマットを用いて組み合わされた複数の表示モダリティを使用する図11の手術シーン1100の例示的なマルチモダリティ表示である。図18の手術画像は、図16の画像に対応する。しかし、図18では、ラマン分光モダリティを使用して生成された第2の画像1650の部分1652は、NBIモダリティを使用して生成されたプライマリの第1の画像1600内の縮小サイズPiP画像1800として含まれる。
図18は、いくつかの実施形態によるピクチャインピクチャ(PiP)フォーマットを用いて組み合わされた複数の表示モダリティを使用する図11の手術シーン1100の例示的なマルチモダリティ表示である。図18の手術画像は、図16の画像に対応する。しかし、図18では、ラマン分光モダリティを使用して生成された第2の画像1650の部分1652は、NBIモダリティを使用して生成されたプライマリの第1の画像1600内の縮小サイズPiP画像1800として含まれる。
図19は、いくつかの実施形態によるピクチャインピクチャ(PiP)フォーマットを用いて組み合わされた複数の表示モダリティを使用する図11の手術シーン1100の代替的な例示のマルチモダリティ表示である。図19の手術画像は、図17の画像に対応する。しかし、図19では、NBIモダリティ分光モダリティを使用して生成された第1の画像1600の部分1602は、ラマン分光モダリティを使用して生成されたプライマリの第2の画像1650内の縮小サイズPiP画像1900として含まれる。
注釈フォーマット
図20は、いくつかの実施形態による注釈フォーマットを用いた複数の表示モダリティからの情報を使用する図11の手術シーン1100の例示的な表示である。図20の手術画像は、図16-17の画像に対応する。しかし、図20では、ラマン分光モダリティを使用して生成された第2の画像1650の部分2000から決定された情報は、NBIモダリティを使用して生成されたプライマリの第1の画像1600内の注釈2002として含まれる。例示的な注釈は、第2の画像1650および対応する説明文、例えば「腫瘍」から決定されたオーバーレイ腫瘍画像2002を提供する。
図20は、いくつかの実施形態による注釈フォーマットを用いた複数の表示モダリティからの情報を使用する図11の手術シーン1100の例示的な表示である。図20の手術画像は、図16-17の画像に対応する。しかし、図20では、ラマン分光モダリティを使用して生成された第2の画像1650の部分2000から決定された情報は、NBIモダリティを使用して生成されたプライマリの第1の画像1600内の注釈2002として含まれる。例示的な注釈は、第2の画像1650および対応する説明文、例えば「腫瘍」から決定されたオーバーレイ腫瘍画像2002を提供する。
マルチモダリティ表示の動的プレゼンテーション(動的提示)(Dynamic Presentation)
図21Aは、いくつかの実施形態によるマルチモダリティ手術画像を動的に提示するための第1のプロセス2100を表す例示的なフロー図である。図21Bは、カメラ528を使用して取り込まれ、異なる画像モダリティ画像を生成するために使用することができる非一時的記憶デバイス2114に記憶されるそれぞれの第1の画像情報2112を表す例示的な図である。図21Cは、カメラ528を用いて取り込まれ、異なる画像モダリティ画像部分を生成するために使用することができる非一時的記憶デバイス2118に記憶されるそれぞれの第2の画像部分情報2116を表す例示的な図である。第1のプロセス2100は、手術システム10を参照して説明する。
図21Aは、いくつかの実施形態によるマルチモダリティ手術画像を動的に提示するための第1のプロセス2100を表す例示的なフロー図である。図21Bは、カメラ528を使用して取り込まれ、異なる画像モダリティ画像を生成するために使用することができる非一時的記憶デバイス2114に記憶されるそれぞれの第1の画像情報2112を表す例示的な図である。図21Cは、カメラ528を用いて取り込まれ、異なる画像モダリティ画像部分を生成するために使用することができる非一時的記憶デバイス2118に記憶されるそれぞれの第2の画像部分情報2116を表す例示的な図である。第1のプロセス2100は、手術システム10を参照して説明する。
モダリティ選択ブロック2102-1乃至2102-nは、第1乃至第nの表示モダリティのうちの1つまたは複数を選択および生成するようにコンピュータプロセッサ58を構成する。画像を生成するために使用される情報は、複数の画像モダリティを表示する合成マルチモダリティ画像を生成するよう使用するために格納することができる。本明細書に記載する例示的な実施形態は、NBI、ラマン分光法、蛍光、HSI、OCT、およびCT表示モダリティを含む。異なる表示モダリティを生成するために異なる画像データが必要とされ得ることが理解されよう。より具体的には、異なる画像データは、光スペクトルの異なる部分の使用を必要とすることがある。例えば、NBIモダリティ画像は一般に、特定の青および緑の波長を必要とする。ラマン分光画像は一般に、関心のある組織に依存して異なる波長を必要とする。蛍光画像は一般に、可視波長および近赤外波長を必要とする。HSIは一般に、可視領域および赤外領域全体にわたる波長を必要とする。従って、異なる画像モダリティに関するデータは、時々、手術処置の過程で別々に取り込まれ、処理され得る。例えば、外科医は、最初に蛍光画像を観察し、後にNBI画像を観察し、その後、蛍光画像とNBI画像の両方からの部分を含む合成マルチモダリティ画像を観察することを選択し得る。
図21Bの記憶デバイス2116は、ビューア31内に図12の画像1200のようなフルスクリーンNBIモダリティ画像を生成するようコンピュータ58を構成するために使用することができる例示的なNBI画像情報2120を記憶する。デバイス2116は、ビューア31内に図13の画像1300のようなフルスクリーンラマンモダリティ画像を生成するようコンピュータ58を構成するために使用することができるラマン分光情報2130を記憶する。デバイス2116は、フルスクリーン蛍光モダリティ画像(図示せず)を生成するようコンピュータ58を構成するために使用することができる蛍光情報2140を記憶する。デバイス2116は、ビューア31内に図14の画像1400のようなフルスクリーンHSIモダリティ画像を生成するようコンピュータ58を構成するために使用することができるHSI情報2150を記憶する。
部分選択ブロック2104-1乃至2104-nは、コンピュータ58を、選択された表示モダリティのうちの1つまたは複数のそれぞれの部分を選択するように構成する。異なる画像モダリティの異なる部分は、合成マルチモダリティ画像における表示のために選択され得る。例えば、血管を示すNBIモダリティ画像の部分が選択され得る。腫瘍を示すラマン分光モダリティ画像の異なる部分が選択され得る。図21Cの記憶デバイス2118は、図17に示される画像部分1602のようなNBIモダリティ画像部分を生成するようコンピュータ58を構成するために使用することができる例示的なNBI画像部分情報2122を記憶する。図21Cの記憶デバイス2118は、図16に示す画像部分1652のようなラマン分光モダリティ画像部分を生成するようコンピュータ58を構成するために使用することができる例示的なラマン分光画像部分情報2132を記憶する。いくつかの実施形態では、画像部分情報2122は、画像部分情報2120内に埋め込まれて記憶され、画像部分情報2132は、画像情報2130内に埋め込まれて記憶されることが理解されよう。
フォーマット選択ブロック2106は、選択された表示モダリティ及び対応する選択された表示部分に基づいて、マルチモダリティ表示フォーマットを選択するようにコンピュータ58を構成する。ブロック2108は、フォーマット選択ブロック2106を用いて選択されたマルチモダリティ表示フォーマットに従って、単一の手術シーンの複数の画像モダリティを同時に表示するようにコンピュータ58を構成する。
例えば、いくつかの実施形態では、モダリティ選択ブロック2102-1は、NBI画像モダリティを選択および生成するようにコンピュータ58を構成する。部分選択ブロック2104-1は、例えば、血管などのNBI画像内の特定の解剖学的構造を決定するようにコンピュータ58を構成する。
加えて、例えば、いくつかの実施形態では、モダリティ選択ブロック2102-nは、ラマン分光画像モダリティを選択するようにコンピュータ58を構成する。部分選択ブロック2104-nは、例えば腫瘍などのラマン画像内の特定の解剖学的構造を決定するようにコンピュータ58を構成する。
他のモダリティ選択ブロック(図示せず)及び他の部分選択ブロック(図示せず)は、他の表示モダリティ、例えば、蛍光又はHSI、並びに各々の対応する解剖学的構造及び部分を選択する。
フォーマット選択ブロック2106は、モダリティがプライマリ(例えば、フルスクリーン)として表示されるか、または挿入部分として表示されるかを決定し、一緒にステッチされるモダリティ、PiPとして表示されるモダリティを決定し、注釈を使用して示されることになるモダリティ情報を決定する。表示生成ブロック2108は、整形された(formatted)マルチモダリティ画像をコンピュータディスプレイスクリーン上に表示させるようにコンピュータ58を構成する。
図22は、いくつかの実施形態による、表示モダリティおよび選択された表示モダリティの部分を選択するためのサブプロセス2200の詳細を表す例示的なフロー図である。サブプロセス2200は、手術システム10を参照して説明する。いくつかの実施形態では、サブプロセス2200は、図11の破線2110内に示されるモダリティ選択ブロック2102-1乃至2102-nおよび部分選択ブロック2104-1乃至2104-nを実施する。判定ブロック2202は、ユーザが表示モダリティを選択したか否かを判定するようコンピュータ58を構成する。ユーザが表示モダリティを選択した旨の決定に応答して、ブロック2204は、関心のある解剖学的構造の画像を含むユーザ選択表示モダリティの一部を選択するようコンピュータ58を構成する。ブロック2204を使用した選択に続き、またはユーザが表示モダリティを選択していないと判定する判定ブロック2202に応答して、制御はブロック2206に流れ、ブロック2206は、手術システム10から手術ステージ情報を受信するようコンピュータ58を構成する。いくつかの態様において、手術ステージ情報は、例えば、手術システム作動状態情報および手術器具の運動学的情報を含む。判定ブロック2208は、受信された手術ステージ情報が、画像モダリティに対応する画像選択ルールに一致するかどうかを判定するようコンピュータシステム58を構成する。受信された手術ステージ情報が画像選択ルールに一致するとの判定に応答して、ブロック2210は、関心のある解剖学的構造の画像を含む一致する表示モダリティの部分を選択するようにコンピュータ58を構成する。ブロック2208による手術ステージの一致がないという判定に応答して、制御は判定ブロック2202に戻る。
図22から、異なるユーザ選択および異なる手術ステージ一致が、手術システム10を使用する手術処置の実行中の異なるポイントで起こり得ることが理解されよう。従って、プロセス2200は、手術処置の間、異なる時間に、異なる画像モダリティおよび異なる部分を選択し、生成することができる。
図23は、いくつかの実施形態による画像モダリティのユーザ選択を受け取るためのサブプロセス2300の詳細を表す例示的なフロー図である。サブプロセス2300は、手術システム10を参照して説明される。いくつかの実施形態では、サブプロセス2300は、図22の判定実行ブロック2202を実装する。判定ブロック2302は、画像表示モダリティを選択するために、ユーザ入力がユーザ制御入力部36に与えられるかどうかを決定するようにコンピュータ58を構成する。ユーザ入力が画像モダリティを選択するよう制御入力部36に与えられたとの決定に応答して、ブロック2304は、ユーザ選択モダリティをブロック2204に報告するようコンピュータ58を構成する。ユーザ入力がユーザ制御入力部36に与えられていないことを判定する判定ブロック2302に応答して、判定ブロック2306は、ユーザアイトラッキング入力が与えられるか否かを決定するようにコンピュータ58を構成し、画像モダリティを選択する。ユーザアイトラッキング入力が画像モダリティを選択するために与えられるという決定に応答して、ブロック2304は、ユーザ選択モダリティをブロック2204に報告するようにコンピュータ58を構成する。報告ブロック2304の後または判定ブロック2306の後、いずれの場合も、制御フローはブロック2206に戻る。
図23から、異なるユーザ選択が、手術システム10を使用する手術処置の実行中の異なるポイントで起こり得ることが理解されよう。さらに理解されるように、サブプロセス2300は、手術処置の間にサイクルを続け、ユーザ入力の変化を継続的にチェックする。従って、プロセス2300は、手術処置中の異なる時間における異なる画像モダリティの中から選択することができる。
図24は、いくつかの実施形態による手術システムAAのビューア31内に表示される例示的なモダリティ選択ユーザインタフェースUI2402を示す、例示的な図である。例示的なモダリティ選択UIディスプレイは、左欄でモダリティの選択を提供し、ユーザのモダリティ選択を示すために右欄にユーザ入力を受信する。いくつかの実施形態では、ユーザは、制御入力部36を使用して選択を行う。例示のモダリティ選択では、ユーザはNBIモダリティと蛍光モダリティを選択した。図23の判定ブロック2302は、図24のモダリティ選択UIディスプレイを使用してユーザがいずれかのモダリティ選択をした場合にどうするかを決定するようにコンピュータを構成する。
図25A-25Cは、いくつかの実施形態による二次元アイトラッキング(図25A-25B)および詳細なアイトラッキング(図25C)を示す例示的な図である。ユーザがビューア31をのぞき込むところの近くに配置されたアイセンサ47は、ユーザの眼の動きを追跡する。図25Aを参照すると、フルスクリーン表示は、クリアなモダリティのような第1のモダリティ画像2500を有し、解剖学的構造2502を表示し、ユーザの目2508が注視する第1の領域2506の近くに中心を置かれたHSIのような第2のモダリティを有する第1のステッチイン(stitched-in)部分2504を有する。図25Bを参照すると、解剖学的構造2502を表示する第1のモダリティ画像2500を有するフルスクリーン表示は、ユーザの目2508が注視する第2の領域2556の近くに中心を置かれた第2のモダリティを有する第2のステッチイン部分2552を有する。いくつかの実施形態によれば、少なくとも2秒間持続するユーザ注視は、ユーザの注視付近の領域にステッチイン部分を生成するためのオプションをトリガするために必要とされる。
画像のシャープネスおよび画像に含まれる詳細な情報のためにHSIモダリティ画像が望ましいことが理解されよう。しかし、HSI画像は、典型的には、生成するためにかなりの処理能力を必要とする。ユーザが注視するディスプレイのその部分のみに対してHSIモダリティ画像を生成することは、処理要件を低減し、全体的な画像処理効率を高めることができる。いくつかの実施形態では、制御入力部は、平面的なアイトラッキング動作モードを選択するように作動することができる。判定ブロック2306は、ユーザがいずれかの平面アイトラッキング選択を行う場合にどうするかを決定するようにコンピュータを構成する。
図25Cを参照すると、スクリーンディスプレイは、ディスプレイに示される解剖学的構造のCT深さスライスのスタックに隣接する解剖学的構造2502を示す。ユーザの注視は、第1の深さ2582に焦点を合わせて示される。ユーザの注視はまた、第2の深さ2584に焦点を合わせて示される。第1の深さ2582に対応する第1のCTスライス2592は、第1の深さ2582におけるユーザの注視に応答して解剖学的構造2502を示すスクリーンディスプレイ2500上にオーバーレイされる。第2の深さ2584に対応する第2のCTスライス2594は、ユーザの第2の注視に応答して解剖学的構造2502を示すスクリーンディスプレイ2500上にオーバーレイされる。いくつかの実施形態によれば、少なくとも2秒間持続するユーザ注視は、ユーザの注視の深さにおけるオーバーレイされたCTスライスの生成をトリガするために必要とされる。いくつかの実施形態では、制御入力部が、深さアイトラッキング動作モードを選択するように作動することができる。判定ブロック2306は、ユーザがいずれかの深さアイトラッキング選択を行う場合にどうするかを決定するようにコンピュータを構成する。
図26は、いくつかの実施形態によるマルチモダリティ表示フォーマットを選択するためのサブプロセス2600の詳細を表す例示的なフロー図である。サブプロセス2300は、手術システム10を参照して説明される。いくつかの実施形態では、サブプロセス2300は、図11のフォーマット選択ブロック2106を実施する。判定ブロック2602は、複数のモダリティが選択されているかどうかを判定するようにコンピュータ58を構成する。複数のモダリティが選択されないという判定に応答して、制御は、判定ブロック2602に戻る。複数のモダリティが選択されるとの判定に応答して、判定ブロック2604は、ユーザがユーザ選択フォーマットを指定するかどうかを判定する。ユーザがユーザ選択フォーマットを指定するとの判定に応答して、ブロック2606は、ユーザ選択フォーマットをブロック2108に報告し、制御は次に判定モジュール2602に戻る。ユーザがユーザ選択フォーマット優先度を指定していないという判定に応答して、ブロック2608は、ブロック2108にプリセットフォーマット優先度を報告し、制御は次に判定ブロック202に戻る。
図26から、ユーザは、手術システム10を使用する手術処置の実行中の異なるポイントで異なるフォーマットおよびフォーマットの優先度を指定できることが理解されよう。さらに理解されるように、サブプロセス2600は、手術処置の間にサイクルを続け、ユーザフォーマット選択における変化を継続的にチェックする。従って、プロセス2600は、手術処置中の異なる時間に、異なるモダリティフォーマットの中から選択することができる。
図27は、いくつかの実施形態による手術システムAAのビューア31内に表示される例示的なフォーマット選択ユーザインタフェースUI2702を示す例示的な図である。例示的なフォーマット選択UI2702は、モダリティを左欄に表にし、ユーザのプレゼンテーション優先度選択を示すためにユーザ入力を中間および右欄に受信するプレゼンテーション優先度選択2704を提供する。例示優先度選択2706において、ユーザは、プライマリのプレゼンテーションのためにクリアとNBIの両方を選択し、これは、いくつかの実施形態においてフルスクリーンであり、挿入プレゼンテーション(ステッチ、PiPまたは注釈)のために、ラマン、蛍光およびHSIを選択した。NBIとクリアのx1とx2の指定は、それぞれ、NBIがより高い優先度を有するNBIとクリアとの間のような例示の優先度付けを示している。例えば、例示の優先度付けによれば、NBIモダリティが存在する場合、NBIモダリティはプライマリであるが、NBIが存在しない場合、クリアモダリティがプライマリである。例示的なフォーマット選択UI2702はまた、プレゼンテーションスタイル(ステッチ、PiPまたは注釈)を左欄にリストし、ユーザのプレゼンテーションスタイル選択を示すためにユーザ入力を右欄に受信するプレゼンテーションスタイル選択2706を提供する。例示のスタイル選択2706では、ユーザはPiPを選択した。従って、例示のユーザフォーマット選択では、NBIはプライマリとして提示され、ラマン、蛍光及びHSIのうちの1つまたは複数はNBIスクリーン内のPiPに提示される。図26の判定ブロック2608は、図27のフォーマット選択UI表示を使用して、ユーザがいずれかのフォーマット優先順位選択を行う場合にどうするかを決定するようにコンピュータを構成する。
図28は、いくつかの実施形態による手術ステージ情報および対応する手術ステージルールが、表示モダリティを共に示しているかどうかを判定するサブプロセス2800の詳細を表す例示的なフロー図である。サブプロセス2800は、手術システム10を参照して説明される。いくつかの実施形態では、サブプロセス2800は、図22の判定ブロック2208を実施する。ブロック2802は、システム作動状態および手術器具の運動学などの手術ステージ情報を受信するようにコンピュータ58を構成する。いくつかの実施形態では、手術ステージ情報は、例えば、患者の健康記録情報などの追加情報および経験レベルなどの外科医情報を含むことができる。ブロック2804は、手術処置のための手術ステージルールを受信するようにコンピュータを構成する。ブロック2806は、受信された手術ステージ情報が表示モダリティに一致することをルールが示すかどうかを決定するために、受信された手術ステージ情報に受信された手術ステージルールを適用するようにコンピュータを構成する。ブロック2808は、表示モダリティが該当する場合、表示モダリティを報告するようにコンピュータを構成する。
図29は、いくつかの実施形態によるコンピュータシステム58内の記憶デバイスに記憶された手術ステージおよび対応するモダリティを含む例示的な情報構造2902を表す例示的な図である。それぞれの外科ステージ識別特性はそれぞれの表示モダリティに対応する。いくつかの実施形態によれば、手術ステージ識別特性と密接に一致する手術ステージ情報の手術ステムを使用する手術中の発生は、手術システムが一致する手術ステージベクトルに対応する表示モダリティを使用するべきであることを示すことができる。いくつかの実施形態によれば、機械学習技術を、手術情報アトラス902内に記憶された情報に基づいて、手術ステージ識別特性を生成するために使用することができる。より具体的には、例えば、分類器(classifiers)を、手術ステージ識別特性を画像モダリティと相関させるために専門家の知識と共に使用することができる。各手術ステージ識別特性(SigSS)は、多次元ベクトルを含む。ベクトルは、画像モダリティに対応する手術ステージの属性を示すベクトル値を含む。いくつかの実施形態では、手術システム識別特性は、記録されたシステム状態情報および多数の異なる手術システムを使用する多数の手術処置について記録される記録された手術器具の運動学的情報に基づいて生成される。いくつかの実施態様では、例えば、手術器具の運動学的運動は、例えば、瞬間速度、瞬間加速度、瞬間三次元ポジション、現在の運動経路及び予測された運動経路などの運動学的特徴を表す多重ベクトル成分に分解される。さらに、いくつかの実施態様では、手術ステージ識別特性の決定に重要な器具の運動および位置だけでなく、器具に対する解剖学的構造の物理的位置、他の器具の物理的位置、患者の健康および手術の性質などのコンテキスト(context)情報も運動学的情報の解釈に関係する。さらに、以前の器具の動きは、どの画像モダリティが特定の手術ステージ識別特性に対応しているかのような、手術ステージ識別特性の決定に関係し得る。従って、いくつかの実施態様では、手術ステージ識別特性はまた、例えば、解剖学的構造の位置、他の器具の位置、患者の健康、手術の種類、医師の経験レベルおよび器具の以前の動きを示すベクトルを含むことができる。
再び図28を参照すると、ブロック2806は、受信された手術ステージ情報と、受信された手術ステージ情報に対応する表示モダリティを使用するためのレポートをトリガするための手術ステージ識別特性との間に十分な一致があるかどうかを決定するために、ルールとして作用する手術ステージ識別特性と、受信された手術ステージ情報との間に相関を実行する。機械学習の実施形態では、一致は、受信された器具の運動学とシステム状態情報等との間の類似性の範囲、および手術状態識別特性によって表されるルールに基づいて決定されることが理解されよう。従って、いくつかの実施形態では、例えば、特定のルールからある閾値距離内にある手術ステージ情報は、対応する表示モダリティの選択をトリガするそのルールに一致するように決定される。
図30は、いくつかの実施形態による画像モダリティ部分を生成するためのサブプロセス3000の詳細を表す例示的なフロー図である。サブプロセス3000は、手術システム10を参照して説明される。いくつかの実施形態では、サブプロセス3000は、図22のブロック2204および2210を実施する。ブロック3002は、手術システムを使用して実行される手術のための選択された画像モダリティのためにカメラ528を使用して取り込まれた画像情報を受信するようにコンピュータを構成する。受信された画像情報は、例えば、解剖学的構造位置、マージン評価および機能情報を含むことができる。いくつかの実施形態では、画像情報は、例えば、患者の健康記録情報などの追加情報および経験レベルなどの外科医情報を伴うことができる。ブロック3004は、画像モダリティルールを受信するようにコンピュータを構成する。ブロック3005は、受信された画像情報および受信されたルールに対応する画像モダリティを識別する情報を受信するようにコンピュータシステムを構成する。ブロック3006は、外科医にとって最も関心が高い可能性があり、従って、重要な部分を特徴付けるのに適切な場合に、別の画像に挿入するために選択されるべきである画像モダリティの一部を識別するために、受信した画像モダリティルールを受信した画像情報に適用するようにコンピュータを構成する。ブロック3008は、対応する部分が識別された場合、その部分を報告するようにコンピュータを構成する。
サブプロセス3000は、手術処置を実行する手術システム10によって現在使用されている各画像モダリティに対して別々に実行されることが理解されるであろう。より詳しくは、例えば、NBIおよびラマン分光画像モダリティのみが現在使用されている場合、サブプロセス3000は、NBI画像情報およびNBIルール、ならびにラマン画像情報およびラマンルールに対して別々に実行される。さらに、全体的なシーンの異なる部分が、異なる画像モダリティに対して識別され得ることが理解されるであろう。例えば、NBIモダリティは血管を識別するのに優れ得るとともに、ラマンモダリティは腫瘍の識別に優れ得る。
図31は、いくつかの実施形態による、コンピュータシステム58内の記憶デバイスに記憶された画像識別特性と対応する注釈とを含む例示的な情報構造3102を表す例示的な図である。それぞれの画像識別特性は、例えば、手術中に外科医に特に関心がある可能性がある血管または腫瘍などのそれぞれの解剖学的構造に対応する。注釈は、注釈に関連する画像識別特性に密接に一致する手術中に生成された手術画像の潜在的関連性の説明を提供することができる。画像識別特性に一致する画像モダリティ情報の一部は、ビューア31内に表示された全体的な手術シーンに(例えば、ステッチ、PiPまたは注釈を介して)挿入するように選択される。
いくつかの実施形態によれば、機械学習技術を手術情報アトラス902内に記憶された情報に基づいて画像識別特性を生成するために使用することができる。より具体的には、例えば、分類器を、画像識別特性を画像モダリティと相関させるための専門家の知識と共に使用することができる。各画像識別特性(SigIM)は、多次元ベクトルを含む。ベクトルは、解剖学的構造を示す値を含む。いくつかの実施形態において、画像識別特性は、解剖学的構造の形状、スペクトル識別特性(spectral signature)、深さおよび画像モダリティで取り込まれた色情報の分析などの因子に基づいて生成される。異なる画像モダリティが異なる解剖学的構造の画像を取り込むのに適していることが理解されるであろう。
再び図30を参照すると、ブロック3006は、受信された画像情報に対応する画像の一部を使用するためにレポートをトリガするよう受信された画像情報と画像特徴との間に十分に近い一致が存在するかどうかを判定するために、ルールとして作用する画像識別特性と受信された画像情報との間の相関を実行する。機械学習の実施形態では、一致は、受信された画像情報と画像識別特性によって表されるルールとの間の類似性の範囲に基づいて判定されることが理解されるであろう。従って、例えば、いくつかの実施形態では、特定のルールからある閾値距離内にある画像情報は、別の画像内に表示するための画像の対応する部分の選択をトリガするそのルールに一致すると判定される。
例示的な実施形態が示され説明されているが、前述の開示では広範囲の修正、変更および置換が企図されており、いくつかの例では、実施形態のいくつかの特徴を、他の特徴の対応する使用なしに使用することができる。当業者は、多くの変形、代替、および修正を認識するであろう。従って、本開示の範囲は、以下の特許請求の範囲によってのみ限定されるべきであり、特許請求の範囲は、本明細書に開示される実施形態の範囲と一致する方法で、広く解釈されるのが適切である。
次の付記を記す。
(付記1) 手術シーンのマルチモダリティ画像を生成するための方法であって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
前記第2のモダリティ画像の部分を選択するステップであって、前記第2のモダリティ画像の選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記第2のモダリティ画像の部分を選択するステップと;
前記手術シーンの前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の前記選択された部分を表示内に同時に生成するために前記第1の画像情報および前記第2の画像情報を使用するようにコンピュータを構成するステップと;
を含む、
方法。
(付記2) 前記モダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された画像識別特性情報と比較するステップを含む、
付記1に記載の方法。
(付記3) 前記モダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された複数の画像識別特性と比較するステップを含む、
付記1に記載の方法。
(付記4) 前記構成するステップは、前記第2のモダリティ画像の前記選択された部分を前記第1のモダリティ画像の中に前記第1のモダリティ画像の対応する部分の代わりにステッチするように前記コンピュータを構成するステップを含む、
付記1に記載の方法。
(付記5) 前記構成するステップは、前記表示内に同時に、前記第2のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第1のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記1に記載の方法。
(付記6) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は強調画像を含む;
付記1に記載の方法。
(付記7) 前記第1のモダリティ画像は強調画像を含み;
前記第2のモダリティ画像は強調画像を含む;
付記1に記載の方法。
(付記8) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は狭帯域画像を含む;
付記1に記載の方法。
(付記9) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像はラマン分光画像を含む;
付記1に記載の方法。
(付記10) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は蛍光画像を含む;
付記1に記載の方法。
(付記11) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像はハイパースペクトル画像を含む;
付記1に記載の方法。
(付記12) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は光コヒーレンストモグラフィ画像を含む;
付記1に記載の方法。
(付記13) 前記コンピュータにおいてフォーマット選択を受信するステップをさらに含み;
前記構成するステップは、前記手術シーンの前記第1のモダリティ画像の前記少なくとも一部および前記第2のモダリティ画像の前記選択された部分を、選択された前記フォーマットで前記表示内に同時に生成するよう前記コンピュータを構成するステップを含む;
付記1に記載の方法。
(付記14) 手術シーンのマルチモダリティ画像を生成する方法であって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1の強調モダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2の強調モダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
前記第1及び前記第2のモダリティ画像の一方をプライマリとして指定し且つ前記第1及び前記第2のモダリティ画像の他方をインサートとして指定するフォーマット選択をコンピュータで受信するステップと;
前記インサートとして指定される前記モダリティ画像の部分を選択するステップであって、前記インサートとして指定された前記モダリティ画像の選択された前記部分の中に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記インサートとして指定される前記モダリティ画像の部分を選択するステップと;
前記プライマリとして指定された前記モダリティ画像の少なくとも一部および前記インサートとして指定された前記モダリティ画像の前記選択された部分を表示内に同時に生成するように前記第1の画像情報および前記第2の画像情報を使用するよう前記コンピュータを構成するステップと;
を含む、
方法。
(付記15) 前記構成するステップは、前記インサートとして指定された前記モダリティ画像の前記選択された部分を、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の中に、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の対応する部分の代わりにステッチするように構成するステップを含む、
付記14に記載の方法。
(付記16) 前記構成するステップは、前記表示内に同時に、前記インサートとして指定された前記モダリティ画像の前記選択された部分の縮小したサイズの画像および前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部を含めるように構成するステップを含む、
付記14に記載の方法。
(付記17) 手術シーンのマルチモダリティ画像を生成する方法であって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
表示内のユーザの眼の焦点位置を追跡するステップと;
前記表示内の前記の追跡されたユーザの眼の焦点に少なくとも部分的に基づいて前記第2のモダリティ画像の部分を選択するステップと;
前記手術シーンの前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の前記選択された部分を前記表示内に同時に生成するように前記第1の画像情報および前記第2の画像情報を使用するようコンピュータを構成するステップと;
を含む、
方法。
(付記18) 前記第2のモダリティ画像はハイパースペクトル画像を含む、
付記17に記載の方法。
(付記19) 前記構成するステップは、前記第2のモダリティ画像の前記選択された部分を前記第1のモダリティ画像の中に前記第1のモダリティ画像の対応する部分の代わりにステッチするよう前記コンピュータを構成するステップを含む、
付記17に記載の方法。
(付記20) 前記構成するステップは、前記表示内に同時に、前記第2のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第1のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記17に記載の方法。
(付記21) 手術シーンのマルチモダリティ画像を生成する方法であって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
手術処置の過程で手術ステージを追跡するステップと;
前記の追跡された手術ステージに少なくとも部分的に基づいてモダリティ画像フォーマットを選択するステップと;
前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の少なくとも一部を表示内に前記の選択されたフォーマットで生成するように前記第1の画像情報および前記第2の画像情報を使用するようコンピュータを構成するステップと;
を含む、
方法。
(付記22) 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された手術ステージ識別特性情報と比較するステップを含む、
付記21に記載の方法。
(付記23) 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された複数の手術ステージ識別特性情報と比較するステップを含む、
付記22に記載の方法。
(付記24) 手術シーンのマルチモダリティ画像を生成するシステムであって:
プロセッサと;
メモリデバイスであって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
前記第2のモダリティ画像の部分を選択するステップであって、前記第2のモダリティ画像の選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記第2のモダリティ画像の部分を選択するステップと;
前記手術シーンの前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の前記選択された部分を表示内に同時に生成するために前記第1の画像情報および前記第2の画像情報を使用するようにコンピュータを構成するステップと;
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと;
を有する、
システム。
(付記25) 前記モダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された画像識別特性情報と比較するステップを含む、
付記24に記載のシステム。
(付記26) 前記モダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された複数の画像識別特性と比較するステップを含む、
付記24に記載のシステム。
(付記27) 前記構成するステップは、前記第2のモダリティ画像の前記選択された部分を前記第1のモダリティ画像の中に前記第1のモダリティ画像の対応する部分の代わりにステッチするように前記コンピュータを構成するステップを含む、
付記24に記載のシステム。
(付記28) 前記構成するステップは、前記表示内に同時に、前記第2のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第1のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記24に記載のシステム。
(付記29) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は強調画像を含む;
付記24に記載のシステム。
(付記30) 前記第1のモダリティ画像は強調画像を含み;
前記第2のモダリティ画像は強調画像を含む;
付記24に記載のシステム。
(付記31) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は狭帯域画像を含む;
付記24に記載のシステム。
(付記32) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像はラマン分光画像を含む;
付記24に記載のシステム。
(付記33) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は蛍光画像を含む;
付記24に記載のシステム。
(付記34) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像はハイパースペクトル画像を含む;
付記24に記載のシステム。
(付記35) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は光コヒーレンストモグラフィ画像を含む;
付記24に記載のシステム。
(付記36) 前記コンピュータにおいてフォーマット選択を受信するステップをさらに含み;
前記構成するステップは、前記手術シーンの前記第1のモダリティ画像の前記少なくとも一部および前記第2のモダリティ画像の前記選択された部分を、選択された前記フォーマットで前記表示内に同時に生成するよう前記コンピュータを構成するステップを含む;
付記24に記載のシステム。
(付記37) 手術シーンのマルチモダリティ画像を生成するシステムであって:
プロセッサと;
メモリデバイスであって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1の強調モダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2の強調モダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
前記第1及び前記第2のモダリティ画像の一方をプライマリとして指定し且つ前記第1及び前記第2のモダリティ画像の他方をインサートとして指定するフォーマット選択を前記コンピュータで受信するステップと;
前記インサートとして指定される前記モダリティ画像の部分を選択するステップであって、前記インサートとして指定された前記モダリティ画像の選択された前記部分の中に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記インサートとして指定される前記モダリティ画像の部分を選択するステップと;
前記プライマリとして指定された前記モダリティ画像の少なくとも一部および前記インサートとして指定された前記モダリティ画像の前記選択された部分を表示内に同時に生成するように前記第1の画像情報および前記第2の画像情報を使用するよう前記コンピュータを構成するステップと;
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと;
を有する、
システム。
(付記38) 前記構成するステップは、前記インサートとして指定された前記モダリティ画像の前記選択された部分を、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の中に、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の対応する部分の代わりにステッチするように構成するステップを含む、
付記37に記載のシステム。
(付記39) 前記構成するステップは、前記表示内に同時に、前記インサートとして指定された前記モダリティ画像の前記選択された部分の縮小したサイズの画像および前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部を含めるように構成するステップを含む、
付記37に記載のシステム。
(付記40) 手術シーンのマルチモダリティ画像を生成するシステムであって:
プロセッサと;
メモリデバイスであって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
表示内のユーザの眼の焦点位置を追跡するステップと;
前記表示内の前記の追跡されたユーザの眼の焦点に少なくとも部分的に基づいて前記第2のモダリティ画像の部分を選択するステップと;
前記手術シーンの前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の前記選択された部分を前記表示内に同時に生成するように前記第1の画像情報および前記第2の画像情報を使用するようコンピュータを構成するステップと;
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと;
を有する、
システム。
(付記41) 前記第2のモダリティ画像はハイパースペクトル画像を含む、
付記40に記載のシステム。
(付記42) 前記構成するステップは、前記第2のモダリティ画像の前記選択された部分を前記第1のモダリティ画像の中に前記第1のモダリティ画像の対応する部分の代わりにステッチするよう前記コンピュータを構成するステップを含む、
付記40に記載のシステム。
(付記43) 前記構成するステップは、前記表示内に同時に、前記第2のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第1のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記40に記載のシステム。
(付記44) 手術シーンのマルチモダリティ画像を生成するシステムであって:
プロセッサと;
メモリデバイスであって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
手術処置の過程で手術ステージを追跡するステップと;
前記の追跡された手術ステージに少なくとも部分的に基づいてモダリティ画像フォーマットを選択するステップと;
前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の少なくとも一部を表示内に前記の選択されたフォーマットで生成するように前記第1の画像情報および前記第2の画像情報を使用するようコンピュータを構成するステップと;
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと;
を有する、
システム。
(付記45) 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された手術ステージ識別特性情報と比較するステップを含む、
付記44に記載のシステム。
(付記46) 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された複数の手術ステージ識別特性情報と比較するステップを含む、
付記44に記載のシステム。
(付記1) 手術シーンのマルチモダリティ画像を生成するための方法であって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
前記第2のモダリティ画像の部分を選択するステップであって、前記第2のモダリティ画像の選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記第2のモダリティ画像の部分を選択するステップと;
前記手術シーンの前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の前記選択された部分を表示内に同時に生成するために前記第1の画像情報および前記第2の画像情報を使用するようにコンピュータを構成するステップと;
を含む、
方法。
(付記2) 前記モダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された画像識別特性情報と比較するステップを含む、
付記1に記載の方法。
(付記3) 前記モダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された複数の画像識別特性と比較するステップを含む、
付記1に記載の方法。
(付記4) 前記構成するステップは、前記第2のモダリティ画像の前記選択された部分を前記第1のモダリティ画像の中に前記第1のモダリティ画像の対応する部分の代わりにステッチするように前記コンピュータを構成するステップを含む、
付記1に記載の方法。
(付記5) 前記構成するステップは、前記表示内に同時に、前記第2のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第1のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記1に記載の方法。
(付記6) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は強調画像を含む;
付記1に記載の方法。
(付記7) 前記第1のモダリティ画像は強調画像を含み;
前記第2のモダリティ画像は強調画像を含む;
付記1に記載の方法。
(付記8) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は狭帯域画像を含む;
付記1に記載の方法。
(付記9) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像はラマン分光画像を含む;
付記1に記載の方法。
(付記10) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は蛍光画像を含む;
付記1に記載の方法。
(付記11) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像はハイパースペクトル画像を含む;
付記1に記載の方法。
(付記12) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は光コヒーレンストモグラフィ画像を含む;
付記1に記載の方法。
(付記13) 前記コンピュータにおいてフォーマット選択を受信するステップをさらに含み;
前記構成するステップは、前記手術シーンの前記第1のモダリティ画像の前記少なくとも一部および前記第2のモダリティ画像の前記選択された部分を、選択された前記フォーマットで前記表示内に同時に生成するよう前記コンピュータを構成するステップを含む;
付記1に記載の方法。
(付記14) 手術シーンのマルチモダリティ画像を生成する方法であって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1の強調モダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2の強調モダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
前記第1及び前記第2のモダリティ画像の一方をプライマリとして指定し且つ前記第1及び前記第2のモダリティ画像の他方をインサートとして指定するフォーマット選択をコンピュータで受信するステップと;
前記インサートとして指定される前記モダリティ画像の部分を選択するステップであって、前記インサートとして指定された前記モダリティ画像の選択された前記部分の中に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記インサートとして指定される前記モダリティ画像の部分を選択するステップと;
前記プライマリとして指定された前記モダリティ画像の少なくとも一部および前記インサートとして指定された前記モダリティ画像の前記選択された部分を表示内に同時に生成するように前記第1の画像情報および前記第2の画像情報を使用するよう前記コンピュータを構成するステップと;
を含む、
方法。
(付記15) 前記構成するステップは、前記インサートとして指定された前記モダリティ画像の前記選択された部分を、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の中に、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の対応する部分の代わりにステッチするように構成するステップを含む、
付記14に記載の方法。
(付記16) 前記構成するステップは、前記表示内に同時に、前記インサートとして指定された前記モダリティ画像の前記選択された部分の縮小したサイズの画像および前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部を含めるように構成するステップを含む、
付記14に記載の方法。
(付記17) 手術シーンのマルチモダリティ画像を生成する方法であって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
表示内のユーザの眼の焦点位置を追跡するステップと;
前記表示内の前記の追跡されたユーザの眼の焦点に少なくとも部分的に基づいて前記第2のモダリティ画像の部分を選択するステップと;
前記手術シーンの前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の前記選択された部分を前記表示内に同時に生成するように前記第1の画像情報および前記第2の画像情報を使用するようコンピュータを構成するステップと;
を含む、
方法。
(付記18) 前記第2のモダリティ画像はハイパースペクトル画像を含む、
付記17に記載の方法。
(付記19) 前記構成するステップは、前記第2のモダリティ画像の前記選択された部分を前記第1のモダリティ画像の中に前記第1のモダリティ画像の対応する部分の代わりにステッチするよう前記コンピュータを構成するステップを含む、
付記17に記載の方法。
(付記20) 前記構成するステップは、前記表示内に同時に、前記第2のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第1のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記17に記載の方法。
(付記21) 手術シーンのマルチモダリティ画像を生成する方法であって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
手術処置の過程で手術ステージを追跡するステップと;
前記の追跡された手術ステージに少なくとも部分的に基づいてモダリティ画像フォーマットを選択するステップと;
前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の少なくとも一部を表示内に前記の選択されたフォーマットで生成するように前記第1の画像情報および前記第2の画像情報を使用するようコンピュータを構成するステップと;
を含む、
方法。
(付記22) 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された手術ステージ識別特性情報と比較するステップを含む、
付記21に記載の方法。
(付記23) 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された複数の手術ステージ識別特性情報と比較するステップを含む、
付記22に記載の方法。
(付記24) 手術シーンのマルチモダリティ画像を生成するシステムであって:
プロセッサと;
メモリデバイスであって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
前記第2のモダリティ画像の部分を選択するステップであって、前記第2のモダリティ画像の選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記第2のモダリティ画像の部分を選択するステップと;
前記手術シーンの前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の前記選択された部分を表示内に同時に生成するために前記第1の画像情報および前記第2の画像情報を使用するようにコンピュータを構成するステップと;
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと;
を有する、
システム。
(付記25) 前記モダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された画像識別特性情報と比較するステップを含む、
付記24に記載のシステム。
(付記26) 前記モダリティ画像の前記部分を選択するステップは、前記第2の画像情報を、非一時的記憶デバイス内に記憶された複数の画像識別特性と比較するステップを含む、
付記24に記載のシステム。
(付記27) 前記構成するステップは、前記第2のモダリティ画像の前記選択された部分を前記第1のモダリティ画像の中に前記第1のモダリティ画像の対応する部分の代わりにステッチするように前記コンピュータを構成するステップを含む、
付記24に記載のシステム。
(付記28) 前記構成するステップは、前記表示内に同時に、前記第2のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第1のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記24に記載のシステム。
(付記29) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は強調画像を含む;
付記24に記載のシステム。
(付記30) 前記第1のモダリティ画像は強調画像を含み;
前記第2のモダリティ画像は強調画像を含む;
付記24に記載のシステム。
(付記31) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は狭帯域画像を含む;
付記24に記載のシステム。
(付記32) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像はラマン分光画像を含む;
付記24に記載のシステム。
(付記33) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は蛍光画像を含む;
付記24に記載のシステム。
(付記34) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像はハイパースペクトル画像を含む;
付記24に記載のシステム。
(付記35) 前記第1のモダリティ画像はクリア画像を含み;
前記第2のモダリティ画像は光コヒーレンストモグラフィ画像を含む;
付記24に記載のシステム。
(付記36) 前記コンピュータにおいてフォーマット選択を受信するステップをさらに含み;
前記構成するステップは、前記手術シーンの前記第1のモダリティ画像の前記少なくとも一部および前記第2のモダリティ画像の前記選択された部分を、選択された前記フォーマットで前記表示内に同時に生成するよう前記コンピュータを構成するステップを含む;
付記24に記載のシステム。
(付記37) 手術シーンのマルチモダリティ画像を生成するシステムであって:
プロセッサと;
メモリデバイスであって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1の強調モダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2の強調モダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
前記第1及び前記第2のモダリティ画像の一方をプライマリとして指定し且つ前記第1及び前記第2のモダリティ画像の他方をインサートとして指定するフォーマット選択を前記コンピュータで受信するステップと;
前記インサートとして指定される前記モダリティ画像の部分を選択するステップであって、前記インサートとして指定された前記モダリティ画像の選択された前記部分の中に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記インサートとして指定される前記モダリティ画像の部分を選択するステップと;
前記プライマリとして指定された前記モダリティ画像の少なくとも一部および前記インサートとして指定された前記モダリティ画像の前記選択された部分を表示内に同時に生成するように前記第1の画像情報および前記第2の画像情報を使用するよう前記コンピュータを構成するステップと;
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと;
を有する、
システム。
(付記38) 前記構成するステップは、前記インサートとして指定された前記モダリティ画像の前記選択された部分を、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の中に、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の対応する部分の代わりにステッチするように構成するステップを含む、
付記37に記載のシステム。
(付記39) 前記構成するステップは、前記表示内に同時に、前記インサートとして指定された前記モダリティ画像の前記選択された部分の縮小したサイズの画像および前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部を含めるように構成するステップを含む、
付記37に記載のシステム。
(付記40) 手術シーンのマルチモダリティ画像を生成するシステムであって:
プロセッサと;
メモリデバイスであって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
表示内のユーザの眼の焦点位置を追跡するステップと;
前記表示内の前記の追跡されたユーザの眼の焦点に少なくとも部分的に基づいて前記第2のモダリティ画像の部分を選択するステップと;
前記手術シーンの前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の前記選択された部分を前記表示内に同時に生成するように前記第1の画像情報および前記第2の画像情報を使用するようコンピュータを構成するステップと;
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと;
を有する、
システム。
(付記41) 前記第2のモダリティ画像はハイパースペクトル画像を含む、
付記40に記載のシステム。
(付記42) 前記構成するステップは、前記第2のモダリティ画像の前記選択された部分を前記第1のモダリティ画像の中に前記第1のモダリティ画像の対応する部分の代わりにステッチするよう前記コンピュータを構成するステップを含む、
付記40に記載のシステム。
(付記43) 前記構成するステップは、前記表示内に同時に、前記第2のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第1のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記40に記載のシステム。
(付記44) 手術シーンのマルチモダリティ画像を生成するシステムであって:
プロセッサと;
メモリデバイスであって:
前記手術シーンから反射された光を取り込むように少なくとも1つのカメラを使用するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第1のモダリティ画像に対応する第1の画像情報を非一時的記憶デバイス内に生成するステップと;
前記少なくとも1つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第2のモダリティ画像に対応する第2の画像情報を非一時的記憶デバイス内に生成するステップと;
手術処置の過程で手術ステージを追跡するステップと;
前記の追跡された手術ステージに少なくとも部分的に基づいてモダリティ画像フォーマットを選択するステップと;
前記第1のモダリティ画像の少なくとも一部および前記第2のモダリティ画像の少なくとも一部を表示内に前記の選択されたフォーマットで生成するように前記第1の画像情報および前記第2の画像情報を使用するようコンピュータを構成するステップと;
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと;
を有する、
システム。
(付記45) 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された手術ステージ識別特性情報と比較するステップを含む、
付記44に記載のシステム。
(付記46) 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された複数の手術ステージ識別特性情報と比較するステップを含む、
付記44に記載のシステム。
Claims (18)
- メモリに結合された1つ又は複数のプロセッサであって:
手術シーンの第1のモダリティ画像及び前記手術シーンの第2のモダリティ画像を受信し;
前記手術シーンに関連付けられた手術ステージ情報を受信し;
前記手術ステージ情報に基づいて表示モダリティを選択し;
ディスプレイに、選択された前記表示モダリティに基づいて、前記手術シーンの前記第1のモダリティ画像の少なくとも一部及び前記手術シーンの前記第2のモダリティ画像の少なくとも一部を同時に提示する;
ように構成された1つ又は複数のプロセッサ、を有する、
手術システム。 - 前記手術ステージ情報は、システム作動状態を含む、
請求項1に記載の手術システム。 - 前記手術ステージ情報は、手術器具の運動学的情報を含む、
請求項1に記載の手術システム。 - 前記1つ又は複数のプロセッサはさらに、前記第2のモダリティ画像内に含まれる解剖学的構造の情報に少なくとも部分的に基づいて前記第2のモダリティ画像の前記少なくとも一部を選択するように構成される、
請求項1に記載の手術システム。 - 前記1つ又は複数のプロセッサはさらに、前記手術ステージ情報が画像選択ルールに一致することに応答して前記第2のモダリティ画像の前記少なくとも一部を選択するように構成される、
請求項1に記載の手術システム。 - 前記1つ又は複数のプロセッサはさらに、前記手術ステージ情報が手術ステージルールに一致することに応答して前記表示モダリティを選択するように構成される、
請求項1に記載の手術システム。 - 前記1つ又は複数のプロセッサはさらに、前記手術ステージ情報に少なくとも部分的に基づいて手術ステージ識別特性を生成するために機械学習を使用するように構成される、
請求項1に記載の手術システム。 - 前記1つ又は複数のプロセッサはさらに、前記手術ステージ識別特性に対応する前記表示モダリティを選択するように構成される、
請求項7に記載の手術システム。 - メモリに結合された1つ又は複数のプロセッサであって:
1つ又は複数の以前の手術処置中の1つ又は複数の手術シーンの1つ又は複数の画像についての1つ又は複数の画像識別特性を識別し;
手術シーンの第1のモダリティ画像及び前記手術シーンの第2のモダリティ画像を受信し;
前記1つ又は複数の画像識別特性のうちの画像識別特性と前記第1のモダリティ画像又は前記第2のモダリティ画像との間の一致を識別し;
少なくとも前記画像識別特性によって表される1つ又は複数のルールに基づいて前記第1のモダリティ画像の一部又は前記第2のモダリティ画像の一部を選択し;
ディスプレイに、前記手術シーンの前記第1のモダリティ画像の前記一部及び前記手術シーンの前記第2のモダリティ画像の前記一部を同時に提示する;
ように構成された1つ又は複数のプロセッサ、を有する、
手術システム。 - 前記1つ又は複数のプロセッサはさらに、少なくとも前記1つ又は複数の画像に基づいて前記1つ又は複数の画像識別特性を生成するために機械学習を使用するように構成される、
請求項9に記載の手術システム。 - 前記1つ又は複数のプロセッサはさらに、前記1つ又は複数の画像識別特性のうちの前記画像識別特性と前記第1のモダリティ画像又は前記第2のモダリティ画像の少なくとも1つとの間の前記一致を識別するために機械学習を使用するように構成される、
請求項9に記載の手術システム。 - 前記1つ又は複数のプロセッサはさらに、手術ステージ情報を受信し、前記手術ステージ情報に対応する表示モダリティを選択するように構成される、
請求項9に記載の手術システム。 - 手術システムの1つ又は複数のプロセッサが、手術シーンの第1のモダリティ画像及び前記手術シーンの第2のモダリティ画像を受信するステップと;
前記1つ又は複数のプロセッサが、前記手術シーンに関連付けられた手術ステージ情報を受信するステップと;
前記1つ又は複数のプロセッサが、前記手術ステージ情報に基づいて表示モダリティを選択するステップと;
ディスプレイに、選択された前記表示モダリティに基づいて、前記手術シーンの前記第1のモダリティ画像の少なくとも一部及び前記手術シーンの前記第2のモダリティ画像の少なくとも一部を提示するステップと;
を含む、コンピュータに実装される方法。 - 前記手術ステージ情報は、システム作動状態又は手術器具の運動学的情報を含む、
請求項13に記載のコンピュータに実装される方法。 - 前記第1のモダリティ画像又は前記第2のモダリティ画像の少なくとも1つと、1つ又は複数の以前の手術処置の1つ又は複数の手術シーンについての1つ又は複数の画像識別特性のうちの画像識別特的との間の一致を識別するステップをさらに含む、
請求項13に記載のコンピュータに実装される方法。 - 前記1つ又は複数の画像識別特性のうちの前記画像識別特性と前記第1のモダリティ画像又は前記第2のモダリティ画像の少なくとも1つとの間の前記一致を識別するために機械学習を使用するステップをさらに含む、
請求項15に記載のコンピュータに実装される方法。 - 機械学習を使用して前記1つ又は複数の画像識別特性を生成するステップをさらに含む、
請求項15に記載のコンピュータに実装される方法。 - 少なくとも前記画像識別特性によって表される1つ又は複数のルールに基づいて少なくとも前記第1のモダリティ画像の前記一部又は前記第2のモダリティ画像の前記一部を選択するステップをさらに含む、
請求項15に記載のコンピュータに実装される方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662421095P | 2016-11-11 | 2016-11-11 | |
US62/421,095 | 2016-11-11 | ||
JP2019524396A JP7203724B2 (ja) | 2016-11-11 | 2017-11-10 | マルチモダリティ画像表示を備えた手術システム |
PCT/US2017/061151 WO2018089827A1 (en) | 2016-11-11 | 2017-11-10 | Surgical system with multi-modality image display |
JP2022209744A JP7436617B2 (ja) | 2016-11-11 | 2022-12-27 | マルチモダリティ画像表示を備えた手術システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022209744A Division JP7436617B2 (ja) | 2016-11-11 | 2022-12-27 | マルチモダリティ画像表示を備えた手術システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024052761A true JP2024052761A (ja) | 2024-04-12 |
Family
ID=62109314
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019524396A Active JP7203724B2 (ja) | 2016-11-11 | 2017-11-10 | マルチモダリティ画像表示を備えた手術システム |
JP2022209744A Active JP7436617B2 (ja) | 2016-11-11 | 2022-12-27 | マルチモダリティ画像表示を備えた手術システム |
JP2024017572A Pending JP2024052761A (ja) | 2016-11-11 | 2024-02-08 | マルチモダリティ画像表示を備えた手術システム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019524396A Active JP7203724B2 (ja) | 2016-11-11 | 2017-11-10 | マルチモダリティ画像表示を備えた手術システム |
JP2022209744A Active JP7436617B2 (ja) | 2016-11-11 | 2022-12-27 | マルチモダリティ画像表示を備えた手術システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20200188057A1 (ja) |
EP (1) | EP3538015A4 (ja) |
JP (3) | JP7203724B2 (ja) |
KR (2) | KR20230025936A (ja) |
CN (2) | CN109982657B (ja) |
WO (1) | WO2018089827A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210307830A1 (en) * | 2018-01-31 | 2021-10-07 | Transenterix Surgical, Inc. | Method and Apparatus for Providing Procedural Information Using Surface Mapping |
US11992373B2 (en) * | 2019-12-10 | 2024-05-28 | Globus Medical, Inc | Augmented reality headset with varied opacity for navigated robotic surgery |
CN111754553A (zh) * | 2020-06-24 | 2020-10-09 | 上海联影医疗科技有限公司 | 多模态扫描图像配准方法、装置、计算机设备和存储介质 |
US11830602B2 (en) | 2020-10-02 | 2023-11-28 | Cilag Gmbh International | Surgical hub having variable interconnectivity capabilities |
US11748924B2 (en) | 2020-10-02 | 2023-09-05 | Cilag Gmbh International | Tiered system display control based on capacity and user operation |
US11992372B2 (en) | 2020-10-02 | 2024-05-28 | Cilag Gmbh International | Cooperative surgical displays |
US20220104910A1 (en) * | 2020-10-02 | 2022-04-07 | Ethicon Llc | Monitoring of user visual gaze to control which display system displays the primary information |
US11877897B2 (en) | 2020-10-02 | 2024-01-23 | Cilag Gmbh International | Situational awareness of instruments location and individualization of users to control displays |
US11883022B2 (en) | 2020-10-02 | 2024-01-30 | Cilag Gmbh International | Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information |
US11963683B2 (en) | 2020-10-02 | 2024-04-23 | Cilag Gmbh International | Method for operating tiered operation modes in a surgical system |
US11672534B2 (en) | 2020-10-02 | 2023-06-13 | Cilag Gmbh International | Communication capability of a smart stapler |
CN112089404B (zh) * | 2020-10-10 | 2022-04-05 | 南京航空航天大学 | 一种内窥OCT-Raman双模成像装置及成像方法 |
CN112618155A (zh) * | 2020-12-17 | 2021-04-09 | 上海市普陀区中心医院 | 一种用于眼科激光手术的滤光防护结构 |
KR102624752B1 (ko) * | 2021-11-08 | 2024-01-11 | 연세대학교 산학협력단 | 치과용 광-ct 하이브리드 영상 시스템 및 방법 |
CN115639186A (zh) * | 2022-12-23 | 2023-01-24 | 南京诺源医疗器械有限公司 | 基于拉曼光谱的图像分析方法、装置、设备及介质 |
CN116389353B (zh) * | 2023-06-02 | 2023-08-08 | 成都瑞华康源科技有限公司 | 一种基于手术进程的术间视频自动化路由控制系统及方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3878259B2 (ja) * | 1996-11-13 | 2007-02-07 | 東芝医用システムエンジニアリング株式会社 | 医用画像処理装置 |
US20050033117A1 (en) * | 2003-06-02 | 2005-02-10 | Olympus Corporation | Object observation system and method of controlling object observation system |
JP2008532602A (ja) * | 2005-03-11 | 2008-08-21 | ブラッコ・イメージング・ソシエタ・ペル・アチオニ | 外科手術ナビゲーションと顕微鏡による可視化の方法と装置 |
US20120106702A1 (en) * | 2005-09-08 | 2012-05-03 | Feke Gilbert D | Apparatus and method for multi-modal imaging using multiple x-ray sources |
US8682413B2 (en) * | 2006-11-15 | 2014-03-25 | General Electric Company | Systems and methods for automated tracker-driven image selection |
JP5154961B2 (ja) * | 2008-01-29 | 2013-02-27 | テルモ株式会社 | 手術システム |
JP5160276B2 (ja) * | 2008-03-24 | 2013-03-13 | 富士フイルム株式会社 | 画像表示方法及び装置 |
US9451924B2 (en) * | 2009-12-30 | 2016-09-27 | General Electric Company | Single screen multi-modality imaging displays |
EP2613727A4 (en) * | 2010-09-10 | 2014-09-10 | Univ Johns Hopkins | VISUALIZING A RECORDED UNDERGROUND ANATOMY WITH REFERENCE TO RELATED APPLICATIONS |
GB201021675D0 (en) * | 2010-12-20 | 2011-02-02 | Taylor Nicola J | Orthopaedic navigation system |
US8666191B2 (en) * | 2011-03-02 | 2014-03-04 | Canon Kabushiki Kaisha | Systems and methods for image capturing |
CN105103163A (zh) * | 2013-03-07 | 2015-11-25 | 火山公司 | 血管内图像中的多模态分割 |
US9820678B2 (en) * | 2013-03-18 | 2017-11-21 | Orthosensor Inc | Kinetic assessment and alignment of the muscular-skeletal system and method therefor |
WO2014149079A1 (en) * | 2013-03-20 | 2014-09-25 | Polaris Surgical Llc | Systems and methods for measuring performance parameters related to orthopedic arthroplasty |
US20220207274A1 (en) * | 2013-05-01 | 2022-06-30 | Cloudsight, Inc. | Client Based Image Analysis |
EP2999414B1 (en) * | 2013-05-21 | 2018-08-08 | Camplex, Inc. | Surgical visualization systems |
CN106029000A (zh) * | 2014-02-21 | 2016-10-12 | 阿克伦大学 | 用于引导医疗干预的成像和显示系统 |
US10567660B2 (en) * | 2014-03-14 | 2020-02-18 | Brainlab Ag | Overlay of anatomical information in a microscope image |
CN111616666A (zh) * | 2014-03-19 | 2020-09-04 | 直观外科手术操作公司 | 使用眼球凝视跟踪的医疗装置、系统和方法 |
CN103948432A (zh) * | 2014-04-30 | 2014-07-30 | 深圳先进技术研究院 | 术中立体内窥视频与超声图像增强现实算法 |
EP3136951A4 (en) * | 2014-05-01 | 2018-05-09 | Yeda Research and Development Co. Ltd. | Multimodal transcranial brain optical imaging |
JP6295915B2 (ja) * | 2014-10-22 | 2018-03-20 | 株式会社島津製作所 | イメージング装置 |
JP2018514748A (ja) * | 2015-02-06 | 2018-06-07 | ザ ユニバーシティ オブ アクロンThe University of Akron | 光学撮像システムおよびその方法 |
US9436993B1 (en) * | 2015-04-17 | 2016-09-06 | Clear Guide Medical, Inc | System and method for fused image based navigation with late marker placement |
WO2017042704A1 (en) * | 2015-09-09 | 2017-03-16 | Controlrad Systems Inc. | An x-ray system with computer implemented methods for image processing |
EP3463162A4 (en) * | 2016-06-03 | 2020-06-24 | Covidien LP | SYSTEMS, METHODS AND COMPUTER READABLE PROGRAM PRODUCTS FOR CONTROLLING A ROBOT CONTROLLED MANIPULATOR |
-
2017
- 2017-11-10 WO PCT/US2017/061151 patent/WO2018089827A1/en unknown
- 2017-11-10 KR KR1020237004501A patent/KR20230025936A/ko not_active Application Discontinuation
- 2017-11-10 JP JP2019524396A patent/JP7203724B2/ja active Active
- 2017-11-10 US US16/349,216 patent/US20200188057A1/en active Pending
- 2017-11-10 CN CN201780072428.9A patent/CN109982657B/zh active Active
- 2017-11-10 EP EP17869267.9A patent/EP3538015A4/en active Pending
- 2017-11-10 KR KR1020197016266A patent/KR20190070359A/ko not_active IP Right Cessation
- 2017-11-10 CN CN202310691733.3A patent/CN116725695A/zh active Pending
-
2022
- 2022-12-27 JP JP2022209744A patent/JP7436617B2/ja active Active
-
2024
- 2024-02-08 JP JP2024017572A patent/JP2024052761A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116725695A (zh) | 2023-09-12 |
EP3538015A1 (en) | 2019-09-18 |
CN109982657B (zh) | 2023-06-30 |
JP2019534102A (ja) | 2019-11-28 |
CN109982657A (zh) | 2019-07-05 |
EP3538015A4 (en) | 2020-12-09 |
JP2023027405A (ja) | 2023-03-01 |
JP7203724B2 (ja) | 2023-01-13 |
JP7436617B2 (ja) | 2024-02-21 |
KR20230025936A (ko) | 2023-02-23 |
WO2018089827A1 (en) | 2018-05-17 |
KR20190070359A (ko) | 2019-06-20 |
US20200188057A1 (en) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7436617B2 (ja) | マルチモダリティ画像表示を備えた手術システム | |
JP7367140B2 (ja) | 走査ベースの位置付けを伴う遠隔操作手術システム | |
US11737841B2 (en) | Configuring surgical system with surgical procedures atlas | |
CN109996508B (zh) | 带有基于患者健康记录的器械控制的远程操作手术系统 | |
US20220331052A1 (en) | Cooperation among multiple display systems to provide a healthcare user customized information | |
JP2023544593A (ja) | 協働的外科用ディスプレイ | |
WO2022070077A1 (en) | Interactive information overlay on multiple surgical displays | |
WO2022070061A1 (en) | Tiered system display control based on capacity and user operation | |
JP7073360B2 (ja) | 手術技能レベルベース器具制御を備える遠隔操作手術システム | |
US11406255B2 (en) | System and method for detecting abnormal tissue using vascular features | |
WO2022219501A1 (en) | System comprising a camera array deployable out of a channel of a tissue penetrating surgical device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240308 |