JP2023551504A - ロボット支援システムのためのユーザインターフェースにおいて合成インジケータを提供するためのシステム - Google Patents
ロボット支援システムのためのユーザインターフェースにおいて合成インジケータを提供するためのシステム Download PDFInfo
- Publication number
- JP2023551504A JP2023551504A JP2023532532A JP2023532532A JP2023551504A JP 2023551504 A JP2023551504 A JP 2023551504A JP 2023532532 A JP2023532532 A JP 2023532532A JP 2023532532 A JP2023532532 A JP 2023532532A JP 2023551504 A JP2023551504 A JP 2023551504A
- Authority
- JP
- Japan
- Prior art keywords
- indicator
- composite indicator
- composite
- tool
- medical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 239000002131 composite material Substances 0.000 claims description 159
- 238000000034 method Methods 0.000 claims description 79
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 abstract description 18
- 239000011165 3D composite Substances 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 25
- 210000003484 anatomy Anatomy 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 13
- 239000000203 mixture Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 238000009877 rendering Methods 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 239000012636 effector Substances 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000002405 diagnostic procedure Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000015271 coagulation Effects 0.000 description 2
- 238000005345 coagulation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001225 therapeutic effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001408627 Agriopis marginaria Species 0.000 description 1
- 208000002847 Surgical Wound Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
- A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
- A61B18/14—Probes or electrodes therefor
- A61B18/1442—Probes having pivoting end effectors, e.g. forceps
- A61B18/1445—Probes having pivoting end effectors, e.g. forceps at the distal end of a shaft, e.g. forceps or scissors at the end of a rigid rod
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
- A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
- A61B18/14—Probes or electrodes therefor
- A61B18/1482—Probes or electrodes therefor having a long rigid shaft for accessing the inner body transcutaneously in minimal invasive surgery, e.g. laparoscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
- A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/363—Use of fiducial points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Gynecology & Obstetrics (AREA)
- Radiology & Medical Imaging (AREA)
- Human Computer Interaction (AREA)
- Endoscopes (AREA)
Abstract
医療システムが、ディスプレイシステムと、制御システムとを含むことがある。制御システムは、1つ以上のプロセッサを含む処理ユニットを含むことがある。処理ユニットは、撮像コンポーネントによって生成された手術環境のビューの、視野の画像をディスプレイシステムに表示するように構成されることがある。処理ユニットは、手術環境の視野外の器具の位置についての三次元合成インジケータを生成し、手術環境の視野の画像とともに三次元合成インジケータを表示するように構成されることもある。
Description
(関連出願の参照)
本出願は、2020年11月30日に出願された米国仮出願第63/119,549号の利益を主張し、その全文が参照により本明細書に組み込まれる。
本出願は、2020年11月30日に出願された米国仮出願第63/119,549号の利益を主張し、その全文が参照により本明細書に組み込まれる。
(技術分野)
本開示は、医療処置中に組織を操作するための医療処置および方法に向けられている。より具体的には、本開示は、奥行きを意識した合成インジケータ、視野外のコンポーネントのためのインジケータ、および視野内で閉塞されたコンポーネントのためのインジケータを提供するためのシステムおよび方法に関する。
本開示は、医療処置中に組織を操作するための医療処置および方法に向けられている。より具体的には、本開示は、奥行きを意識した合成インジケータ、視野外のコンポーネントのためのインジケータ、および視野内で閉塞されたコンポーネントのためのインジケータを提供するためのシステムおよび方法に関する。
最小侵襲医療技術は、診断処置または外科処置中に損傷を受ける外部組織の量を減らし、それによって、患者の回復時間、不快感、および有害な副作用を減らすことを意図したものである。そのような最小侵襲技術は、患者の解剖学的構造における自然オリフィスを通じてあるいは1つ以上の外科的切開部を通じて行われることがある。これらの自然オリフィスまたは切開部を通じて、臨床医は、標的組織場所に到達するために医療ツールを挿入することがある。最小侵襲医療ツールは、治療器具、診断器具、および手術器具のような、器具を含む。最小侵襲医療ツールは、ユーザに患者解剖学的構造内の視野を提供する内視鏡器具のような、撮像器具を含むこともある。
幾つかの最小侵襲医療ツールは、ロボット支援されることがあり、遠隔操作されること(teleoperated)、遠隔操作されること(remotely operated)、またはその他の方法でコンピュータ支援されることを含む。医療処置中、臨床医は、患者解剖学的構造の三次元視野の画像を含むグラフィカルユーザインターフェースを提供されることがある。臨床医の経験および効率を向上させるために、視野内の医療ツール、視野内で閉塞される医療ツール、および視野外のコンポーネントに関する追加的な情報を提供するために、様々なインジケータが必要とされることがある。
本発明の実施形態は、明細書に続く特許請求の範囲によって最良に要約される。
一実施形態では、医療システムが、ディスプレイシステムと、制御システムとを含むことがある。制御システムは、1つ以上のプロセッサを含む処理ユニットを含むことがある。処理ユニットは、手術環境のビューの、撮像コンポーネントによって生成された視野の画像を、ディスプレイシステムに表示するように構成されることがある。処理ユニットは、手術環境の視野外の器具の位置についての三次元合成インジケータを生成し、手術環境の視野の画像と共に三次元合成インジケータを表示する、ように構成されることがある。
別の実施形態では、医療システムが、ディスプレイシステムと、第1のペダルと第2のペダルとを含む入力システムとを含むことがある。第1のペダルは、第2のペダルに対して空間的関係を有することがある。医療システムは、制御システムを含むこともある。制御システムは、1つ以上のプロセッサを含む処理ユニットを含むことがある。処理ユニットは、手術環境の視野の画像をディスプレイシステムに表示するように構成されることがある。画像は、撮像コンポーネントによって生成されることがある。処理ユニットは、第1のペダルの係合状態を示す第1の合成インジケータを生成し、第2のペダルの係合状態を示す第2の合成インジケータを生成し、手術環境の視野の画像との空間的関係に基づいて第2の合成インジケータに対して第1の合成インジケータをディスプレイシステムに表示する、ように構成されることもある。
別の実施形態では、医療システムが、ディスプレイシステムと、第1のペダルと第2のペダルとを含む入力システムとを含むことがある。第1のペダルは、第2のペダルに対して空間的関係を有することがある。医療システムは、制御システムを含むこともある。制御システムは、1つ以上のプロセッサを含む処理ユニットを含むことがある。処理ユニットは、手術環境の視野の画像をディスプレイシステムに表示するように構成されることがある。画像は、撮像コンポーネントによって生成されることがある。処理ユニットは、手術環境内の器具に関連する第1の合成インジケータを生成し、視野内の構造および第1の合成インジケータを含む奥行きマッピングを生成し、構造によって閉塞された第1の合成インジケータの閉塞部分を奥行きマッピングから決定する、ように構成されることもある。処理ユニットは、第1の合成インジケータをディスプレイシステムに表示するように構成されることもある。第1の合成インジケータの閉塞部分は、第1の合成インジケータの非閉塞部分とは区別されたグラフィック外観を有することがある。
前述の一般的な記述および以下の詳細な記述は、本質的に例示的かつ説明的なものであり、本開示の範囲を制限することなく本開示の理解を提供することが意図されていることが理解されるべきである。それに関して、本開示の追加的な態様、構成、および利点は、以下の詳細な記述から当業者に明らかであろう。
本開示の実施形態およびそれらの利点は、以下の詳細な記述を参照することによって最良に理解される。図のうちの1つ以上の図に示される同様の要素を識別するために同様の参照番号が使用され、それらの中に示されるものは本開示の実施形態を図示するためのものであり、それを限定するためのものではないことが理解されるべきである。
ロボット支援医療処置において、手術環境の内視鏡画像は、臨床医に、患者解剖学的構造の視野および患者解剖学的構造内に位置するあらゆる医療ツールを提供することがある。様々なインジケータで内視鏡画像を増強することは、臨床医が視野を維持しながら情報にアクセスすることを可能にする。そのようなインジケータは、奥行きを意識したグラフィカルインジケータ、視野外のコンポーネント(構成要素)のためのインジケータ、および視野内で閉塞されたコンポーネントのためのインジケータを含むことがある。
図1A、図1B、および図1Cは、共に、例えば、診断処置、治療処置、または外科処置を含む医療処置において使用されることがある医療システム10の概要を提供する。医療システム10は、医療環境11内に配置される。医療環境11は、図1Aにおいて手術室として描かれている。他の実施形態において、医療環境11は、救急室、医療訓練環境、医療実験室、または任意の数の医療処置または医療訓練処置が行われることがある何らかの他のタイプの環境であることがある。さらに他の実施形態において、医療環境11は、手術室および手術室外に位置する制御エリアを含むことがある。
1つ以上の実施形態において、医療システム10は、外科医の遠隔操作制御の下にあるロボット支援医療システムであることがある。代替的な実施形態において、医療システム10は、医療処置またはサブ処置を実行するようにプログラムされたコンピュータの部分的な制御の下にあることがある。さらに他の代替的な実施形態において、医療システム10は、医療システム10で医療処置またはサブ処置を実行するようにプログラムされたコンピュータの完全な制御の下にある完全自動医療システムであることがある。本開示に記載されるシステムおよび技術を実施するために使用されることがある医療システム10の一例は、Sunnyvale, CaliforniaのIntuitive Surgical, Inc.によって製造されるda Vinci(登録商標)Surgical Systemである。
図1Aに示されるように、医療システム10は、一般に、患者Pが位置付けられる手術台Oに取り付けられるかあるいはその近くに位置付けられることがあるアセンブリ12を含む。アセンブリ12は、患者側カート、手術カート、または手術ロボットと称されることがある。1つ以上の実施形態において、アセンブリ12は、遠隔操作アセンブリであることがある。遠隔操作アセンブリは、例えば、遠隔操作アームカートと称されることがある。医療器具システム14および内視鏡撮像システム15が、アセンブリ12に動作可能に結合される。オペレータ入力システム16は、外科医Sまたは他のタイプの臨床医が、手術部位の画像を見るかあるいは手術部位を表すことや、医療器具システム14および/または内視鏡撮像システム15の動作を制御することを可能にする。
医療器具システム14は、1つ以上の医療器具を含むことがある。医療器具システム14が複数の医療器具を含む実施形態において、複数の医療器具は、複数の同じ医療器具および/または複数の異なる医療器具を含むことがある。同様に、内視鏡撮像システム15は、1つ以上の内視鏡を含むことがある。複数の内視鏡の場合、複数の内視鏡は、複数の同じ内視鏡および/または複数の異なる内視鏡を含むことがある。
オペレータ入力システム16は、外科医の制御コンソールに配置することがあり、制御コンソールは、手術台Oと同じ部屋に配置されることがある。幾つかの実施形態において、外科医Sおよびオペレータ入力システム16は、患者Pとは異なる部屋または全く異なる建物に配置されることがある。オペレータ入力システム16は、一般に、医療器具システム14を制御するための1つ以上の制御デバイスを含む。制御デバイスは、ハンドグリップ、ジョイスティック、トラックボール、データグローブ、トリガガン、フットペダル、手動コントローラ、音声認識デバイス、タッチスクリーン、身体運動または存在センサ、および他のタイプの入力デバイスのような、任意の数の入力デバイスのうちの1つ以上を含むことがある。
幾つかの実施形態において、制御デバイスは、外科医にテレプレゼンスを提供するために、医療器具システム14の医療器具と同じ程度の自由度を備え、テレプレゼンスとは、外科医が恰も手術部位に存在するかのように器具を直接制御する強い感覚を有するような、制御デバイスが器具と一体であるという知覚である。他の実施形態において、制御デバイスは、関連する医療器具よりも多いまたは少ない自由度を有して、外科医にテレプレゼンスを依然として提供することがある。幾つかの実施形態において、制御デバイスは、6自由度で動く手動入力デバイスであり、器具を作動させるための(例えば、把持ジョーエンドエフェクタを閉じるための、電極に電位を印加するための、医療処置を送達するための、および他のタイプの器具を作動させるための)作動可能なハンドルを含むこともある。
アセンブリ12は、外科医Sがオペレータ入力システム16を通じて手術部位を見る間に、医療器具システム14を支持しかつ操作する。手術部位の画像が、アセンブリ12によって操作されることがある内視鏡撮像システム15によって得られることがある。アセンブリ12は、内視鏡撮像システム15を含むことがあり、同様に、複数の医療器具システム14を含むこともある。一度に使用される医療器具システム14の数は、一般に、とりわけ、実施される診断処置または外科処置および手術室内の空間制約に依存する。アセンブリ12は、1つ以上の非サーボ制御リンク(例えば、セットアップ構造と一般に称される、手動で位置付けられて所定の場所にロックされることがある、1つ以上のリンク)の運動学的構造と、マニピュレータとを含むことがある。マニピュレータが遠隔操作マニピュレータの形態をとるとき、アセンブリ12は、遠隔操作アセンブリである。アセンブリ12は、医療器具システム14上の入力を駆動する複数のモータを含む。一実施形態において、これらのモータは、制御システム(例えば、制御システム20)からのコマンドに応答して動く。モータは、医療器具システム14に連結されるときに、医療器具を天然または外科的に作られた解剖学的オリフィス内に前進させることがある、駆動システムを含む。他のモータ駆動システムは、医療器具の遠位端を複数の自由度で移動させることがあり、複数の自由度は、3つの程度の直線運動(例えば、X、Y、Zデカルト軸に沿った直線運動)および3つの程度の回転運動(例えば、X、Y、Zデカルト軸を中心とした回転)を含むことがある。追加的に、モータは、生検デバイスなどのジョーにおいて組織を把持するために医療器具の関節作動可能なエンドエフェクタを作動させるために使用されることがある。医療器具システム14の医療器具は、メス、鈍らなブレード、光ファイバ、または電極のような、単一の作業部材を有するエンドエフェクタを含むことがある。他のエンドエフェクタは、例えば、鉗子、グラスパ(把持器)、ハサミ、クリップアプライヤを含むことがある。
医療システム10は、制御システム20も含む。制御システム20は、医療器具システム14と、オペレータ入力システム16と、例えば、撮像システム、オーディオシステム、流体送達システム、ディスプレイシステム、照明システム、操縦制御システム、洗浄システム、および/または吸引システムを含むことがある、他の補助システム26との間の制御をもたらすための、少なくとも1つのメモリ24および少なくとも1つのプロセッサ22を含む。臨床医は、医療環境11内を巡回することがあり、例えば、セットアップ手順中にアセンブリ12にアクセスしたり、あるいは患者のベッドサイドから補助システム26のディスプレイを見たりしたりすることがある。
図1Aではアセンブリ12の外部として描かれているが、制御システム20は、幾つかの実施形態において、アセンブリ12内に全体的に収容されることがある。制御システム20は、本明細書に開示される態様に従って記載される方法の一部または全部を実装するように(例えば、非一時的なコンピュータ読取可能媒体上に格納された)プログラムされた命令も含む。制御システム20は、図1Aの簡略図において単一のブロックとして示されているが、制御システム20は、2つ以上のデータ処理回路を含むことがあり、処理の1つの部分は、アセンブリ12上でまたはアセンブリ12に隣接して任意に実行され、処理の別の部分は、オペレータ入力システム16で実行されるなどである。
多種多様な集中型または分散型データ処理アーキテクチャのいずれかが使用されることがある。同様に、プログラムされた命令は、多数の別個のプログラムまたはサブルーチンとして実装されることがあり、あるいは、プログラムされた命令は、遠隔操作システムを含む本明細書に記載されるシステムの多数の他の態様に統合されることがある。一実施形態において、制御システム20は、Bluetooth(登録商標)、IrDA、HomeRF、IEEE 802.11、DECT、およびWireless Telemetryのような、無線通信プロトコルをサポートする。
制御システム20は、1つ以上の臨床医プロフィール、患者および患者プロファイルのリスト、患者に対して行われるべき処置のリスト、前記処置を行う予定の臨床医のリスト、他の情報、またはそれらの組み合わせを格納することがあるデータベース27と通信する。臨床医プロファイルは、臨床医が医療分野でどれぐらい長く働いたか、臨床医が獲得した教育のレベル、臨床医が医療システム10(または類似のシステム)で得た経験のレベル、またはそれらの任意の組み合わせを含む、臨床医に関する情報を含むことがある。
データベース27は、メモリ24に格納されることがあり、動的に更新されることがある。追加的にまたは代替的に、データベース27は、内部ネットワーク(例えば、医療施設または遠隔操作システムプロバイダの安全なネットワーク)または外部ネットワーク(例えば、インターネット)を介して制御システム20によってアクセス可能であるサーバまたはポータブル記憶デバイスのようなデバイスに格納されることがある。データベース27は、2つ以上の場所に分散されることがある。例えば、データベース27は、異なるエンティティのデバイスおよび/またはクラウドサーバを含むことがある複数のデバイスに存在することがある。追加的にまたは代替的に、データベース27は、コンピュータ、モバイルデバイス、スマートフォン、ラップトップ、電子バッジ、タブレット、ポケットベル、および他の類似のユーザデバイスのような、ポータブルユーザ割り当てデバイスに格納されることがある。
幾つかの実施形態において、制御システム20は、医療器具システム14から力および/またはトルクフィードバックを受信する1つ以上のサーボコントローラを含むことがある。フィードバックに応答して、サーボコントローラは、オペレータ入力システム16に信号を送信する。サーボコントローラは、身体にある開口を介して患者の身体内の内部手術部位内に延びる医療器具システム14および/または内視鏡撮像システム15を動かすようにアセンブリ12に指示する信号を送信することがある。任意の適切な従来のまたは専用のサーボコントローラが使用されることがある。サーボコントローラは、アセンブリ12から分離されることがあり、あるいはアセンブリ12と一体化されることがある。幾つかの実施形態において、サーボコントローラおよびアセンブリ12は、患者の身体に隣接して位置付けられる遠隔操作アームカートの一部分として提供される。
制御システム20は、内視鏡撮像システム15と結合されることができ、外科医の制御コンソール上の外科医へのようなあるいは局所的におよび/または遠隔に配置された別の適切なディスプレイ上での引き続きの表示のためにキャプチャされた画像を処理するプロセッサを含むことができる。例えば、立体内視鏡が使用される場合、制御システム20は、キャプチャされた画像を処理して、外科医に手術部位の協調された立体画像を提示することができる。そのような協調は、対向する画像間のアライメント(整列)を含むことができ、立体視内視鏡の立体作業距離を調整することを含むことができる。
代替的な実施形態において、医療システム10は、1つよりも多くのアセンブリ12および/または1つよりも多くのオペレータ入力システム16を含むことがある。アセンブリ12の正確な数は、とりわけ、外科手順および手術室内の空間制約に依存する。オペレータ入力システム16は、併置される(同じ場所に配置される)ことがあり、あるいは、オペレータ入力システム16は、別個の場所に位置付けられることがある。複数のオペレータ入力システム16は、1人よりも多くのオペレータが1つ以上のアセンブリ12を様々な組み合わせにおいて制御することを可能にする。医療システム10は、医療処置を訓練し練習するために使用されることもある。
図1Bは、患者側カート、手術カート、遠隔操作アームカート、または手術ロボットと称されることがあるアセンブリ12の一実施形態の斜視図である。図示のアセンブリ12は、3つの手術ツール30a、30b、および30c(例えば、医療器具システム14)ならびに処置部位の画像のキャプチャのために使用される立体視内視鏡のような撮像デバイス28(例えば、内視鏡撮像システム15)の操作を提供する。撮像デバイスは、ケーブル56を通じて信号を制御システム20に送信することがある。操作は、多数の関節を有する遠隔手術機構によって提供される。撮像デバイス28および手術ツール30a~30cは、切開部のサイズを最小にするために運動学的遠隔中心が切開部に維持されるように、患者の切開部を通じて位置決めおよび操作されることができる。手術部位の画像は、手術ツール30a~30cが撮像デバイス28の視野内に位置決めされるときの手術ツール30a~30cの遠位端の画像を含み得る。
アセンブリ12は、駆動可能なベース58を含む。駆動可能なベース58は、伸縮式コラム57に接続され、それはアーム54の高さの調整を可能にする。アーム54は、回転すると共に上下に移動する回転ジョイント55を含むことがある。アーム54の各々は、配向プラットフォーム53(方向付けプラットフォーム)に接続されることがある。アーム54は、トラブルシューティングを容易にするためにラベル付けされることがある。例えば、アーム54の各々は、異なる数字、文字、記号、他の識別子、またはそれらの組み合わせで飾られることがある。配向プラットフォーム53は、360度の回転が可能であることがある。アセンブリ12は、配向プラットフォーム53を水平方向において移動させるための伸縮式水平カンチレバー52を含むこともある。
本例において、アーム54の各々は、マニピュレータアーム51に接続する。マニピュレータアーム51は、医療器具、例えば、手術ツール30a~30cのうちの1つに直接接続することがある。マニピュレータアーム51は、遠隔操作可能であることがある。幾つかの例において、配向プラットフォーム53に接続するアーム54は、遠隔操作可能でないことがある。むしろ、そのようなアーム54は、外科医Sが遠隔手術コンポーネントで手術を開始する前に、所望に位置付けられることがある。アームに対する器具の関連付けが処置中に変化することがあるように、外科処置を通じて、医療器具は取り外されて、他の器具と交換されることがある。
内視鏡撮像システム(例えば、内視鏡撮像システム15および撮像デバイス28)は、剛性内視鏡またはフレキシブル内視鏡を含む様々な構成で提供されることがある。剛性内視鏡は、内視鏡の遠位端から近位端へ画像を伝送するためのリレーレンズシステムを収容する剛性チューブを含む。フレキシブル内視鏡は、1つ以上のフレキシブルな光ファイバを用いて画像を伝送する。デジタル画像ベースの内視鏡は、1つ以上の電荷結合素子(CCD)または相補型金属酸化物半導体(CMOS)素子のような遠位デジタルセンサが画像データを格納する「チップ・オン・ザ・チップ(chip on the tip)」設計を有する。内視鏡撮像システムは、二次元または三次元画像を視聴者に提供することがある。二次元画像は、限られた深さの知覚を提供することがある。三次元立体内視鏡画像は、より正確な深さ知覚を視聴者に提供することがある。立体内視鏡器具は、患者解剖学的構造の立体画像をキャプチャするために立体カメラを使用する。内視鏡器具は、全て堅固に結合されかつ気密に封止された、視鏡ケーブル、ハンドルおよびシャフトを備える、完全に滅菌可能なアセンブリであることがある。
図1Cは、外科医の制御コンソールにおけるオペレータ入力システム16の一実施形態の斜視図である。オペレータ入力システム16は、深さ知覚を可能にする手術環境の協調立体視を外科医Sに提示するために、左眼ディスプレイ32および右眼ディスプレイ34を含む。左眼ディスプレイ32および右眼ディスプレイ34は、ディスプレイシステム35のコンポーネントであることがある。他の実施形態において、ディスプレイシステム35は、1つ以上の他のタイプのディスプレイを含むことがある。ディスプレイシステム35は、内視鏡視野を外科医に表示するために、例えば、撮像システム15によってキャプチャされた画像を提示することがある。内視鏡視野は、視聴者に追加的な情報を提供するために、仮想または合成メニュー、インジケータ、および/または他のグラフィックまたはテキスト情報によって補強されることがある。
オペレータ入力システム16は、1つ以上の入力制御デバイス36をさらに含み、1つ以上の入力制御デバイス36は、次に、アセンブリ12に、内視鏡撮像システム15および/または医療器具システム14の1つ以上の機器を操作させる。入力制御デバイス36は、外科医Sに、テレプレゼンス、または外科医が器具を直接制御しているという強い感覚を有するように入力制御デバイス36が器具と一体であるという知覚をもたらすために、それらの関連する器具と同じ程度の自由度を提供することができる。この目的を達成するために、医療器具、例えば、手術ツール30a~30c、または撮像デバイス28からの位置、力、および触覚感覚を、入力制御デバイス36を通じて外科医の両手に伝達して戻すように、位置、力、および触覚フィードバックセンサ(図示せず)が利用されることがある。入力制御デバイス37は、ユーザの足から入力を受け取るフットペダルである。オペレータ入力システム16、アセンブリ12、および補助システム26の態様は、外科医Sの身体的ニーズ、技能レベル、または好みを満たすように調整可能であることがあり、カスタマイズ可能であることがある。
医療システム10を用いて行われる医療処置の間に、外科医Sまたは別の臨床医は、撮像システム15の視野外にある患者解剖学的構造内の医療ツールにアクセスすることが必要なことがあり、医療ツールを作動させるかあるいは他のシステム機能を実行するためにフットペダルに係合することが必要なことがあり、かつ/あるいは視野内に閉塞されているツールを識別することが必要であることがある。さらに、立体視野では、視野で提示される合成要素(synthetic elements)が、合成要素によって示される組織またはコンポーネントに対応する深さで表示されることが望ましいことがある。よって、合成要素は、視野の前方に浮遊するのではなく、視野内のコンポーネントに取り付けられているように見えることがある。以下に記載される様々な実施形態は、外科医Sが、深さを意識したグラフィカルインジケータ、視野外のコンポーネントのためのインジケータ、および視野内で閉塞されたコンポーネントのためのインジケータを見ることを可能にする方法およびシステムを提供する。
図2A、図2B、図2C、および図2Dは、例えば、ディスプレイシステム35に表示されることがあるグラフィカルユーザインターフェース200を図示している。グラフィカルユーザインターフェース200は、撮像システム(例えば、撮像システム15)によってキャプチャされた手術環境201の視野203の画像を表示するための視野部分202を含むことがある。手術環境は、デカルト座標系XS、YS、ZSを有することがある。視野部分202内の画像は、三次元立体画像であることがあり、患者組織、ならびに医療ツール204、医療ツール206、および医療ツール208のような器具を含む手術コンポーネントを含むことがある。グラフィカルユーザインターフェース200は、医療ツール204に関する情報を表示する情報ブロック210、視野部分202内の画像をキャプチャする撮像システムに関する情報を表示する情報ブロック212、医療ツール206に関する情報を表示する情報ブロック214、および医療ツール208に関する情報を表示する情報ブロック216を含むこともある。情報ブロック210、212、214、216は、ツールのタイプ、ツールが結合されるマニピュレータアームの数、アームまたはツールについての状態情報、および/またはアームまたはツールについての動作情報を含むことがある。
グラフィカルユーザインターフェース200は、対応する医療ツールが手術環境内にあるが、撮像システムの視野外にあり、よって、視野202内に見えないときに、視野部分202内に現れることがある、1つ以上の合成インジケータ218、220、222を含むこともある。合成インジケータ218は、ツール204を示す。合成インジケータ220は、ツール206を示す。合成インジケータ222は、ツール208を示す。各合成インジケータ218、220、222は、三次元形状を有することがあり、視野外の対応するツールの三次元方向を指し示すことがある。
図2Aにおいて、視野部分202は、手術環境の一部分の三次元画像を含み、画像周囲219における合成インジケータ218、220、222は、手術環境内にあるが、撮像システムの視野外である、それぞれのツール204、206、208を指し示す。図2Bにおいて、撮像システム(例えば、内視鏡)は、視野部分202内の手術環境の異なる画像をキャプチャするために、+Y方向に移動されている。ツール204および206の遠位端は、いやま可視である。ツール208は、視野外のままであり、結果的に、ツール208の方向を示す合成インジケータ222が表示される。図2Cにおいて、撮像システムは、視野部分202内の手術環境の異なる画像をキャプチャするために、さらに+Y方向に移動されている。ツール204、206、および208の遠位端は、視野部分202内で今や可視である。よって、合成インジケータは、表示されない。図2Dにおいて、撮像システムは、視野部分202内の手術環境の異なる画像をキャプチャするために、-Y、+X方向に移動されている。ツール206は、視野部分202内で可視のままであるが、ツール204、208は、今や視野部分202の外側にある。よって、合成インジケータ218、222は表示され、手術環境内のツール204、208の三次元場所をそれぞれ指し示す。
図3A~図3Eは、医療ツール204の異なる場所を指し示すために、合成インジケータ218を様々な三次元向きで有する手術環境201の視野203を図示している。各図示において、医療ツール204は、手術環境201内にあるが、視野203の外側にあり、よって、合成インジケータ218は、視野部分202内に表示される。合成インジケータ218は、方向性部分252(directional portion)を含むインジケータ本体250を含む。方向性部分252は、医療ツール204に向かって指し示すことがあるテーパを含むことがある。この実施形態において、合成インジケータ218は、涙滴形状を有することがあるが、他の実施形態では、方向を示すことができる矢印、三角形、または他の尖ったシンボルが、合成インジケータのために使用されることがある。インジケータ本体250は、高さH、深さD、および幅Wの寸法を有する三次元形状を有することがある。インジケータ本体250は、少なくとも1つの平坦な表面253と、平坦な表面253に沿って固定されたデカル(図案)(decal)として現れることがあるアイコン254とを有することがある。アイコン254は、指し示されるツールが結合されるマニピュレータアームについての識別子、または示されるツール自体についての識別子のような、識別子を含むことがある。インジケータ本体250が三次元空間内で移動するとき、アイコン254の向きは、アイコン254上のテキストまたはシンボルが視聴者に対して直立のままであるように、インジケータ本体および方向性部分252に対して回転することがある。アイコン254の向きは、インジケータ本体250の面の向きとも整列されたままであることがある。
ツール204が手術環境201内で移動すると、あるいは視野203が手術環境内で変化すると、合成インジケータ218は、方向性部分252がツール204に向かって指し示されたままであり、かつ平坦な表面253が視聴者に可視なままであるように、枢動することがある。図3Aにおいて、方向性部分252は、合成インジケータ218に対して+Y方向において視野203の外側に位置するツール204に向かって指し示される。図3Bにおいて、方向性部分252は、合成インジケータ218に対して-Y、+X、-Z方向において視野203の外側に位置するツール204に向かって指し示される。図3Cにおいて、方向性部分252は、合成インジケータ218に対して+Y、-X、-Z方向において視野203の外側に位置するツール204に向かって指し示される。図3Dにおいて、方向性部分252は、合成インジケータ218に対して-X、+Z方向において視野203の外側に位置するツール204に向かって指し示される。図3Eにおいて、方向性部分252は、合成インジケータ218に対して-Y、+X、+Z方向において視野203の外側に位置するツール204に向かって指し示される。図3Dおよび図3Eの例は、ツール先端が内視鏡先端の背後にあるときの合成インジケータの使用を描くことがある。指し示す方向がないと、ユーザは、内視鏡を動かす方向について混乱することがある。例えば、ツール先端が内視鏡先端の直ぐ背後にあるとき、内視鏡の横方向移動自体が逆効果となる可能性があり、投影されるツールインジケータが視野の一方の側から他方の側へ急速に揺れ動く結果となり、ツールを位置特定することを困難にする。
幾つかの実施形態において、合成インジケータ218またはその一部分は、関連するツール204の状態および/または制御モード(例えば、アクティブまたは非アクティブ;クラッチが開始された位置)を示すために、カラーコーディングまたは他の視覚的処置を有することがある。幾つかの実施形態において、合成インジケータ218の向きは、視聴者に対する視認性を含む提示目的に基づいて決定されることがある。例えば、平坦な表面253は、内視鏡に向かって方向付けられることがあり、アイコン254は、ビュー内で直立するように、表面253の場所において方向付けられることがある。方向性部分252は、アイコン254の視認性を確実にするために、平坦な表面253に対する法線が内視鏡の観察錐(viewing cone)または観察台(viewing frustum)内で方向付けられるように拘束されることがある。合成インジケータ218の位置の立体深さは、内視鏡シーンコンテンツとの深さの不整合を低減し、視野部分202内の他の合成要素に対する閉塞および深さを解消するために、融合の容易さのために制約されることがある。合成インジケータ218の見掛けのサイズは、その深さに基づいて制約されることがある。
幾つかの実施態様において、視野部分202の周辺219(perimeter)に沿った方向性部分252の位置は、立体画像との光線交差によって計算される。図3Fは、視野部分202を提供する内視鏡272(例えば、撮像システム15)の立体観察台270の頂面図を提供する。立体観察台270は、右眼視野に対応する右眼錐台274(right eye frustum)および左眼視野に対応する左眼錐台276(left eye frustum)から形成される。立体収束場所286が、内視鏡の遠位先端からの収束深さ287にある。マーカ278が、器具先端部分280上のキーポイントに向かって指し示している三次元合成インジケータ(例えば、インジケータ218)の方向性部分の先端についての投影場所に対応する。マーカ278の場所は、内視鏡272の遠位先端の最小深さ範囲282および最大深さ範囲284内および左右両方の眼の観察台274、276内にあるように解決される(resolved)。最小深さ範囲および最大深さ範囲の決定は、立体視の快適さを提供すると共に、オフスクリーンツールの相対的な空間関係のユーザ知覚を強調することがある。この例では、図示のように配置される器具先端部分280で、合成インジケータの方向性部分の先端が、マーカ278、すなわち、最小深さ範囲282と左眼錐台276との交差場所に現れることがある。合成マーカの方向性部分は、集束場所286とマーカ278との間の指し示す方向288に沿って名目上整列されることがある。
例えば、撮像コンポーネント(例えば、内視鏡)の中心線に沿ったポイントから関連する器具の遠位キーポイント(例えば、器具エンドエフェクタまたはジョイント上の所定のポイント)まで延びる光線が決定されることがある。この決定は、融合のための快適な深さ範囲内で両眼によって見えることがある周辺219に沿ったポイントを解決する(resolve)。
幾つかの実施形態において、合成インジケータは、内視鏡および/または医療ツールが移動されるにつれて、形状およびサイズが変形することがある。例えば、合成インジケータは、円形バッジから涙滴形状に移行することがある。涙滴または矢印形状の長さは、視野からのツールの距離を示すことがある。合成インジケータは、オフスクリーンツールを場所特定するために、進行の方向および/または距離を強調することもある。例えば、ツールが視野からの閾値距離よりも遠くに位置するときには、ツールが視野からの閾値距離よりも大きいことを強調するためのジェスチャキュー(gestural cue)を生成するように、合成インジケータの全部または一部がアニメーション化されることがある。図3G~図3Jは、視野部分202の外側の器具先端204の距離および器具先端204への進行の方向の重要性に対応して、合成インジケータ218の長さの変調(modulation)を描く画像の進行を提供する。図3Jに示すように、器具先端204が(例えば、3cmよりも大きい)視野容積よりも遠く外側の距離D4にあるか、あるいはそのZ方向位置が最小深さ範囲および最大深さ範囲の外側にあるとき、合成インジケータ、特に、方向性部分252は、進行の方向および距離の両方を伝達するために伸長されるか、あるいは他の方法で強調される。対照的に、図3Gに示すように、器具先端204が視野に近く(例えば、<3cm)、そのZ位置が最小深さ範囲および最大深さ範囲内にあるならば、方向性部分252は、合成インジケータ218がより円形になるように、脱強調される。図3Gの例において、ディスプレイの周辺に沿った位置は、内視鏡ビュー容積に対する器具先端204の横方向空間場所を示すのに十分である。図3Hは、器具先端204までの距離D2が距離D1よりも大きいことを示す、図3Gよりも顕著でより長い方向性部分252を図示している。図3Iは、図3Hにおけるよりも長いが、図3Jにおけるよりも長くない、方向性部分252を図示し、器具先端204への距離D3が距離D2よりも長いが、距離D4ほど長くないことを示す。
三次元合成インジケータ(例えば、合成インジケータ218、220または222)を表示するための方法800が、図12のフローチャートに図示されている。本明細書に記載される方法は、一連の動作またはプロセスとして図示され、追加の図を引き続き参照して記載される。図示されるプロセスの全てが、方法の全ての実施形態で実施されるわけではない。加えて、明示的に図示されていない1つ以上のプロセスが、図示されるプロセスの前に、後に、間に、または一部として含められることがある。幾つかの実施形態において、1つ以上のプロセスは、少なくとも部分的には、1つ以上のプロセッサ(例えば、制御システムのプロセッサ)によって実行されるときに、1つ以上のプロセッサにプロセスの1つ以上を実行させることがある、非一時的な有形の機械可読媒体に格納される実行可能コードの形態で実装されることがある。1つ以上の実施形態において、プロセスは、制御システムによって実行されることがある。
プロセス802で、手術環境(例えば、手術環境201)内の視野(例えば、視野部分202)の画像が、例えば、ディスプレイ35に表示される。幾つかの実施形態において、プロセス802は、プロセス804a~804fのうちの1つ以上を含むことがある。プロセス804aで、内視鏡視野ボリュームに対する器具先端キーポイントの可視度が決定されることがある。
プロセス804bで、合成インジケータがコンテキストおよび所定のルールに基づいてオフスクリーン器具のために表示されるべきか否かに関する決定が行われることがある。ツール先端が視野外にある間に常に合成インジケータを表示することは、望ましくない注意散漫を導入することがある。従って、合成インジケータがより状況に当て嵌まり(contextual)、その可視性がオフスクリーンツール場所のユーザ認識から利益を得るオペレータワークフローステップと一致するように、合成インジケータが示されるときに、所定のルールが課されることがある。例えば、合成インジケータは、内視鏡の動きがベッドサイドまたは外科医のコンソールのいずれかからアクティブであるときに、表示されることがある。合成インジケータは、ガイドされたツール交換構成がツールのマニピュレータアームでアクティブであるときに、表示されることがある。合成インジケータは、器具クラッチが、オフスクリーンツールを制御するマニピュレータアームのためにアクティブであるときに、表示されることがある。合成インジケータは、外科医コンソールユーザが、オフスクリーンツールを制御するマニピュレータアームの制御を開始しようとするときに表示される。合成インジケータは、外科医のコンソールユーザが、オフスクリーンツールを制御するマニピュレータアームの制御を開始したときに表示されることがある。合成インジケータは、外科医コンソールユーザが、オフスクリーンツールに結合されたマニピュレータアームへのハンド(手)の関連付けを変更しているときに表示されることがある。合成インジケータは、オフスクリーンツールが結合されているかマニピュレータアームについての通知が表示されるときに、表示されることがある。
プロセス804cで、視野ボリュームの横方向の延伸に沿った合成インジケータの投影された三次元位置が決定されることがある。プロセス804dで、三次元合成インジケータの向きが、可視円錐または錐台内で内視鏡先端に面するように決定されることがある。プロセス804eで、合成インジケータの表面上のアイコン(例えば、アイコン254)の直立向きが計算されることがある。プロセス804fで、内視鏡光学系に対応する較正された立体カメラモデルを使用して、合成インジケータの左右両方のビューがレンダリング(描画)されることがある。
プロセス804で、視野外の器具の位置を示す三次元合成インジケータ(例えば、インジケータ218)が生成されることがある。より具体的には、幾つかの実施形態では、左右の合成インジケータの複合レンダリング(composite renderingが、内視鏡ビデオ上に重ねられることがある。
プロセス806で、三次元合成インジケータは、手術環境の視野の画像とともに表示されることがある。
図4は、ユーザの足から入力を受信するフットペダルとして構成される入力制御デバイス302、304、306、308、310、312(例えば、入力制御デバイス37)のための共通プラットフォームを形成する入力パネル301を含むオペレータ入力システム(例えば、オペレータ入力システム16)の入力制御装置300の頂面図を提供する。フットペダル302、304、306、308、310、312は、遠隔操作アセンブリ(例えば、アセンブリ12)および/または遠隔操作アセンブリのアームに結合された医療ツールの機能を制御するために係合されることがある。入力制御デバイス300は、入力制御デバイスに対するユーザ(例えば、ユーザの足または脚)の位置を検出するセンサシステム314を含むこともある。センサシステム314は、入力制御デバイス302~312のうちの1つ以上でまたはその近傍でユーザの存在を感知または追跡する、カメラ、光学センサ、運動センサ、または他のセンサを含むことがある。センサシステム314は、入力制御デバイスのうちの1つ以上が作動または係合されたことを検出する、圧力センサ、変位センサ、または他のタイプのセンサを含むこともある。
図5A、図5B、図5C、および図5Dは、グラフィカルユーザインターフェース200を図示している。医療ツール400および医療ツール402は、視野部分202において可視である。医療ツールの機能は、入力パネル301上の対応するフットペダルと係合することによって開始されることがある。例えば、医療ツール400は、情報ブロック210に示されるようにマニピュレータアーム1によって作動されることがあり、血管シーラであることがあり、血管シーラは、フットペダル302が係合されると、切断する機能を果たすことがあり、フットペダル304が係合されると、封止する機能を果たすことがある。図5Aに示すように、ツール400は、合成インジケータ404でラベル付けされることがある。この実施形態において、合成インジケータ404は、上方半円部分406および下方半円部分408を含む、概ね円形のバッジであることがある。上方半円部分406は、輪郭部分410および中央部分412を含み、下方半円部分408は、輪郭部分414および中央部分416を含む。上方半円形部分406は、二次フットペダル302の機能に対応することがあり、ペダル302の係合状態(例えば、ホバリングされている、アクティブ化されている)を示すことがある。下方半円部分408は、一次フットペダル304の機能に対応することがあり、ペダル304の係合状態(例えば、ホバリングされている、アクティブ化されている)を示すことがある。上方半円部分406と下方半円部分408の空間的関係は、ペダル302、304と同じまたは類似の空間的関係を有することがある。センサシステム314が、オペレータの足がフットペダル302からの閾値距離内の上でまたはその他でホバリングしていることを検出すると、上方半円形部分406の輪郭部分410は、オペレータの足がフットペダル302の近くにあることをオペレータに示すために外観を変化させる(例えば、色を変える、アニメ化される)ことがある。よって、オペレータは、オペレータの視覚がグラフィカルユーザインターフェース200に向けられたままである間に、フット位置を決定することができる。オペレータがフットペダル302に係合すると(例えば、ペダルを踏むかあるいは押し下げると)、上方半円形部分406の中央部分412は、オペレータに、オペレータの足がフットペダル302に係合したこと、およびフットペダル302の機能(例えば、切断)が開始されたことを示すために、外観を変化させる(例えば、色を変化させる、アニメ化される)ことがある。幾つかの実施形態において、フットペダル302のホバリングまたは係合状態は、同じまたは類似のグラフィカルインジケータを使用して情報ブロック210内に示されることがある。フットペダルの左バンク(例えば、ペダル302、304)は、左手入力制御デバイスと関連付けられることがあり、フットペダルの右バンク(例えば、ペダル306、308)は、右手入力制御デバイスと関連付けられることがある。各手は、あらゆる器具アームを制御するために関連付けられることがある。併置される合成インジケータは、対応する手および足に対する器具のこの関連付けを反映する。幾つかの構成において、内視鏡視野に対する器具のポーズは、その他の点では、左側または右側に対する曖昧な関連付けを有するように見えることがあるので、併置される合成インジケータは、この関連付けを明らかにする。
図5Cに示すように、下方半円部分408は、上方半円部分406と同様に、フットペダル304のホバリングおよび係合のインジケータとして機能することがある。オペレータが一次フットペダル304と係合すると(例えば、ペダルを踏むかあるいは押し下げると)、下方半円部分408の中央部分は、オペレータに、オペレータの足がフットペダル304に係合したこと、およびフットペダル304の機能(例えば、封止)が開始されたことを示すために、外観を変化させる(例えば、色を変化させる、アニメ化される)ことがある。外科医のコンソールにあるペダルは、色分けされることがある。例えば、一次ペダル304、308は、青色に着色されることがあり、二次ペダル302、306は、黄色に着色されることがある。この色分けは、関連するハイライトに反映され、グラフィカルユーザインターフェース上のペダル機能合成インジケータの色を塗り込む。
図5Bに示すように、ツール402は、合成インジケータ420でラベル付けされることがある。この実施形態において、合成インジケータ420は、外観および機能において合成インジケータ404と実質的に類似することがあるが、フットペダル306、308のセットに関する情報を提供することがある。ツール402は、情報ブロック214に示すようにマニピュレータアーム3によって作動されることがあり、モノポーラ焼灼器具であることがあり、モノポーラ焼灼器具は、フットペダル306が係合されるときに切断のためのエネルギを送達する機能を果たすことがあり、フットペダル308が係合されるときに凝固のためのエネルギを送達する機能を果たすことがある。オペレータの足が二次フットペダル306からの閾値距離内の上でまたはその他でホバリングしていることをセンサシステム314が検出すると、上方半円形部分の輪郭部分が外観を変化させて、オペレータの足がフットペダル306の近くにあることをオペレータに示すことがある。オペレータがフットペダル306に係合したかあるいはアクティブ化したことをセンサシステム314が決定すると、上方半円形部分の中央部分は、外観を変化させて、オペレータの足がフットペダル306に係合したこと、およびフットペダル306の機能(例えば、切断のためにエネルギを送達すること)が開始されたことを、オペレータに示すことがある。幾つかの実施形態において、二次フットペダル302のホバリングまたは係合状態は、同じまたは類似のグラフィカルインジケータを使用して情報ブロック214に示されることがある。
図5Dに示すように、インジケータ420の下方半円部分は、上方半円部分と同様に、一次フットペダル308のホバリングおよび係合についてのインジケータとして機能することがある。オペレータが一次フットペダル308と係合すると、下方半円部分の中央部分は、外観を変化させて、オペレータの足が一次フットペダル308に係合したこと、およびフットペダル308の機能(例えば、凝固のためにエネルギを送達すること)が開始されたことを、オペレータに示すことがある。
合成インジケータ404、420の位置および向きは、合成インジケータが、例えば、ツールクレビスまたはシャフトに接着されたデカルであるという外観を作り出すように決定されることがある。ツールまたは視野を提供する内視鏡が移動されると、合成インジケータ404、420は、ツール表面に対する接触(tangency)を維持し、上方ペダルおよび下方ペダルの空間的理解を維持するために、三次元空間における向きを変化させることがある。
合成インジケータの様々なタイプ、形状、および構成が、フットペダル係合の状態に関する情報を提供するために表示されることがある。代替的な実施形態では、図6A、図6B、図6C、および図6Dに示すように、医療ツール400、402を備えたグラフィカルユーザインターフェース200は、視野部分202において可視である。この実施形態では、合成インジケータ450、452、454、456が、周辺219に沿って延在する細長いバーの形態をとることがある。この例において、合成インジケータ450~456は、周辺219の境界内にあるが、代替の実施形態では、視野202の周辺219外にあることがある。
この実施形態において、合成インジケータ450、452は、フットペダル302、304のセットに関する情報を提供する際に、合成インジケータ404と同様の機能を果たすことがある。図6Aに示すように、オペレータの足が一次フットペダル308からの閾値距離内の上でまたはその他でホバリングしていることをセンサシステム314が検出すると、合成インジケータ456を輪郭化して、オペレータの足が一次フットペダル308の近くにあることをオペレータに示す。図6Bに示すように、オペレータがフットペダル308と係合すると、合成インジケータ456は、充填バーとなって、オペレータの足がフットペダル308と係合したこと、およびフットペダル308の機能が開始されたことを、オペレータに示すことがある。幾つかの実施形態において、フットペダル308のホバリングまたは係合状態は、同じまたは類似のグラフィカルインジケータを使用して、情報ブロック214に示されることがある。
図6Cに示すように、オペレータの足が二次フットペダル302からの閾値距離内の上でまたはその他でホバリングしていることをセンサシステム314が検出すると、合成インジケータ450を輪郭化して、オペレータの足がフットペダル302の近くにあることをオペレータに示す。図6Dに示すように、オペレータがフットペダル302と係合すると、合成インジケータ456は、充填バーとなって、オペレータの足がフットペダル302と係合したこと、およびフットペダル302の機能が開始されたことを、オペレータに示すことがある。幾つかの実施形態において、フットペダル302のホバリングまたは係合状態は、同じまたは類似のグラフィカルインジケータを使用して、情報ブロック210に示されることがある。
代替的な実施形態では、指示を提供するかあるいは空間的方向(例えば、上/下/左/右)を指示して、オペレータの足をフットペダルのためのホバリング位置に移動させるために、合成インジケータの代わりにあるいは合成インジケータに加えて、オーディオキューが提供されることがある。システムは、ペダル上で足をホバリングさせることとペダルを作動させることとの間を区別することがあり、係合状態または作動状態に対するホバリング状態についての明確な視覚的キューおよびオーディオキューが存在することがある。システムは、ペダル機能が有効または無効であるときを描くこともある。ペダル機能が有効でないときに(例えば、器具機能ケーブルが差し込まれていないとき、または器具機能が設定されていないときに)、ハイライト色はグレーに見えることがある。
フットペダルのセットに対応する合成インジケータを表示する方法820が、図13のフローチャートに図示されている。プロセス822では、手術環境(例えば、環境201)の視野(例えば、視野部分202)の画像が、例えば、ディスプレイ35に表示される。プロセス824で、第1のペダル302の係合状態を示す第1の合成インジケータ(例えば、半円形部分406)が生成される。プロセス826で、第2のペダル304の係合状態を示す第2の合成インジケータ(例えば、半円形部分408)が生成される。プロセス828で、第1の合成インジケータは、第1のペダルと第2のペダルとの間の空間的関係に基づいて、第2の合成インジケータに対して表示される。第1および第2のインジケータは、視野の画像とともに表示される。
図7A~図7Dに示すように、視野部分202内のコンポーネント上にバッジまたはラベルとして表示する合成インジケータは、コンポーネントの近傍に現れることがあり、コンポーネントまたは視野を生成する内視鏡が移動されるにつれて、コンポーネントに近接し可視のままであるように条件付きで移動することがある。合成インジケータは、上述の目的のいずれかのために使用されることがあるが、視野部分202内の医療ツールまたは他のコンポーネントを識別し、医療ツールが結合されるマニピュレータアームを識別し、医療ツールに関する状態情報を提供し、医療ツールに関する動作情報を提供し、あるいはツールまたはツールが結合されるマニピュレータアームに関する任意の他の情報を提供するために使用されることもある。
図7Aに示すように、合成インジケータ500は、ツール502と関連付けられることがある。この実施形態において、合成インジケータ500は、ツール502上にデカルの外観を有するように構成されたバッジであることがある。バッジ500は、ツール502のジョー504a、504bに近接して現れることがあるが、ジョーを閉塞するのを回避するように位置決めされることがある。配置は、基礎を成す運動追跡技術の位置不確実性に基づいてジョーから離れる付勢を含むことがある。バッジ500のデフォルト位置は、ツール502上の所定のキーポイント501にあることがある。図7Aに示すように、バッジ500は、ツールのクレビスに配置されたキーポイント501に配置されることがある。バッジ500は、バッジ500がキーポイントに留まり、クレビスの表面に沿って方向付けられるように、内視鏡またはツール502が動くにつれて枢動しかつ並進することがある。クレビスの表面は、視野部分202内でもはや可視でないときに、バッジ500は、(所定のジョイント場所で)図7Bに示すようにあるいは(ツール502のシャフトに沿って)図7Dに示すように別のキーポイント503に移動されることがある。
バッジ500は、キーポイント位置が視野部分202内で可視のままであるならば、元のキーポイント場所に留まることがある。図8は、患者解剖学的構造551内に延びる内視鏡550(例えば、撮像システム15)を図示している。観察円錐552(観察コーン)が、内視鏡550の遠位端から組織表面553まで延びている。観察円錐552内のエリアは、視野部分202内で可視であるエリアであることがある。ツール554が、患者解剖学的構造551内に延びる。バッジ556が、キーポイント557でデフォルト位置を有することがある。デフォルト位置がディスプレイ上で可視であるかどうかを決定するために、バッジ556の表面に対して法線方向の線558が考慮されることがある。法線558は観察円錐552内に延びないので、デフォルト位置にあるバッジ556が可視でないという決定が行われることがある。法線558が観察円錐552内に延びないという条件に基づいて、バッジ556は、キーポイント559で二次的なデフォルト位置に移転されることがある。第2のキーポイント559におけるバッジ556への法線562は、ツール554または内視鏡550の動きがバッジへの法線を観察円錐552内にもはや延びなくさせるまで、バッジ556が第2のキーポイント559に留まることがあるように、観察円錐552内にある。図7Bを再び参照すると、(図7Aにおける)元のキーポイントにおけるバッジ500への法線は、もはや観察円錐内にないので、バッジ500は、第2のデフォルトキーポイントに移転されることがある。
キーポイントにおけるバッジ500の向きは、バッジ表面への垂線が視野円錐内にあり、よって、視野部分202内で可視であるように制約されることがある。法線が観察円錐内にあるように、バッジがキーポイントで方向付けられないならば、バッジ500は、異なるキーポイントに移動されることがある。図7Dに示すように、バッジ500の向きは、バッジ500の表面が視聴者に可視に留まる間に、ツール502シャフトの向きに整合するように枢動されることがある。バッジ500のサイズは、バッジが取り付けられたキーポイントの距離が内視鏡の遠位端のより近くまたはより遠くに移動するにつれて、あるいは内視鏡のズーム機能がアクティブ化されるときに変化することもある。バッジのサイズは、ディスプレイ上で大きくなりすぎるかあるいは小さくなりすぎることを避けるために、最大閾値および最小閾値の範囲内に留まるように制御されることがある。図7Cに示すように、バッジ500は、より小さいことがある。何故ならば、図7Cのキーポイントは、図7Aのキーポイントよりも内視鏡から遠くにあるからである。
手術環境内のツールと関連付けられる合成インジケータの位置、向き、および深さは、制御システムによるツール追跡および奥行きマップ分析に基づいて決定されることがある。ツール追跡だけでは、合成インジケータがツール表面上で浮かんだりあるいは相互貫入したりするように見えさせる多少の残留誤差を生むことがある。これは視聴者の注意をそらすことがあり、合成インジケータおよび関連ツールとの融合問題につながることがある。内視鏡の遠位端からの視野部分202内の表面の距離に関する情報を提供する奥行きマップは、ツール表面上の合成インジケータの配置を精緻化するために使用されることがある。より具体的には、レイキャスト投影が、基準合成インジケータ位置の許容差内で計算ざれることがある。生成された誤差を用いて、ツールの表面上に合成インジケータをより正確に配置するための半径方向オフセット補正を推定することがある。奥行きマップの品質および精度は、ツールが移動している場合に比べて、ツールが静的または準静的であるときにより良い。よって、半径方向オフセット補正のレイキャスティングおよび更新は、器具キーポイント速度が閾値速度よりも低いときに行われることがある。代替的に、投影テクスチャリングを使用して、合成インジケータを抽出された奥行きマップ表面上に直接配置することがある。奥行きマップを生成するためのシステムおよび方法は、特許文献1および特許文献2にさらに記載されており、それらの全文は、参照により本明細書に組み込まれる。
図9Aおよび図9Bは、視野部分202内で可視である医療ツール600および医療ツール602を備えるグラフィカルユーザインターフェース200を図示している。合成インジケータ604が医療ツール600上に表示され、合成インジケータ606が医療ツール602上に表示される。図9Bに示すように、ツール602が内視鏡の視点からツール600の背後に移動するにつれて、ツール602に対する合成インジケータ606の位置および向きは、固定されているように見えるツール602の表面と同じ三次元深さに維持されることがある。合成インジケータ606は、別のオブジェクトの背後に位置付けられるときでさえも、視覚的にはそのキーポイントと併置されたままである。ツール600によって閉塞されるのではなく、合成インジケータ606は、合成インジケータ606がツール600の半不透明シャフトを通じて見られていることを視聴者に示す視覚的処理(例えば、ゴステストされた外観、退色した外観、半透明、点線付き境界)で示されることがある。奥行きマップを使用して、視野の画像との合成インジケータ606の奥行きを意識した混合を行うことがある。
立体画像上に単に重ね合わせられた三次元合成インジケータは、深さを考慮せずに、視野内のコンテンツによって交差されるかあるいは閉塞されることがある。これは、現実のオブジェクトと合成オブジェクトとの間の誤解を招く空間的関係、ならびに立体的融合の困難さを引き起こし得る。奥行きマップを使用することは、視野内に置かれた合成インジケータの空間的外観を向上させることがある。幾つかの実施形態において、奥行きマッピングは、奥行きマップよりも深い合成インジケータの部分をレンダリングおよび表示しないようにする閉塞選択除去(occlusion culling)のために使用されることがある。合成インジケータの完全な選択除去は、またはその部分的な選択除去さえも、物理的な併置(collocation)状態情報の損失を招くことがある。幾つかの例では、併置合成インジケータが、準最適トラッキングまたはレンダリング条件(例えば、深さ閉塞、視野選択除去、トラッキング性能不良、奥行きマップ品質不良、立体整列不良など)の存在の下で表示されるときに、グラフィカルユーザインターフェースは、図5A~図5Dに示す併置されたインジケータから図6A~図6Dに示す空間的に整列された周辺インジケータに徐々に戻ることがある。
他の実施形態において、奥行きマップを使用するとき、完全な合成インジケータは保存されることがあるが、さもなければ、合成インジケータの閉塞部分(閉塞された部分)は、非閉塞部分(閉塞されていない部分)とは異なる視覚的処理(例えば、半透明処理)でレンダリングされることがある。合成インジケータの閉塞部分のための特別な視覚的処置を達成するために、合成インジケータへのレンダリングは、2段階で行われることがある。第1の段階において、合成インジケータは、奥行きマップを参照または修正することなく、不透明度を減らしてレンダリングされることがある。第2の段階において、合成インジケータは、閉塞されていないピクセルのみがより不透明に見え、第1の段階で生成されたピクセル上にレンダリングされるように、奥行きマップの選択除去を適用しながら、より不透明にレンダリングされることがある。よって、合成インジケータの閉塞部分は、減少した透明度(例えば、より多くの半透明度)で現れ、合成インジケータの非閉塞部分は、より大きいまたは完全な不透明度で現れる。幾つかの実施形態では、立体ディスプレイを使用して、一方の眼(例えば、視聴者の非優位眼)のための合成インジケータレンダリングは、合成インジケータの閉塞部分を選択除去する(cull)ことがあり、他方の眼(例えば、視聴者の優位眼)のための合成インジケータレンダリングは、奥行きマップおよび奥行きを意識した混合を使用して生成されることがある。幾つかの実施形態では、合成インジケータが、ユーザが生成したグラフィックに基づいて生成されることがある。ユーザが生成したグラフィックは、合成インジケータが立体的に生成されるときに、単眼画像に基づくことがある。
図10Aおよび図10Bは、視野部分202内で可視である医療ツール650を有するグラフィカルユーザインターフェース200を図示している。図10Aでは、合成インジケータ652が、視野部分202内にレンダリングされるが、立体画像においてツール650より上に浮かぶように見える。図10Bでは、合成インジケータ654が、インジケータ652と同じ位置にレンダリングされるが、図10ABにおけるレンダリングは、合成インジケータがツール650のシャフト内に埋め込まれる視覚的外観を生成する。この視覚的外観を作り出すために、合成インジケータ654の内側部分656は、内側部分656がツール650によって覆われるか、あるいはツール650に対して内部であることを示すために、陰影(シェーディング)でレンダリングされる。合成インジケータ654の外側部分658が、外側部分658がツール650に対して外部にあることを示すために、完全な不透明度でレンダリングされる。
図10Cは、視野部分202で可視である医療ツール650および医療ツール651を有するグラフィカルユーザインターフェース200を図示している。図10Cでは、合成インジケータ660が、ツール650を囲むように見えるリングとしてレンダリングされ、合成インジケータ662が、ツール651を囲むように見えるリングとしてレンダリングされる。上述した深さを意識した混合技術を使用して、ツール650の背後に現れる合成インジケータ660の一部分664が、ツール650および周囲組織の上に現れる合成インジケータ660の一部分666とは異なる陰影または色でレンダリングされることがある。同様に、ツール651の背後に現れる合成インジケータ662の一部分668が、ツール651の上に現れる合成インジケータ662の一部分670とは異なる陰影または色でレンダリングされることがある。
幾つかの実施形態において、グラフィカルユーザインターフェース200は、ガイドされたツール変更における使用のための合成インジケータを表示するために使用されることがある。合成インジケータは、遠位標的マークへの新しいツールの挿入をガイドする経路として役立つ合成チューブとしてレンダリングされることがある。幾つかの実施形態において、合成チューブの全部または一部は、組織または他のツールによって閉塞されることがある。図11A~図11Dは、視野部分202の異なるバリエーションを有するグラフィカルユーザインターフェース200を図示している。図11Aは、視野部分202の奥行きマップ701の可視化を図示している。ツール700およびツール702は、視野部分内で可視である。合成チューブの形態の合成インジケータ704が、標的マーク708へのツール706の挿入をガイドするために提供されることがある。奥行きマップは、合成チューブ704または標的マーク708の部分が他の構造によって閉塞されているかどうかを示すことがある。図11Bでは、合成チューブ704および標的マーク708のいずれも閉塞されていないので、合成チューブ704および標的マーク708についてのグラフィックスは、特別な視覚的特性または処理なしで提示される。図11Cでは、組織710が、合成チューブ704および標的マーク708の一部分を塞ぐので、チューブ704およびマーク708の閉塞部分は、ツール交換経路が組織710によって部分的に塞がれているという情報を視聴者に提供するために、非閉塞部分よりも半透明な視覚的処理を有することがある。図11Dにおいて、組織710は、合成チューブ704のより大きな部分を塞ぎ、標的マーク708を完全に塞ぐ。チューブ704およびマーク708の閉塞部分は、ツール交換経路が組織710によって部分的に塞がれているという情報を視聴者に提供するために、非閉塞部分よりも多くの半透明の視覚的処置を有することがある。これらの例において、不透明度キューは、閉塞されている合成インジケータの部分の表示を提供することがある。他の例では、ガイドされる経路の閉塞部分により多くの注意を引く色またはテクスチャ特性を修正するために、他の視覚的特性が(上述のような)2段階のレンダリングプロセスで修正されることがある。閉塞部分の視覚特性は、静的または動的な、時間的に変化する方法において修正されることがある。奥行きマップは、挿入経路の閉塞状態に関する幾何学的クエリに答えるために使用されることもある。1つ以上の光線は、ツール706の先端から挿入経路方向に沿って標的マークに向かって放射される場合であることがある。標的マークにより近い、塞がれていない挿入経路が見出されるならば、システムは、視聴者に警告を発することがあり、あるいは障害物がないように合成インジケータチューブを調整することがある。
部分的に閉塞された合成インジケータを表示する方法840が、図14のフローチャートに図示されている。プロセス842で、手術環境(例えば、環境201)の視野(例えば、視野部分202)の画像が、例えば、ディスプレイ35に表示される。プロセス844で、手術環境中の器具(例えば、ツール706)に関連する第1の合成インジケータ(例えば、合成マーク708)が生成される。プロセス846で、第1の合成インジケータおよび視野内の構造を含む奥行きマッピング(例えば、奥行きマップ701)が生成される。プロセス848で、構造によって閉塞された第1の合成インジケータの閉塞部分が生成される。プロセス850で、第1の合成インジケータは、第1の合成インジケータの非閉塞部分とは区別されたグラフィック外観を有する第1の合成インジケータの閉塞部分で表示される。
1つの実施形態、実装、または適用を参照して詳細に記載された要素は、実用的であるときにはいつでも、それらが具体的に図示も記載もされていない他の実施形態、実装、または適用に任意に含まれることがある。例えば、ある要素が一実施形態を参照して詳細に記載されており、第2の実施形態を参照して記載されていない場合、その要素は、それにもかかわらず、第2の実施形態に含まれるものとして特許請求されることがある。よって、以下の記述における不必要な繰り返しを回避するために、1つの実施形態、実装、または適用に関連して図示され記載される1つ以上の要素は、他のことが特に記載されない限り、1つ以上の要素が実施形態または実装を非機能的にしない限り、あるいは要素のうちの2つ以上が矛盾する機能を提供しない限り、他の実施形態、実装、または態様に組み込まれることがある。
記載されるデバイス、システム、器具、方法、および本開示の原理の任意のさらなる適用に対するいかなる変更およびさらなる修正も、本開示が関係する当業者に通常思い浮かぶように、完全に想定される。特に、一実施形態に関して記載される構成、コンポーネント、および/またはステップは、本開示の他の実施形態に関して記載される構成、コンポーネント、および/またはステップと組み合わされる場合があることが十分に考えられる。加えて、本明細書で提供される寸法は、特定の例のためのものであり、本開示の概念を実装するために、異なるサイズ、寸法、および/または比率が利用される場合があることが考えられる。不必要な記述的反復を回避するために、1つの例示的な実施形態に従って記載された1つ以上のコンポーネントまたは動作が、他の例示的な実施形態から適用可能であるように使用されることができ、あるいは省略されることができる。簡潔さのために、これらの組み合わせの多数の繰り返しは、別個には記述されない。
様々なシステムおよびシステムの部分は、三次元空間におけるそれらの状態の観点から記載される。本明細書で使用されるとき、「位置(position)」という用語は、三次元空間(例えば、デカルトX、Y、およびZ座標に沿った3つの並進自由度)におけるオブジェクトまたはオブジェクトの一部分の場所(location)を指す。本明細書で使用されるとき、「向き(orientation)」という用語は、オブジェクトまたはオブジェクトの一部分の回転的な配置(3つの回転自由度、例えば、ロール、ピッチ、およびヨー)を指す。本明細書で使用されるとき、「姿勢(pose)」という用語は、少なくとも1つの並進自由度におけるオブジェクトまたはオブジェクトの一部分の位置を指し、少なくとも1つの回転自由度(最大6つの自由度)におけるオブジェクトまたはオブジェクトの一部分の向きを指す。
本明細書に記載される例の一部は、外科処置または器具、または医療処置および医療器具に言及するが、開示される技術は、任意に、非医療処置および非医療器具に当て嵌まる。例えば、本明細書に記載される器具、システム、および方法は、工業的用途、一般ロボット用途、および非組織ワークピースの感知または操作を含む、非医療目的に使用されることがある。他の例示的な用途は、美容上の改良、人間または動物の解剖学的構造の撮像、人間または動物の解剖学的構造からのデータ収集、および医療従事者または非医療従事者の訓練を含む。追加の例示的な用途は、(人間または動物の解剖学的構造に戻らない)人間または動物の解剖学的構造から取り除かれた組織に対する処置のための使用、および人間または動物の死体に対する処置を実行することを含む。さらに、これらの技術は、外科的および非外科的な医療処置または診断手順のためにも用いられることができる。
コンピュータは、プログラムされた命令に従い、処理された出力情報を生成するために入力情報に対して数学的または論理的関数を実行する機械である。コンピュータは、数学または論理関数を実行する論理ユニットと、プログラムされた命令、入力情報、および出力情報を格納するメモリとを含む。「コンピュータ(computer)」という用途、および「プロセッサ(processor」または「コントローラ(controller)」または「制御システム(control system)」のような同様の用語は、類似する。
本発明の特定の例示的な実施形態が添付の図面に記載されかつ図示されているが、そのような実施形態は、例示的であるにすぎず、広範な本発明を限定しないこと、および本発明の実施形態は、図示および記載される特定の構造および構成に限定されないことが理解されるべきである。何故ならば、様々な他の変更が、当業者の心に思い浮かぶことがあるからである。
Claims (15)
- ディスプレイシステムと、
制御システムと、を含み、
前記制御システムは、1つ以上のプロセッサを含む制御ユニットを含み、
前記制御ユニットは、
撮像コンポーネントによって生成される手術環境の視野の画像を前記ディスプレイシステムに表示し、
前記手術環境内の器具と関連する第1の合成インジケータを生成し、
前記視野内の構造および前記第1の合成インジケータを含む奥行きマッピングを生成し、
前記構造によって閉塞された前記第1の合成インジケータの閉塞部分を前記奥行きマッピングから決定し、
前記第1の合成インジケータを前記ディスプレイシステムに表示する、
ように構成され、
前記第1の合成インジケータの前記閉塞部分は、前記第1の合成インジケータの非閉塞部分とは区別されたグラフィック外観を有する、
医療システム。 - 前記第1の合成インジケータは、制御マニピュレータアームを示すアイコンを含む、請求項1に記載の医療システム。
- 前記第1の合成インジケータは、前記器具の周りに表示されるリングを含む、請求項1に記載の医療システム。
- 前記第1の合成インジケータは、細長い器具ガイドを含む、請求項1に記載の医療システム。
- 前記区別されたグラフィック外観は、不透明度の減少である、請求項1に記載の医療システム。
- 前記区別されたグラフィック外観は、区別された色、テクスチャ、またはパターンである、請求項1に記載の医療システム。
- 前記第1の合成インジケータは、前記ディスプレイシステムの単一立体眼ディスプレイ内の眼画像のための前記奥行きマッピングによって選択除去される、請求項1に記載の医療システム。
- 前記第1の合成インジケータは、ユーザ生成グラフィックに基づいて生成される、請求項1に記載の医療システム。
- 前記ユーザ生成グラフィックは、単眼画像に基づき、前記第1の合成インジケータは、立体的に生成される、請求項8に記載の医療システム。
- コンピュータ実装される方法であって、
手術環境の視野の画像をディスプレイシステムに表示することであって、前記画像は、撮像コンポーネントによって生成される、表示することと、
前記手術環境内の器具と関連する第1の合成インジケータを生成することと、 前記視野内の構造および前記第1の合成インジケータを含む奥行きマッピングを生成することと、
前記構造によって閉塞される前記第1の合成インジケータの閉塞部分を前記奥行きマッピングから決定することと、
前記第1の合成インジケータを前記ディスプレイシステムに表示することであって、前記第1の合成インジケータの前記閉塞部分は、前記第1の合成インジケータの非閉塞部分とは区別されたグライフィック外観を有する、表示することと、を含む、
方法。 - 前記第1の合成インジケータは、制御マニピュレータアームを示すアイコンを含む、請求項10に記載の方法。
- 前記第1の合成インジケータは、前記器具の周りに表示されるリングを含む、請求項10に記載の方法。
- 前記第1の合成インジケータは、細長い器具ガイドを含む、請求項10に記載の方法。
- 前記区別されたグラフィック外観は、不透明度の減少である、請求項10に記載の方法。
- 前記区別されたグラフィック外観は、区別された色、テクスチャ、またはパターンである、請求項10に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063119549P | 2020-11-30 | 2020-11-30 | |
US63/119,549 | 2020-11-30 | ||
PCT/US2021/060917 WO2022115667A1 (en) | 2020-11-30 | 2021-11-29 | Systems providing synthetic indicators in a user interface for a robot-assisted system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023551504A true JP2023551504A (ja) | 2023-12-08 |
Family
ID=79601501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023532532A Pending JP2023551504A (ja) | 2020-11-30 | 2021-11-29 | ロボット支援システムのためのユーザインターフェースにおいて合成インジケータを提供するためのシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240090962A1 (ja) |
EP (1) | EP4251087A1 (ja) |
JP (1) | JP2023551504A (ja) |
KR (1) | KR20230113360A (ja) |
CN (1) | CN116685285A (ja) |
WO (1) | WO2022115667A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024108139A1 (en) * | 2022-11-18 | 2024-05-23 | Intuitive Surgical Operations, Inc. | Object detection and visual feedback system |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7907166B2 (en) | 2005-12-30 | 2011-03-15 | Intuitive Surgical Operations, Inc. | Stereo telestration for robotic surgery |
US9718190B2 (en) * | 2006-06-29 | 2017-08-01 | Intuitive Surgical Operations, Inc. | Tool position and identification indicator displayed in a boundary area of a computer display screen |
US8830224B2 (en) | 2008-12-31 | 2014-09-09 | Intuitive Surgical Operations, Inc. | Efficient 3-D telestration for local robotic proctoring |
US8423182B2 (en) * | 2009-03-09 | 2013-04-16 | Intuitive Surgical Operations, Inc. | Adaptable integrated energy control system for electrosurgical tools in robotic surgical systems |
US10314559B2 (en) * | 2013-03-14 | 2019-06-11 | Inneroptic Technology, Inc. | Medical device guidance |
JP6257371B2 (ja) * | 2014-02-21 | 2018-01-10 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
US10610315B2 (en) * | 2015-03-17 | 2020-04-07 | Intuitive Surgical Operations, Inc. | Systems and methods for onscreen identification of instruments in a teleoperational medical system |
JP6180692B1 (ja) * | 2015-12-28 | 2017-08-16 | オリンパス株式会社 | 医療用マニピュレータシステム |
DE102017103198A1 (de) * | 2017-02-16 | 2018-08-16 | avateramedical GmBH | Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs |
EP3592273B1 (en) * | 2017-03-10 | 2023-10-04 | Biomet Manufacturing, LLC | Augmented reality supported knee surgery |
KR102477325B1 (ko) * | 2017-12-14 | 2022-12-16 | 버브 서지컬 인크. | 로봇 수술 시스템용 다중 패널 그래픽 사용자 인터페이스 |
JP6898285B2 (ja) * | 2018-09-25 | 2021-07-07 | 株式会社メディカロイド | 手術システムおよび表示方法 |
-
2021
- 2021-11-29 US US18/255,062 patent/US20240090962A1/en active Pending
- 2021-11-29 CN CN202180089748.1A patent/CN116685285A/zh active Pending
- 2021-11-29 WO PCT/US2021/060917 patent/WO2022115667A1/en active Application Filing
- 2021-11-29 EP EP21843807.5A patent/EP4251087A1/en active Pending
- 2021-11-29 KR KR1020237021622A patent/KR20230113360A/ko unknown
- 2021-11-29 JP JP2023532532A patent/JP2023551504A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4251087A1 (en) | 2023-10-04 |
KR20230113360A (ko) | 2023-07-28 |
CN116685285A (zh) | 2023-09-01 |
US20240090962A1 (en) | 2024-03-21 |
WO2022115667A1 (en) | 2022-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10905506B2 (en) | Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system | |
US11872006B2 (en) | Systems and methods for onscreen identification of instruments in a teleoperational medical system | |
US20230157776A1 (en) | Systems and methods for constraining a virtual reality surgical system | |
CN110944595B (zh) | 用于将内窥镜图像数据集映射到三维体积上的系统 | |
US11766308B2 (en) | Systems and methods for presenting augmented reality in a display of a teleoperational system | |
EP3651677B1 (en) | Systems and methods for switching control between multiple instrument arms | |
US11633247B2 (en) | Graphical user guidance for a robotic surgical system | |
US20220211270A1 (en) | Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments | |
JP2023551504A (ja) | ロボット支援システムのためのユーザインターフェースにおいて合成インジケータを提供するためのシステム | |
US20200246084A1 (en) | Systems and methods for rendering alerts in a display of a teleoperational system | |
WO2023150449A1 (en) | Systems and methods for remote mentoring in a robot assisted medical system | |
WO2023220108A1 (en) | Systems and methods for content aware user interface overlays | |
WO2024081683A1 (en) | Systems and methods for persistent markers | |
WO2023192465A1 (en) | User interface interaction elements with associated degrees of freedom of motion | |
EP3793468A1 (en) | Method and apparatus for manipulating tissue |