JP6457262B2 - 外科手術をシミュレーションする方法およびシステム - Google Patents

外科手術をシミュレーションする方法およびシステム Download PDF

Info

Publication number
JP6457262B2
JP6457262B2 JP2014502844A JP2014502844A JP6457262B2 JP 6457262 B2 JP6457262 B2 JP 6457262B2 JP 2014502844 A JP2014502844 A JP 2014502844A JP 2014502844 A JP2014502844 A JP 2014502844A JP 6457262 B2 JP6457262 B2 JP 6457262B2
Authority
JP
Japan
Prior art keywords
image
aneurysm
model
tissue
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014502844A
Other languages
English (en)
Other versions
JP2014522248A (ja
Inventor
アヴィザル,モルデチャイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2014522248A publication Critical patent/JP2014522248A/ja
Application granted granted Critical
Publication of JP6457262B2 publication Critical patent/JP6457262B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • A61B2034/104Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Optimization (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Educational Technology (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Robotics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medicinal Chemistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computational Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Algebra (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)

Description

本出願は、2011年3月30日出願の米国仮出願シリアル番号第61/469,152号の受益を主張し、この仮出願は参照により本明細書に組み込まれる。
本出願は一般的に、外科手術のシミュレーションのシステムおよび方法に関する。より具体的にいうと,本出願は、脳動脈瘤クリッピング手術のシミュレーションのために、組織運動のモデルを患者特有の像に結び付けることにより、(例えば、手術ツール、プローブ、および/または埋め込み可能な医療装置のような)医療ツールと相互作用する、静的/静止医療画像を動的および対話型画像に変換するシステムおよび方法に関する。
”医療エラーは、年間98,000人もの人を殺し、有害事象に国全体で370億ドルから500億ドルのコストがかかり、予防可能な有害事象に170億ドルから290億ドルのコストがかかる。””手術エラーは医療エラーにつながる。”To Err Is Human:Building a Safer Health System,Institute of Medicine.National Academy of Sciences.(1999)より。
さらに、2002〜2006年の米国の民間病院で治療された脳動脈瘤19,034件のうち、10,719件(56%)が脳動脈瘤クリッピング手術によって治療された。血管内技術の出現をもってしても、より複雑な動脈瘤はなお顕微手術クリッピングを必要とする。
脳動脈瘤修復手術のようなリスクが高い手術の推移の間、例えば、外科医が動脈瘤域にアプローチしようと組織を押しおよび切断するとき、脳組織の絶対定位は明らかに変更される。従って、予め登録された3D像に基いた画像誘導ナビゲーションシステムのような、進歩した手術準備および支援システムの現在の利用は、外科医の補助に限定される。また、動脈瘤修復のような手術は、例えば動脈瘤領域への一時的血管クランピングを含む種々の処置により、時間が非常に重要になる。従って処置の効率がとても重要であり、患者特有の局部の幾何学構造および動脈瘤の物理的特性に基いた詳細な計画が根本的である。新しいレベルの手術前の準備のため、3DのCTおよびMRI画像がますます使用されている。しかしそれらの画像は、単独では手術のリハーサルに小さな利点しかもたらさない。
外科医には、彼らに物理的組織特性を持つ臨場感がある視覚モデルを提供するリハーサルおよび準備ツールが不足している。現在、神経外科医が動脈瘤の患者特有の解剖学的構造に基き顕微手術の方法を計画および物理的にリハーサルするのを可能にする、手術前の準備機能はない。よって、以下を含む”完全没入”手術ツールを有することが望まれる。
(i)(脳動脈瘤クリッピング手術支援のような)手術の患者特有の領域の臨場感がある”本物のような”3D表示、(ii)手術の幾何学構造および物理的特性の局部の患者特有の領域のモデル作成、(iii)手術モデルの患者特有の領域の操作、および切断、移動およびクランピングのような手術動作の仮想的実行を可能にするインタフェース、(iv)外科医にフィードバック指示を提供するインタフェース。
”脳動脈瘤手術リハーサルプラットフォーム”(CA−SRP)と呼ぶ開示されたシステムおよび方法は、神経外科医が動脈瘤の患者特有の解剖学的構造に基き顕微手術の方法を計画および物理的にリハーサルするのを可能にするプラットフォームを提供する。比類のない手術準備システムとして、CA−SRPは以下の患者特有のものを提供する。(i)組織の力学的特性の正確なモデル作成、(ii)(切開/伝統的手術に見られるような)組織の臨場感がある3D像、(iii)動的および対話型3D組織モデルの、リアルタイムの手術のような操作、(v)動脈瘤クリップ、埋没物および他の装置を含む、3次元の動的および対話型患者特有のケースに統合された手術ツールの動的および対話型モデル作成。従ってCA−SRPは、患者、外科医、および病院に対し、以下の臨床的利点を提供する。(i)顕微手術クリッピング中の客観的に評価される手術中のエラーの可能性を減少、(ii)有害事象に対する神経外科医の洞察力のある正常な反応の可能性の向上、(iii)手術時間の減少。
特定の患者の医療画像から取得され、または導き出された患者組織画像情報を格納し、組織の基準特性も格納するデータベースと、ディスプレイと、ディスプレイ上で表示するため、特定の患者の組織の動的3D画像を生成し、生成は、組織の動的3D画像が臨場感を持って特定の患者の対応する実際の組織を表すように、患者画像情報を使用する画像発生器と、モデル作成システムとともに使用するため適合された実際の手術ツールに接続するツールインタフェースと、ユーザによりもたらされた操作により、組織の動的3D画像と動的に相互作用するためユーザツールのツールモデルを生成するユーザツール発生器と、ツールモデルのパラメータを調整する前記ユーザのためのユーザ・インタフェースを備え、ツールモデルはディスプレイ上に表示され、医療処置の臨場感があるシミュレーションのため調整されたパラメータにより組織の動的3D画像と動的に相互作用する、手術シミュレーションを実行するモデル作成システムが提供される。
特定の患者の医療画像から取得され、または導き出された患者組織画像情報を格納するデータベースであって、画像情報は動脈瘤を含み、データベースは組織の基準特性も格納するデータベースと、ディスプレイと、ディスプレイ上で表示するため、特定の患者の組織の動的3D画像を生成する画像発生器であって、生成は、組織の動的3D画像が臨場感を持って特定の患者の対応する実際の組織を表し、3Dで動脈瘤の画像を示す少なくとも1つの血管を含むように、患者画像情報を使用する画像発生器と、ユーザに対する異なる動脈瘤クリップの複数のモデルのライブラリを格納するメモリと、動脈瘤の画像と動的に相互作用するための動脈瘤クリップモデルとして使用するために、複数のモデルから1つの動脈瘤クリップモデルを選択するユーザ・インタフェースと、モデル作成システムとともに使用するため適合された実際の動脈瘤クリップアプライヤに接続するツールインタフェースと、動脈瘤の画像の力学的特性を調整するユーザのためのインタフェースと、ユーザによる実際の動脈瘤クリップアプライヤの操作により、動脈瘤の画像との動的な相互作用のため、選択された動脈瘤クリップモデルを生成する、ユーザツール発生器を備え、動脈瘤クリッピング手術の臨場感があるシミュレーションのためユーザにより調整されたように、動脈瘤クリップがディスプレイ上に表示され、画像の力学的特性に基き動脈瘤の画像と動的に相互作用する、動脈瘤クリッピング手術のシミュレーションを実行するモデル作成システムも提供される。
また提供されるのは本発明の付加的な実施形態であり、それらのいくつか(しかし全てではない)を実施形態の例として詳細をさらに以下に記載する。
本明細書に記載された本発明の例の機能および利点は、添付の図を参照して後述の記載を読むと、本発明に関する当業者に明らかである。
手術シアタの例の高レベルの図を提供する。 手術シアタの例のハードウェアの実装の他の高レベルの図を提供する。 共同シアタの概念の例の高レベルの図を提供する。 手術シアタの実施形態の例に関する、分散シミュレーションネットワークの概念の明細の例を示す。 手術シアタのための設計レベルおよび準備段階のソフトウェア設計の必要条件を示すブロック図ブロック図である。 手術シアタのための高レベルの臨場感がある画像発生器(RIG)プラットフォームの例を提供する。 手術シアタのための手術リハーサルプラットフォーム(SRP)の高レベルの基本設計概念およびワークフローの例を提供する。 手術シアタのためのDICOMポリュームビューアにおけるウィンドウのスクリーンショットの例である。 手術シアタのためのDICOMポリュームビューアにおけるウィンドウのスクリーンショットの例である。 脳動脈瘤手術リハーサルプラットフォーム(CA−SRP)の実施形態の例の高レベルのブロック図を示す。 CA−SRPインタフェースの描写された3D組織モデルの例のスクリーンショットの例である。 CA−SRPインタフェースの描写された3D組織モデルの例のスクリーンショットの例である。 CA−SRPインタフェースの描写された3D組織モデルの例のスクリーンショットの例である。 動脈瘤クリップモデルの大きさの例を示す。 CA−SRPでインタフェースに対して変更された実際の動脈瘤クリップアプライヤの例を示す。 CA−SRPの例のための、シミュレーション表示に加えて、追跡、監視、および制御装置/インタフェースを通してシステムに接続される、実際の動脈瘤クリップアプライヤを示す。 CA−SRPの例のための、動脈瘤クリップモデルライブラリおよびシミュレーション表示の例のスクリーンショットを示す。 CA−SRPの例のための、動脈瘤および動脈瘤クリップの3Dシミュレーション表示の例を示す。 CA−SRPの例のための、動脈瘤クリップモデルライブラリおよびシミュレーション表示の他の例のスクリーンショットを示す。 CA−SRPの例のための、動脈瘤クリップ修正の表示例を示す。 CA−SRPの例のための、クリップを適用した前後の動脈瘤頸部の測定を実行する外科医インタフェースのスクリーンショットを示す。
米軍陸軍医学研究司令部の総司令官、Lester Martinez−Lopez大将が宣言した。”医療エラーを減少させ、医療スキルを向上し、とりわけ患者に対する医療ケアを向上するよう、シミュレーションが全範囲で活用することが可能になる日を楽しみにしている。”大将の見解の重要性は、驚くような医療統計内に強調される。”医療エラーは、年間98,000人もの人を殺し、有害事象に国全体で〜(中略)〜370億ドルから500億ドルのコストがかかり、〜(中略)〜予防可能な有害事象に170億ドルから290億ドルのコストがかかる。”神経外科医の見地から、医師El−KadiM.D.,Ph.D.は、”最もありふれた外科手術でさえ、合併症の可能性がある”と述べる。彼はさらに考える。”私にとって最も困難な部分は、私の頭の中でどう準備するかだ。私にとって、手術に臨むのは戦争に行くようなものだ。あなたはあなたの使命を確認し、非常によく準備し、計画を完璧に実行し、その後無事に帰宅しなくてはならない。あなたが準備できていないなら、あなたは行くべきではない。”本当に、リスクが高い手術(例えば脳動脈瘤修復)の実行には、最高レベルの外科医の準備が必要とされ、手術では厳しい時間制約下で重要な判断がなされ、判断は生物学的重要性および脳と周辺構造の脆弱性によって決定される。言い換えれば、外科医の準備は、ありうる壊滅的な結果を避け、臨床的成果の成功を最大化するために重要である。特に神経外科学の分野で、これは、客観的に評価される手術中のエラーの回避、および患者特有の外科手術の方法の改良を通して、手術成果の成功の可能性を増やす重大なニーズを生む。よって、患者へのリスクなしに特定の神経外科手術の推移を繰り返し計画し、物理的にリハーサルする可能性を神経外科医に提供することは、手術エラーを大幅に減少し、それによって手術成果の成功の可能性を増やす。
現在、よりよいレベルの手術準備のため、3DのCT/MRIスキャンがますます使用されている(6−11)。しかし脳手術の推移の間、例えば外科医が組織を切断、後退および切り離すとき、脳組織の絶対定位は明らかに変更される。予め登録した静的3D画像に基いた”進歩した”手術支援システムは、組織の位置の変化を反映できず、いずれの方法的リハーサル機能を提供しないので、これらのシステムの現在の使用は手術前の外科医の補助を限定する。民間および空軍での以前の調査は、課題実行前のリハーサルが成果の向上に重要でありうることを明らかに示した(12;13)。残念なことに、前述のようにこれらの任務前(または手術前)のシミュレーションおよび訓練ツールは、医療分野では著しく欠損していた。CA−SRPは、患者特有の脳動脈瘤クリッピング手術に関して、神経外科医が方法方策の開発、リハーサルおよび改良をするのを可能にする。この手術から生じうる主要な合併症は、とりわけ、早期動脈瘤破裂、術後脳卒中、または不適切なクリップ配置からの”再出血”を含む。さらに、動脈瘤修復の特定の段階が時間が非常に重要であるとき(例えば輸入管の一時的血管閉塞)、手術の効率はとても重要である。これは、患者特有の動脈瘤の局部の幾何学構造および物理的特性に基いた詳細な計画の重要性、および方法的リハーサル機能の必要を際立たせる。
開示されたシステムおよび方法(以下”脳動脈瘤手術リハーサルプラットフォーム”(CA−SRP))は、2010年10月19日出願の米国特許出願第12/907,285号(米国特許第8,311,791号)に開示された手術シアタシステムの改良を使用し、この出願は参照により本明細書に組み込まれる。手術シアタは、特定の組織の動的特性のモデルを患者特有の像に結び付けることによる、コンピュータ化されたシステムその動的および対話型画像内への医療画像を変換する。この動的および対話型画像/モデルは、医療像に新しく、革新的、独創的な標準を生み、多くの適用を持つ。特にこのシステム/方法は、患者特有の像と結び付けられた手術シアタ動的および対話型組織モデルの使用によって計画実行の強化が可能な、医療像ナビゲーションシステム、および画像誘導ロボット手術システムによって使用可能である。
手術シアタは、弁修復および交換、バイパス手術、脳腫瘍除去、動脈瘤クリッピングおよび他の、心臓および脳手術のようなリスクが高い活動を含む手術での困難に対処する。
例えば、脳腫瘍および脳動脈瘤のような開頭/伝統的な脳手術の場合、例えば、手術シアタはCTおよびMRI画像を変換し、周辺組織および血管とともに腫瘍を含む生体の動的モデル作成によって、脳腫瘍または動脈瘤領域の臨場感がある3次元(3−D)モデルを生成する。システムは、外科医の動作に応え、手術の準備をよりよく補助する本物のような手術ツールに接続される。手術シアタシステムは、特に脳腫脹、血管の損傷、腫瘍の残りの部分への到達を阻害する手術中の脳組織の移動のような、臨場感がある事象をシミュレーションする。外科医が与えられたケースの特定の手術の方法を調整するのを可能にし、手術効率を最大化する一方でリスクを最小化する計画ツールおよび準備ツールとして、システムを使用できる。
手術シアタシステムの概要
図1はシステム1の1つの適用例の実施形態を提供し、そこでは患者特有のスキャン画像(CT、MRIまたは同様のもの)(14)がシステムのコンソール(10)に送られ、3次元の臨場感がある解剖学的構造表示(18)を生成するアルゴリズムが画像に質感、影、シャドーイングおよび他の指示を加え、力学的特性アルゴリズム(16)が画像に力学動作特性を与え、静的/静止画像から動的および対話型画像/モデルに画像を変換する。フォースフィードバックありまたはなしのインタフェースがシステムに接続され、外科医/操作者(12)がシステムが生成する画像/モデルを操作するのを可能にする。外科医は、ツールおよび埋没物のライブラリから、それらのツールおよび埋没物の特性を含むツールおよび埋没物を選択可能である。外科医はそれから、臨場感があり動的な方法で、患者の生体の操作可能な動的および対話型3次元画像/モデル上で仮想手術を実行する。
システムは、外科医/操作者(12)の動作により、全てのシステム構成要素を実行および管理し、副構成要素のステータスをアップデートする監視プログラムを有する。例えば、外科医が(選択したツールの使用によるような)ディスプレイ(18)で見る組織を押すためインタフェース(20)を使用するとき、力学的特性モデル(16)は、例えば力の方向のような加えられた力に関する情報を受信する。使用されているツールはその物質および形状およびツールの他の力学的特性を含み、そして力学的特性は、加えられた力による、3次元の位置の新しい状態、画像の設定の計算に使用される。監視プログラムは、計算された3次元マトリクスを力学的特性アルゴリズム(16)により生成された臨場感がある解剖学的構造表示(18)に送信し、臨場感がある解剖学的構造表示は、新しい画像および画像の変化による指示、例えば画像構成要素の新しい位置が判断されたことによる新しいセットの影およびシャドーイングを計算する。同時に、力学的特性モデル(16)はパラメータのセットをフォースフィードバックインタフェース(20)へ送信し、これらのパラメータは、器官との相互作用により外科医/操作者(12)が検出する必要がある力(外科医が押した後器官が戻る力、またはそうでなければ組織と相互作用する力)の情報を含む。システムの構成要素(14、16、18、20)のうちの1つのそれぞれにおいて、この新しい段階の計算のプロセスは、急速および継続的に周期的方法で実行され、それぞれのサイクルはミリ秒の時間枠内で完了し、外科医/操作者がリアルタイムで臨場感がある指示、および彼の動作に対するリアルタイムの反応を受信することを可能にする。
図1Aに示されたように、手術シアタは、何台かのコンピュータ(PC)2A〜2n、1つまたは複数のデータベース3A〜3nおよび他のハードウェア構成要素(例えば、ネットワーク5、6)および所有権を主張できるソフトウェアを、クロゼット内で数歩の大きさの没入型チャンバ/コンソール内に構造化された(図1のコンソール10参照)、1つの完成したシステム1(図1および図1A参照)に統合するシステムである。外科医12がシステムを開始すると、外科医はシステムが関連データのアップロードするのを可能にする患者の詳細を含む彼の患者の設定パラメータをロードし、手術シアタはよりも、患者の可能な全てのCTおよびMRI画像を患者画像14からデータベース3へ、および患者の年齢、性別などのシミュレーションされたモデルに関する他の情報(このうちいくつかまたは全てを、例えば医療データベースのような外部のエンティティ8から得てもよい)をロードする。システムは、システムデータベースから組織情報パラメータ16を使用する。システム1は、区分化プロセスおよび識別された器官のエンティティを実行し、エンティティは、装置のディスプレイ上で外科医に示されるシミュレーションされた画像モデル18を生成する血管、組織、腫瘍、などである。システムは、フィードバックメカニズムにより臨場感がある方法的フィードバック20を提供し、シミュレーションにさらに現実性を加える。
システムは、臨場感がある視覚、力学的特性およびシステムデータベースからの他の関連パラメータ16、およびこのケースに関連する特性の層を加え、全てが患者画像データベース3からCTおよびMRI画像14の上面に加えられ、それらの画像と同期される。この同期は、例えば血管画像などに’固定’または’添付’された血管の力学的特性を生じ、臨場感があるシミュレーション機能を提供する。外科医に、モデルを”微調整”し、器官の特定の領域の力学的特性を調整する能力を提供することが可能である。例えば、外科医は、エンティティ動作の弾性および他の力学的特性を調整してもよい。
それから、そのような設定の後、質感、シャドーイングおよびシミュレーションされた画像に現実性を加える他の機能のような臨場感がある機能で、手術シアタは臨場感がある視覚忠実性をもって示された3次元器官モデルを写し出す。視覚モデル18のそれぞれのセグメントは、システムデータベース16の適切な力学的特性モデル、および特定のケースの他の関連特性に連動および対応する。
この段階でシステムは、外科医が、システムデータベース内のシステムの仮想ライブラリ16から、彼の手術(または他の処置)の実行に必要としうる関連する手術ツールおよび他の構成要素(システムソフトウェアの用語では、それらのツールおよび構成要素も同様に”エンティティ”である)を、拾い読みおよび選択することを可能にする。そのような構成要素は、動脈瘤のための占有者、クランプ、クリップ、人工心臓弁および特定のケースに適切な他の構成要素を含んでもよい。(インターネットまたはプライベートネットワークのようなネットワーク9を介してシステム1に接続された付加的なシステム、1’1’’・・・の追加は、共同シアタプラットフォームをもたらしうる。さらに詳細をこの開示内の後で述べる。)
全ての種々のエンティティは、高忠実性分散モデルによって表示され、設計概念内で機能する。例えば、それぞれのエンティティが通常は分離したサブエンティティを有し、サブエンティは例えば”視覚エンティティ”または”力学的エンティティ”などである。それぞれのサブエンティティは、複数のコンピュータの間に分散された異なる環境(例えば、視覚システム環境、力学的モデリング環境など、詳細をさらに後述)のうちの1つに存在する。それぞれのそのようなサブエンティティは、自身の実行(すなわち、例えばエンティティの臨場感がある視覚の表示、またはエンティティの力学的動作の実行)を担当する。
サブエンティティは、分散ネットワークを介して通信し(詳細をさらに後述する)、サブエンティティを同期し、1つの統合エンティティ複合モデルに整合する。例えば、組織が手術ツールによって押されるとき、手術ツール圧力特性(例えば、位置、方向および圧力の量など)はネットワークを介して分散され、サブエンティティのうちのそれぞれ1つは、’注意’し、それがこの手術の損傷圧力によって影響されているかどうか結論付けを担当する。サブエンティティが影響されていると判断すると、サブエンティティモデル、例えば視覚サブエンティティモデル上に影響するそれぞれのそのようなサブエンティティ(例えば、組織エンティティ)は、(組織の出血のような)視覚の影響を表示し、力学的特性は組織の移動をモデル作成する。それぞれのサブエンティティは、その変化−例えば、組織の位置および大きさ−を、他のサブエンティティがこの変化によって影響されるかどうか判断可能なように、ネットワーク上に分配する。そのような動作の終了時、前述の例に関する組織の全てのサブエンティティ(および他のエンティティ)は、前述の例では手術ツールに起因し開始された新しい動作に順応するようになり、必要であればそれらの状態およびモデルを新しい動作に適合する。
よって、種々の機能(サブエンティティ)を、(シミュレーションの状態のローカルコピーの保存のため)分散されたデータおよび状態の重複を使用して、ピアツーピアネットワークに接続された種々のコンピュータ間で分散可能である。全てのコンピュータがネットワーク上でそれらのシミュレーションの部分に影響するあらゆる動作に注意し、そのようなケースでは、サブエンティティはネットワークを介してそれらのパラメータをアップデートしてシステムを正確に保ち、それはもちろん他のサブエンティティ内の他の機能に影響するかもしれず、従って他のサブエンティティはネットワークの監視によって事実をとらえ、さらなるアップデートなどにつながる。このようにして、アップデートが単一のコンピュータが使用される場合よりずっと迅速に起こることができるように、システムは機能を多くのコンピュータ間で並行に分散する。変化により影響されたサブエンティティのみが応答の必要があり、よってネットワークトラフィックは本質的なものに減少させることが可能である。
手術シアタは、後に再生して手術計画を外科医長または研修医に示す、または情報を他の外科医と共有する、取り組んでいる新しい技術を示す、手術の実践などのため、外科医が彼の動作を記録し保存することを可能にする。外科医へのシステムのインタフェースは、フォースフィードバックを含む手術インタフェース(例えば、占有者ハンドル)を含み、フォースフィードバックは、外科医の動作のフォースフィードバック指示の検出を外科医に可能にするようそれらのツールへ送られ、実際の処置を臨場感をもってシミュレーションする。
外科医により手術ツールおよび他のエンティティが選択されると、それらは仮想手術場面に統合され、それらの選択された項目のそれぞれ1つに加えられた、臨場感がある視覚機能および力学的特性および操作特性機能を含む、シミュレーションされたシナリオの統合化構成要素に変わる。例えば、シミュレーションされたはさみは、実際のはさみの力学的特性を反映し、実際のはさみがするようにシミュレーションにおいて切断し、動脈瘤クリップは、シミュレーションされた血管に取り付けられるとき、血流の遮断をシミュレーションする。
次に外科医は、仮想手術のあらゆる段階の手術動作を実行する。外科医はシミュレーションを”中止”して器官を回転し、関心のある領域を異なる方向および遠近感から観察が可能である。外科医は仮想手術の”時点のマーク付け”が可能であり、”その時点のマークに戻る”命令が可能である。例えば、外科医は動脈瘤をクランプする前の時間をマーク付けし、この時点に戻り、一方でこの時点後に起こった全ての動作を”元に戻す”ことが可能である。このやり方で、外科医は最初の開始時点から手術の全体を再び開始することなく、手術の選択された段階の異なる手術アプローチを評価可能である。いくつかのそのような’時点のマーク付け’が可能であり、外科医が手術のいくつかの選択された段階に戻って動作を”再実行”、および試験/リハーサルすることを可能にする。手術シアタの使用は、手術への外科医のリハーサル、外科医長または研修医への説明、手術の実践およびツールおよび方法の開発、テストおよび検証、および知識の共有を含んでもよい。
共同シアタ
図2は、手術シアタが導入された共同シアタのコンセプトの高レベルの例の実施を示す。次世代ブロードバンドインフラストラクチャ25を活用することにより、異なる病院からSRP21、22、23・・・を用いる個人がつながり、外科医が国中および世界中で手術のケースを共同で計画、例えば2つ以上の分散した地点から外科医がSRPに入って手術への患者のケースを共にリハーサルすることを可能にする。この共同シアタは、以前の手術シアタのケースの観察、ならびに遠隔の教育および助言を提供することにより、外科医が最善の実践方法を研究することを可能にする。共同シアタは、SRPに接続し使用する全ての病院が、それまで得られた知識および最新の”最善の実践”にアクセスすることを可能にする。
システムレベル設計
システムレベル設計の記載は、前の節で概略を述べた。視覚描写エンジンは、3DのMRIおよびCTの患者特有の画像を分析し、特定の画像の解剖学的構造および特徴を示すコンピュータ処理区分化モジュールを生成する。医療マーケットは、膨大な数の医療における高度なデジタル画像化および通信−DICOM(1)ビューアを有する。それらの機能は、相互参照可能な3つの異なるパネルの層状の黒片および白片から、患者の器官の3D画像の静的サブセットを通して移動する完全な能力までの範囲を設定する。また、映画クリップの形で器官の種々の機能および動的変化を記録する4Dおよび5D機能がある。それらの捕捉した画像または連続移動が優秀でありうるのと同じく、それらは時間内の一定のセットのスナップショットである。
手術シアタは既存の3D変換プロセスを取り、物理的および力学的特性に基いたその人間組織および構造特有の特徴を追加し、組織および構造の特徴はそれからシステムデータベース内に格納される。この患者ベースのモデルが仮想世界で動くと、手術シアタは、外科医が実際の手術での組織操作と同様のモデルを操作する(押す、切断、クランプ、など)のを可能にし、外科医に直感的経験を提供する仮想手術ツールのセットを導入する。
図3は、手術シアタ分散シミュレーションネットワークの例の明細を示す(手術シアタDIS(ST−DIS)が示される)。図内のそれぞれの構成要素(すなわち、ブロック)は、指定された機能のセットを持つ(スタンドアロンコンピュータまたはコンピュータのグループで実行可能な)分離した計算ステーションである。ステーションは、大量のDICOMデータの転送のような低速の不規則なトラフィックを扱う、(例えばイーサネット(登録商標)ネットワークのような)レギュラーサポートネットワーク31に適切に接続される。より集中したデータ処理要求では、ステーションは、(例えば高帯域幅のイーサネット(登録商標)で実行可能な)優先権が高いシミュレーションデータのみのために使用されるハードウェアが分離したネットワークである、特殊化した分散対話型シミュレーション(ST−DIS)ネットワーク32に補助される。ST−DISネットワーク32は変わりやすいシミュレーション情報を送り、そのような絶妙なシミュレーション負荷分散を可能にする。
手術シアタのST−DISは、独立したシミュレータノードのセットから大規模の仮想世界を構築するネットワーク基本設計概念である。シミュレータノード33〜38はネットワークによってつながれ、(例えばTCP/IPのような)共通のネットワークプロトコルを介して通信する。ST−DISインフラストラクチャは、種々のシミュレータが時間および空間が同期した環境で相互運用するのを可能にする。手術シアタのST−DISで、ST−DISシステム、仮想世界は、エンティティが起こすイベントの手段によって相互に作用する、”エンティティ”のセットとしてモデル作成される。シミュレータノード33〜38は、それぞれ独立してシミュレーションの仮想世界の1つまたは複数のエンティティの活動をシミュレーションし、対象のそれらの特性および動作を、他のシミュレータノードへネットワーク上のメッセージにより報告する。ネットワーク上の他のシミュレータノードは、ネットワークメッセージへの”注意”を担当し、(シミュレーションしているエンティティに基き)どれが自身の対象かを判断し、適切に応答する。
分散対話型シミュレーションに関するST−DISネットワークおよびシミュレーション基本設計概念の特徴のうちの1つは、中央サーバまたはプロセッサの必要がないことである。それぞれのシミュレーションアプリケーションは、それ自身のメモリまたはデータベース内に共用の仮想環境の自身のコピーを保持する。この環境の表現は、あらゆるリアルタイム動作の前に種々の手段で全てのシミュレーションアプリケーションに分配される。ST−DISは基本的にピアツーピアの基本設計概念であり、データを全てのシミュレータに送信可能であり、シミュレータでは受信器のニーズによってデータを拒否または受け取り可能である。全てのメッセージが通過する中央サーバをなくすことで、ST−DISはシミュレータが他のシミュレータに重要な情報を送信するタイムラグを減少させる。待ち時間として知られるこのタイムラグは、現実性をかなり減少させ、従ってネットワーク接続されたシミュレータの効率性を減少させうる。シミュレーションの効果的な分散は、シミュレーションされたエンティティに関して新しい状態/イベントが起こり、その状態/イベントがそれに反応しなければならない他のエンティティによって知覚されるまでの時間の待ち時間の少なさに、非常に依存する。訓練装置がもたらすあらゆる遅延は、訓練生にマイナスを強める結果となりかねない。
再び図3を参照すると、アーカイブサーバ34が、シミュレーションに必要な大量のデータをデータベース内にダウンロードおよび維持するタスクの実行に通常使用される。また、アーカイブサーバ34を、得られたデータをシミュレーションにさらに使用するための準備に使用が可能である。職分が性質上世界的であるので、またシミュレーション活動に重要ではないので、アーカイブサーバ34は通常は支援ネットワーク31にのみ接続されることに留意されたい。
図3は、”アーカイブサーバ”(34)それが、制御入力を記録し、タイムラインの情報内のシナリオおよび全ての動作を格納し、シナリオおよび動作を再生可能にするデータベース(例えば手術ツールライブラリのようなシナリオに含まれるべき患者名、年齢などおよびファイル)”デブリーフサーバ”(38)内に格納された医療画像(CT/MRI)および付加的な初期化データをロードするオフラインの”支援”ネットワーク(31)を有するネットワーク基本設計概念を示す。リアルタイムネットワーク(32)は、このネットワークの実行は分散対話型シミュレーション(DIS)ネットワーク(32)であり得るので、シミュレーションの間リアルタイムで融合1方向でシステムノード間のメッセージを転送するネットワークである。このネットワークに接続された構成要素は、外科医/操作者システムインタフェースに接続された制御入力部(33)と、このノードは、システムのリアルタイム要求をDSIネットワークによって満たすことができず、それらのノードsis間の直接の物理的接続が必要とされるケースで実行しうるホストコンピュータ(35)と、任意の直接の物理的接続を有する。ホストコンピュータ(35)は、監視飼槽プログラムおよび他のモデルおよびシミュレーション構成要素を有し、システム全体のリアルタイム同期およびタイミングを担当する。
シアタ初期化システム(TIS)(36)は、ノードのそれぞれ1つのシステム割り当ておよび設定を実行する。例えば、外科医が使用する特定のツールを選択するとき、TISは、正確なツールシミュレーションを生成し、全てのノードが同一の初期化で設定されることを確実にするため、このツール(とデータベース内に格納されたツール特性)の適切なモデルを割り当て/アクティブにする。画像発生器(36)は、シナリオの支援および視覚化タスクを実行する。ホストコンピュータ(35)、TIS(36)、画像発生器(36)およびデブリーフサーバは、初期化のため支援ネットワーク(31)からオフラインで情報を受信および交換し、”オンライン”およびリアルタイムシミュレーションのため、リアルタイムネットワーク(32)と情報を受信および交換する。
必要とされる器官表面および容量のデータは、データベース内に格納された既存のMRI/CTスキャンから抽出される。3Dの器官表面データを得るため、システムは、例えばApple Macintoshコンピュータに対し実行されるオープンソースソフトウェアであるOsiriX(または同様のもの)のような、DICOMビューアおよびデータ管理システムを使用可能である。OsiriXのボクセル密度値とオブジェクティブCソースコードに基き器官および器官群の3Dの表面を生成する能力の利用により、手術シアタは、データベース内のフラットファイル内に記載する3Dの表面および器官の種類についての情報を格納する能力を加える。器官の特性に基き患者特有の画像を再生成する画像発生器ステーション37へ後に転送されるように、システムデータベース内にこの方法で格納されたこの研究の一部のセット全体。必要がある描写データが得られると、画像発生器ステーション37の描写プラットフォームが画像に適用される。このため、所有権を主張できる画像発生器アルゴリズムが視覚化ツールキットと統合される(フライトIGのような。臨場感がある画像発生器−RIGの別個の表題の機能を見られたい)。
IGは視覚モデルに割り当てられたシャドーイング、質感、および、物質特性のような微妙な指示を送る独自の機能を有し、さらに詳細をRIGの節で述べる。それらの機能の使用によって、IGが臨場感があり十分に没入型の環境を生成するのみでなく、それは厳しいリアルタイムの制約下で大量の視覚データベースモデルも処理可能である。DIS基本設計概念および”エンティティ”設計の組み合わせを可能にすることで、ネットワークトラフィックが最小化され、ピアツーピアノードの分析が高度に効率的リアルタイムシステムを生む。
患者特有の画像を正常に描写した後、適切なシミュレーションの生成のため種々の物理学ライブラリが追加される。脳組織の押しおよび操作が、可能なライブラリのOpenTissue(または同様のもの)コレクションのようなモデリングプラットフォームで実施される広範囲の研究を用いてシミュレーションされる。OpenTissueは、例えば、容積測定シェルおよび3次元の形状の他の複雑な動作をモデル作成するライブラリのオープンソースコレクションである。カスタマイズされたライブラリを、使用のため開発可能である。緊張時の脳組織の力学的特性の研究から得られた脳組織の物理学および力学的特性の特異性を、例えば使用可能である。動物の脳のサンプルの力学的操作の数学的モデルを提供する実験的論文が可能である。シミュレーションされた手術ツールとシミュレーションされた組織の動的および臨場感がある相互作用が、Viet HQH,Kamada T,and Tanaka HT,an algorithm for cutting 3D surface meshes and/or volumetric models,18th International Conference on Pattern Recognition,4,762−765.2006が述べたように、アルゴリズムで実行されアプローチされた(参照により本明細書に組み込まれる)。この研究は、現実感のあるシミュレーション、特に手術シミュレーションの実施のための種々のツールおよび組織の種類を見る。
手術シアタの例のソフトウェアコードはC++のような市販の環境で記述され、コードはwindowsオペレーティングシステム、Linux(登録商標)システムで実行するよう設計され、または互換性がある。コーディングの開発プロセスで、リアルタイムのシステム性能を維持し、一方で待ち時間を最小化するよう全てが目的化された、コードのリアルタイムの実行およびコードの効率を強調する。
画像発生器(37)内に設置された視覚システムドライバは、OpenGLまたは同様の最適化環境で設計され、高性能の描写および多量のモデルとの相互作用を可能にする一方で要求される高いモデル忠実性を維持し、細部に注意する一方でクロスプラットフォーム環境で高性能を維持する。
計算効率の目的で、視覚モデルのエンティティのそれぞれは、いくつかのレベルの詳細(LOD)表示を有する。高いLODは外科医が高解像度を必要とするシミュレーション場面の領域で表示され、低いLODは外科医が即時の興味または相互作用がないシミュレーション場面の領域で表示される。例えば、組織視覚モデルは、外科医が相互作用する周辺の領域で高いLODで表示され、外科医がすぐに相互作用しない領域で低いLODで表示される。LODを、動的に適合可能である。特定の領域へ手術器具を指すような外科医の動作を、視覚モデルの特定の区画のLODの動的割り当てのために、LOD最適化アルゴリズムにより利用可能である。
一般的なシステムのコンピュータは、柔軟性および発展の可能性を提供する、複数コア(複数プロセッサ)を持つPCである。コンピュータシステムは、ランダムアクセスメモリ、イーサネット(登録商標)ポート、システムディスク、およびデータディスクを含む。
手術シアタの検証(画像品質、現実性、画像コントローラおよび操作)のため、上級外科医のスキルおよび経験を利用する。特定の手術処置を実行する一方で、それを彼らの多数の神経外科の経験に対して、ならびに彼らがすでに手術し手術シアタでシミュレーションされている特定のケースに対してそれを比較することにより、この外科医をシステムの評価に利用する。
図4の手術シアタブロック図は、スキャンされた画像DICOM41の行データから(軟質の組織、血管などの識別のため)行データの区分化プロセスを通した機能およびプロセスのフロー(図3の実際のネットワーク接続に対して)を記載する。それから画像発生器はそれぞれの区分の視覚表示(影、質感など)を与え、この画像はDIA44ネットワークを介して投影インタフェース46およびホスト45に接続され、ホスト45が、外科医インタフェース47を通して接続される外科医の動作で、および力学的特性、およびホストが有する、新しい状態に全てが影響する他のモデル作成でIG43をアップデートし、新しい状態をそれぞれのシミュレーションサイクル間にホストが画像発生器43に送信する。
全てのメッセージが通過する中央サーバをなくすことで、ST−DISは1つのシミュレータ(コンピュータ)が他のシミュレータ(コンピュータ)に重要な情報を送信するタイムラグを劇的に減少させる。待ち時間として知られるこのタイムラグは、大き過ぎる場合、現実性をかなり減少させ、従ってネットワーク接続されたシミュレータの効率性を減少させうる。シミュレーションの効果的な分散は、シミュレーションされたエンティティに関して新しい状態/イベントが起こり、その状態/イベントがそれに反応しなければならない他のエンティティによって知覚されるまでの時間の待ち時間の非常な少なさに依存する。訓練装置がもたらすあらゆる遅延は、操作者(例えば外科医)にマイナスを強める結果となりかねない。
通信の基本設計概念のため推薦される実践(IEEE1278.2)によると、内在する通信構造は、リアルタイムのシミュレーションされたエンティティ間の綿密に結び付けられた相互作用(例えば空中戦中の高性能航空機のシミュレーション、または脳手術を実行する外科医のシミュレーション)に関するパケット交換の待ち時間を100msまたはそれ未満に補助すべきである。この必要条件は、幾年にもわたって人間を内部に含んだ(HITL)フライトシミュレータ設計の基本であった人間の反応時間に基く。
ST−DISシステムで、仮想世界は、それらが引き起こすイベントの手段によって互いに相互作用するエンティティのセットとして(前述のように)、モデル作成される。エンティティは、組織、(組織の力学的特性のような)特定の特性のようなシミュレーションされたシナリオ内のサブ構成要素であり、”組織エンティティ”のサブグループを生成する。他のエンティティは、例えば血管などでありえる。それぞれのエンティティは、(異なるシミュレータ/コンピュータのような)分散された方法で作動するいくつかのサブエンティティを有することが可能である。それらのサブエンティティはともに組み合わされ、完全なエンティティモデルを生成する。それらのサブエンティティは、例えば、エンティティの視覚機能および特性を保持しシミュレーションする視覚サブエンティティ、またはエンティティの力学的機能および特性を保持しシミュレーションする力学的特性サブエンティティである。それらのサブエンティティモデルコードのそれぞれは、PCのような異なるコンピュータ(またはコンピュータグループ)で実行可能であり、ST−DISネットワークを介して他のエンティティと同様に互いに通信する。シミュレータノードは、独立してシミュレーションの仮想世界の1つまたは複数のエンティティ(またはサブエンティティ)の活動をシミュレーションし、対象のそれらの特性および動作を、他のシミュレータノードへネットワーク上のメッセージにより報告する。ネットワーク上の他のシミュレータノードは、ネットワークメッセージへの”注意”を担当し、(シミュレーションしているエンティティに基き)どれが自身の対象かを判断し、適切に応答する。
前述の手術シアタ基本設計概念はこの分散シミュレーションの概念に基き、それによって、外科医が直接人間の感覚で器官と相互作用する切開/伝統的手術のリハーサルに重要な没入型シナリオの生成の重要な必要条件である、最高の忠実性を提供する先駆的で独占的な能力を可能にする。それぞれのエンティティがそのサブ構成要素(視覚、力学的特性など)に分割され、それらのサブ構成要素/エンティティのシミュレーションコードのそれぞれが分離したコンピュータで実行するので、これは計算パワーを最大化でき、それによって独自の独占的な最高の忠実性、微妙な指示、および計算機能を最大化でき、一方で厳しいリアルタイム制約下でのテラバイト単位の情報を扱い、一方でリアルタイム性能(例えば100ミリ秒未満の待ち時間)、フライトシミュレーション技術の主要機能を維持する。
手術シアタは、3DのMRIおよびCTの患者特有の画像を分析する視覚描写エンジンを容易にし、特定の画像の解剖学的構造および機能を表すコンピュータ処理区分化モジュールを生成する。医療マーケットは、膨大な数の高度なDICOMビューアを有するが、それらの取得された画像または移動シーケンスが素晴らしいのと同様に、それらは時間のスナップショットの固定セットに基く。手術シアタは既存の3Dモデル変換アルゴリズムを取り、外科医が取った動作により患者特有のCT/MRI画像を矯正するモデルで”生の”画像を生成する物理的および力学的特性に基き、および画像および臨場感がある視覚特性モデル内のそれぞれの画素の力学的特性をシミュレーションするモデルに基き、人体の組織および狭搾特有の機能を追加する。この患者ベースモデルが仮想世界の動作に設定されると、(動脈瘤クリップおよびクリップアプライヤ、骨関節埋没物または他の装置のような埋没物を含みうる)仮想手術ツールのセットが導入され、外科医が実際の手術組織の操作と同様にそれらのモデルを操作する(押す、切断など)のを可能にする。よって、手術シアタは、ユーザに直感的な経験を提供する。
画像発生器について、実施形態の例の手術シアタは、所有権を主張できるフライトシミュレーション画像発生器アルゴリズムを、視覚化ツールキット(VTK)のような視覚化コードと統合する。後述の節で詳述するように、手術シアタの臨場感がある画像発生器は、視覚モデルに割り当てられたシャドーイング、質感、および物質特性のような微妙な指示を送る機能を有する。
臨場感がある視覚サブシステム
この節は、衛星画像およびモデルを臨場感がある3次元画像およびモデルに描写可能であるフライトシミュレーション画像発生器の改良版である、手術シアタの”臨場感がある視覚”区分に焦点をあてる。3次元画像およびモデルは、外科医が直接人間の感覚で器官と相互作用する切開/伝統的手術に重要な、患者の特定の臨場感がある動的なCT/MRI画像およびモデルへCT/MRI DICOM画像を扱いリアルタイム描写する、手術シアタの臨場感がある画像発生器(RIG)内で変換される。
人間工学の分野の没入型シミュレーション生成で、視覚システムの使用は重要である。研究は、高いパーセンテージの没入が操作者(例えばパイロットまたは外科医)が相互作用する視覚システムの忠実性および現実性のレベルによって構成および寄与されることを示す。研究成果は、高い忠実性の視覚システムでリハーサルする操作者が、低い忠実性のグループより明らかに高いレベルで自信および意識状態の自己報告を含む記憶作業を完了したことを示す。正確な’記憶’と’知っている’反応の間には著しい正の相関があり、自信のスコアで高い忠実性の臨場感があるシミュレーションを使用するときに見出される。
前述で概略を述べたように、手術シアタは、手術部位および周辺組織/構造の臨場感がある”本物のような”デジタル描写を生成する。このデジタル描写は患者特有で”本物のよう”であるため、それは、手術部位の近似した描写を生成するのに一般的な像を使用する他のシミュレータ、または内視鏡、血管および類似の処置のような非侵襲性処置をシミュレーションする他のシステムからかけ離れて手術シアタを設定し、そこでは、外科医/操作者が、カメラ仕様により定義および限定され、外科医が彼の眼の直接の感覚で生体と相互作用する場合の切開/伝統的な外科医の直接の裸眼の観察の視覚特性と非常に異なる自身の視覚特性を持つカメラと、生体をインタフェースで接続する。しかし、臨場感がある”本物のような”描写は、生きている生物学的組織の特性の複雑性によって、克服可能なタスクを示す。そのような高度の現実性を生成するため、手術シアタはリアルな画像発生器アドオン(RIG)である、手術部位と周辺組織の患者特有の画像が臨場感を持って示され、この全ての目的に操作可能な視覚システムを有する。
図5は、RIGの基本設計概念のブロック図を示す。データベースボックス−患者特有のCT/MRI、3Dおよび区分化画像に基いたメッシュモジュールの収集、画像の前処理、補整、遮蔽、調整。グラフィッククリエータボックス−グラフィックカードへのインタフェース。ST−DISインタフェースボックス−ST−DISネットワークへのインタフェース。この図は、視覚システムの階層図を示す。システムは、全てのシステム構成要素を実行および管理する監視プログラムを有し、外科医/操作者、および全てのサブ構成要素がDISネットワーク(502)を通して読み出されるときのそれらのステータスにより、サブ構成要素の法令をアップデートする。操作/監視エンジン(501)は、全てのシステムの構成要素が同一のデータベース(例えば外科医が選択した損傷のセット)で作業する方法で、全てのソフトウェアおよびハードウェア構成要素の初期化を担当する。シナリオが開始するとき、操作/監視エンジン(502)はサイクルおよびタイミング制御を実行して、システムのサブ構成要素の全てが他のサブ構成要素から適時に情報を受信する方法で計画された、時間枠内でその計算サイクルを完了するようそれぞれの構成要素の管理タスクを実行し、システム全体がシミュレーションサイクルを所定の時間枠で完了することを可能にする。例えば、外科医が動作を起こし、動作がDISネットワーク(502)により送信されるとき、特徴発生器(504)が、力学的特性アルゴリズムによって計算されたようにこの動作のこの動作/結果の関連部分を読み出し、グラフィッククリエータ(503)がこの動作により画像を変更し(例えば外科医に押された血管を移動する)、それからこの変化の結果として画像に加えられる必要がある変更を計算し、例えば、血管位置および方向の変化によって生じた影を生成する。このサイクルは、操作/監視エンジン(501)によって、それぞれのサイクルがミリ秒の時間枠内で完了し、外科医/操作者にリアルタイムで臨場感がある指示の受信を可能にする周期的な方法で、迅速および継続的に管理される。
CA−SRPの全般的な記載
手術シアタの概念を、CA−SRPプロセスを補助するように適応可能である。CA−SRPは患者特有のCTおよびMRI像を変換し、周辺組織および血管を含む生体の動的モデル作成で、動脈瘤領域の臨場感がある3次元(3−D)モデルを生成する。CA−SRPは、外科医がCA−SRP内で作業するユーザ・インタフェースのハンドルが彼が手術で持つものと同様で、外科医が取った動作に応答し、彼/彼女に手術準備をよりよく補助する方法で、(外科医が操作可能でCA−SRPにインタフェースで接続するあらゆる実際の手術装置を含む)実際の手術ツールに接続される。CA−SRPシステムは、脳腫脹、血管の損傷、外科医がアクセスしようと計画した領域への外科医のアクセスを阻害する手術中の脳組織の移動、ならびに(i)不適切なテンポラリクリップ配置が動脈瘤内の血流を止めない、(ii)テンポラリクリップが付けられていなかったまたは充分に付けられていなかった場合、動脈瘤の不適切な管理が出血につながる、(iii)テンポラリクリップが長時間あった場合、卒中の再発が発生する可能性がある、(iv)動脈瘤クリップが、動脈瘤を出る血管を閉塞または動脈瘤頸部に付けられている場合、結果として卒中患者が報告される、のような他の合併症のような臨場感があるイベントをシミュレーションする。
CA−SRP脳動脈瘤手術リハーサルプラットフォーム(CA−SRP)は、区分化、軟質組織の技術アルゴリズム、および全ての構成要素間の位置の相互作用を計算し、(手術ツールが組織または血管にふれるような)相互作用が起こるとき検出する衝突検出アルゴリズムの状態に基いて、ソフトウェアシミュレーションエンジン周辺で中心に置かれる。この相互作用情報(位置、角度など)が、この相互作用による組織の変形の計算のため組織のモデルに付けられ、ならびにこの相互作用により外科医の手へフォースフィードバックを提供するため手術ツールに付けられる。対象となる領域(すなわち動脈瘤)は、高い忠実性の視覚、リアルタイム、実際の3D(立体視覚)および臨場感がある(本物のような視覚、質感、シャドーイング、光沢)の画像発生器を用いて、ワークステーション上で外科医に示され、画像発生器は、器官ならびに外科医に使用される手術ツールの両方を表示する。
動脈瘤修復手術は、動脈瘤領域への血流が閉塞する一時的血管クランピングのような種々の処置により、時間が非常に重要になる。手術の時間効率がとても重要であり、局部の患者特有の幾何学構造および物理的特性に基いた詳細な計画が根本的であり、臨床的成果の強化および運用面の効率向上をもたらす。手術シアタは、手術方法の改善および手術成果の向上のために外科医が重要な洞察を得るのを可能にする。
CA−SRP基本設計概念
変形可能な組織モデル作成のCA−SRPの臨場感がある動作は、大量一括処理を用いてリアルタイム計算を可能にする対角質量行列をつくる有限要素法(FEM)を使用する。またそれは、必要とされる箇所に十分な詳細を提供し、一方で不必要な計算を最小化するのに必要な適応メッシュを使用する。
CA−SRPの脳組織モデル作成は、この領域の発表された研究に基き、例えば研究は以下を含んでもよく、さらに、CA−SRPは組織の力学的特性のあらゆる記載を採用可能である。i)MillerKおよびChinzei K.Mechanical properties of brain tissue in tension.J Biomech35:483−490,2002,および,ii)Miller K,Chinzei K,Orssengo G and Bednarz P.Mechanical properties of brain tissue in−vivo:experiment and computer simulation.J Biomech33:1369−1376,2000,この両方は参照により本明細書に組み込まれる。
CA−SRP設計は、患者特有のデータ、我々の前述のアルゴリズムを用いて3D軟質組織モデルに変換されたCTおよびMRI像を採用する。このアルゴリズムは、画像強化処理および区分化法を使用して、外科医に表示され外科医の動作に反応する高い忠実性の区分化モデルを生成する。3D軟質組織モデルは、それから力学的特性の研究から組織特性を使用する我々のSTDE(軟質組織変形エンジン)により、リアルタイムで扱われる。STDEへの他の入力は、外科医が使用するユーザ・インタフェース(UI)ツールおよびモデル上で結果として生じる動作を含む。結果として生じる変形モデルは、モデルを外科医に臨場感がある方法で表示する高い忠実性の画像発生器に送られる。
CA−SRPコードは、標準開発ツールを使用してコード化されたウィンドウプラットフォームで実行し、.NET,WPF,OpenGLのような可能なソフトウェアパッケージ、およびSOFAおよびGiPSiのような可能なシミュレーションフレームワークを使用する。シミュレーションの異なるモジュール間で共有される情報は、所有権を主張できるプロトコル、つまりフライトシミュレーション”分散対話型シミュレーション−DIS”プロトコルに基いた前述で導入された手術シアタの概念から適合可能な、手術分散対話型シミュレーション(SDIS)を用いて分散される。SDISの中心のアイデアは共有に必要とされるデータ量を最小化することであり、従って、シミュレーションの分離した部分(すなわち視覚、力学的特性)を実行する異なる分散したシステム構成要素の拡張性および独立性で、リアルタイム実行を可能にすることである。
SDISベースの基本設計概念
SDISベースの基本設計概念は、最高の忠実性、微妙な指示および計算機能に関する独自の独占的な能力を容易にし、一方で厳しいリアルタイムの制約下で大量の情報を扱い、一方でフライトシミュレーション技術の中心機能であるリアルタイム実行を維持する。SDISネットワークの特徴のうちの1つは、中央サーバまたはプロセッサがなく、それぞれのシミュレーションノード(ノードは画像発生器、ユーザ・インタフェース、力学的モデル作成コンピュータなどであってもよい)が共有の仮想環境のそれ自身のコピー−シミュレーションノードのそれぞれにおいて把握および保持される血管、組織および他のモデルを保持することである。それぞれのそのようなモデルは、分離した”エンティティ”としてのハンドルである。この基本設計概念はいくつかのPCが厳しいリアルタイム制約下で同期された方法でともに作動するのを可能にし、シミュレーションされた場面の最高の忠実性を提供する、CA−SRPの先駆的な独自の機能を可能にする。これは、外科医が直接人間の感覚によって器官と相互作用する切開/伝統的手術のリハーサルを可能にする没入型シナリオを生成する。
外科医によって手術ツールおよび他のエンティティが選択されると、それらは仮想手術場面へ統合され、それらの選択された項目のそれぞれの1つに加えられた、臨場感がある視覚機能および力学的特性および操作特性機能を有する、シミュレーションされたシナリオの統合された構成要素に変わる。例えば、はさみは、実際のはさみの力学的特性を有し、実際のはさみがするように切断し、動脈瘤クリップは、血管で取り付けられるとき、血流をブロックする。
CA−SRPシステムは、そのままで、後述のユニット、またはシミュレーションおよび特定の適用が必要な構成、容量次第であるユニットのサブ部分の組み合わせにより構成する。これらは図4に示される手術シアタシステムについてのものと同様であるが、この節で記載のように変更される。サブ構成要素は、複数のPC内のいくつかの分離された計算プロセッサユニットで実行可能である(図9)。
外科医が作業するワークステーションは、ユーザ・インタフェース101である。画像発生器102は、手術シアタの同じ装置と同様に作動する。シミュレーション監視マネジャ103は、システムのリアルタイム動作を同期し、実行し、モデル作成プログラムを実施する。STDEワークステーション104−このPCはSTDE(軟質組織変形エンジン)を扱う。アーカイブサーバ105−このステーションは全ての関連ファイルおよびデータを保持し、将来のデブリーフィングおよびデータ収集のために手術の記録が可能である。このPCはまた、ネットワークドメインコントローラとして機能する。IOS(インストラクタ操作ステーション)106は、訓練セッションを監視および制御するもので、またインストラクタがイベントを”挿入”するのを可能にする。また”進行役”として機能し、訓練セッション全体を始動する。
これらの計算プロセッサユニットのそれぞれは、SDISネットワークを介してネットワークスイッチ(図示せず)と接続する。
操作のシナリオ
外科医はCA−SRPを使用して患者の頭部を仮想的に位置決め、頭皮の露出、開頭部位およびサイズ、および脳収縮を判断して、図10Aに示された経路905内の所望の血管露出を得る。この部分は、UIでシミュレーションされた操作ツール、ならびにコンピュータマウスおよびキーボードを用いて行われる。CA−SRPは、開頭、硬膜切開、および動脈瘤クリップの追加およびテンポラリクリップ除去を通した一時的クランピング中の裂傷血管露出の分割の段階に及ぶ。
操作の一般的なシナリオ:一般的な初期設定
外科医は、システムが関連データをアップロードするのを可能にする患者の詳細を含む彼の患者の設定パラメータを入力し、CA−SRPはそれから、患者のCT、CTA、MRIおよびMRA像、および患者の年齢、性別などのようなシミュレーションされたモデルに関する他の情報をロードする。
患者の頭部の一部の3次元像が、図10Aの906で示される。外科医は、頭部を906で所望の位置に位置決める(頭部位置)。
実際の手術と同様に、外科医はUIで動脈瘤部位へたどりつくまでの組織を仮想的に取り除くことにより、動脈瘤にアプローチする経路905を仮想的に生成する。外科医は、対象の部位/動脈瘤904の領域にマークを付ける。
システムは、区分化プロセスを自動的に実行し、”エンティティ”を識別するのが望ましい。エンティティは血管、組織など903であるが、手動の区分化もまた提供可能である。システムの並行処理を使用するハードウェアおよびソフトウェアの配置のため、これは効率的になされ、手動のシミュレーションと対照的にシステム性能を大きく改善する。
”開始シミュレーション”が開始される。初期化プロセスで”取り除かれた”脳組織が、異常な血管形成を有する領域を露出するよう仮想的に後退する。システムはそれから、対象の部位/動脈瘤904のマークが付けられた領域で、組織の層、力学的特性および臨場感がある視覚を加え、他の関連するパラメータおよびこのケースに関連する特性をロードし、全てがCTとMRIの上面に加えられ、それらの像と同期される。同期は、例えば血管像に’貼り付けけられた’血管の力学的特性を生じる。手術ツール(動脈瘤クリップ、手術埋没物および他の装置を含んでもよい)ライブラリが仮想シナリオに含まれ、外科医に可能である。
外科医はモデルを”微調整”する能力を有し、器官の特定の領域の力学的特性を変更することにより、シミュレーションのモデル作成パラメータを調整する。例えば、ツールと組織相互作用に影響を与える曲げられた形状の動脈瘤クリップ902および動脈瘤クリップアプライヤ901のように、外科医はエンティティの動作の弾性および他の力学的特性を調整し、彼の経験および予測に基き組織の力学的動作により合致させてもよい。
結果としてCA−SRPは、質感、シャドーイングおよび元の画像に現実性を加える他の特徴の臨場感がある視覚の忠実性と現実性がある特徴で表示された3次元器官モデルを、効率的に写し出す。視覚モデルのそれぞれのセグメントは、適切な力学的特性モデルに連動および対応する。
図10Bはシミュレーションの追加の視像を示し、血管に直線状クリップ911および
曲げられたクリップ910をつけるのに使用された後の動脈瘤クリップアプライヤ912をさらに示す。
使用の一般的なシナリオ
外科医はシステムの仮想ライブラリを拾い読みし、システムの仮想ライブラリから関連する手術ツールおよび他の構成要素(システムソフトウェアの用語では、それらの構成要素は同様に”エンティティ”である)を選択する。それらのエンティティは、はさみ、双極電気メス、吸引チップ、およびクランプ、クリップアプライヤならびに図14に示されたようなさまざまな動脈瘤クリップ930を有してもよい。図14はまた、特定の患者の医療像に基いた患者特有の動脈瘤モデル933および患者特有の環境で選択されたクリップ932も示す。
実際の手術と同様に、外科医は動脈瘤を組織および栄養血管から仮想的に切り離し、頸部を露出して適切な力学的特性モデルおよび外科医の動作によってクリップ/血管および組織の後退または取り出しを受ける。外科医はまたクリップライブラリからテンポラリクリップを選択する。クリップは臨場感をもってモデル作成され、手術ツールにより扱いが可能である。
また実際の手術と同様に、外科医は、栄養血管を正常な循環から切り離すため、栄養血管にテンポラリクリップを仮想的に取り付ける。そして外科医は、動脈瘤の種々の位置、形状、およびサイズに対処するよう、クリップライブラリからクリップを選択する(クリップのライブラリは市販のクリップのサイズ/形状/長さを含む)。選択されたクリップモデルがシナリオに現れる。クリップは実際のクリップの正確な臨場感があるモデルであり、手術ツールにより扱いが可能である。
さらに実際の手術と同様に、外科医はそれからクリップを動脈瘤頸部を横切って仮想的に取り付ける。外科医は視像と様子を暗記し、動脈瘤頸部につけられたクリップ940を示す図15に示されたようなクリップの配置を観察および評価する。外科医はそれからテンポラリクリップを取り除き、動脈瘤を穿刺することが可能である。動脈瘤頸部が完全に閉塞していなければ、出血が起こる。
実際の手術のように、不適切なテンポラリクリップ配置は動脈瘤内への血流を止めず、一方で適切なクリップは、動脈瘤を収縮または閉塞させる。テンポラリクリップが取り付けられていなかったまたは充分に取り付けられていなかった場合、動脈瘤の不適切な管理は出血をもたらす。図15は、動脈瘤頸部941が圧搾され、縮小および膨張する942状況を示し、これはより長いクリップが必要かもしれないことを示す。テンポラリクリップが長時間ある場合、卒中の再発の可能性が生じる。動脈瘤クリップが動脈瘤から出る血管を閉塞、または動脈瘤頸部につけられていると、卒中患者が報告される。仮想手術のあらゆる段階で、外科医はシミュレーションを”中止”して器官を回転し、関心のある領域を異なる方向および遠近感から観察が可能である。
外科医は、仮想手術の”時点のマーク付け”が可能であり、それから”マーク時点に戻る”命令ができる。例えば、外科医は動脈瘤のクランピング前の時間のマーク付けができ、この時点に戻り、一方でこの時点の後に起こった全ての動作を”元に戻す”ことができる。この方法で外科医は、手術の選択された段階の異なる手術アプローチを、手術全体を元の開始時点から再び開始することなく評価が可能である。いくつかのそのような’時点のマーク付け’が可能であり、外科医が手術のいくつかの選択された段階に戻って動作を”再実行”、および試験/リハーサルすることを可能にする。
CA−SRPは、患者特有の手術に対する計画および準備ツールとして主に使用される。よって、与えられたケースについて外科医が特定の手術方法を調整することを可能にし、手術効率を最大化する一方で、手術成果の向上に関して全ての寄与するリスクを最小化する。
CA−SRPの付加的なシナリオは、以下をふくんでもよい。(1)手術に対し外科医がリハーサル、(2)外科医長への外科医の説明、(3)外科医が批評を見て、CA−SRPを有しうる同僚とインターネットまたは他のネットワーク接続を通して共同研究する、(4)研修医への外科医の説明、(5)外科医の新しい方法の調査および開発、(6)研修医、専修医の実践、(7)技術者/看護師/内科医アシスタントの実践の確定が、これらの手術での外科医の役割および従って彼らの役割の理解を可能にする、(8)開発プラットフォーム、手術器具ツール、または装置、例えば動脈瘤クリップのテストおよび検証、これは臨場感があるシミュレーションされた環境でのテストである、(9)知識と生じた経験を共有する外科医のコミュニティプラットフォーム、(10)研修医および外科医の評価試験および認定のプラットフォーム、(11)特定の手術ツールまたは動脈瘤クリップのような器具の使用を促進するプラットフォーム。
CA−SRPは、後に再生して手術計画を外科医長、研修医に示す、または情報を他の外科医と共有する、取り組んでいる新しい技術を示すなどのために、外科医が彼の動作を記録し保存することを可能にする。外科医へのCA−SRPのインタフェースは、手術インタフェース(すなわちハンドル)、はさみのハンドル、双極およびバヨネット鉗子、および動脈瘤クリップアプライヤを含む。それらのインタフェースは、外科医が彼の動作のフォースフィードバック指示の感知を可能にするようそれらのツールに送られたフォース/触覚フィードバックを含んでも含まなくてもよい。提供するフォース/触覚フィードバックは臨場感があるシミュレーションの提供に特に有用であり、よって望ましい。
脳動脈瘤クリップの調整された患者特有の設計:CA−SRPは、外科医が患者特有の動脈瘤および血管の3次元幾何学構造に合致する動脈瘤クリップを位置付けることを可能にするサーチエンジンを含む。図11の項目913、914、915に示されたような、動脈瘤クリップ全体の長さ、動脈瘤クリップ形状(曲げられた形状の数、配列および角度)の判断、動脈瘤クリップ穴の数(穴の数、位置、配列および形状/直径)および他の構造的特性のような物理的パラメータのセットを送ることによる。また、グラフィック・ユーザ・インタフェースは、動脈瘤クリップの3次元モデルで作業し、患者特有の動脈瘤および血管の3次元幾何学構造に合致するそれ自身の動脈瘤クリップを設計するオプションを外科医に可能にする−(どちらかの方法により)外科医が動脈瘤クリップの設計を完了したとき、外科医が設計した動脈瘤クリップのモデルがCA−SRP内に現れる。直線状動脈瘤クリップ908をつける動脈瘤クリップアプライヤ907を示す図10Cを参照されたい。外科医はそれから、迅速な製造のため、調整された設計クリップを3次元の写真ファイル(jpeg、bitmapおよび同様のもの)で送信可能である。前述のパラメータの外科医の入力と合致するクリップが市販されている場合、CA−SRPは動脈瘤クリップの製造者、部品番号を提供し、動脈瘤クリップの3次元モデルがCA−SRP内に現れる。外科医はそれからクリップアプライヤを使用してクリップをつかんで保持し、クリップスプリングに対してクリップを開き、一方でクリップの力が外科医の手に感知される。外科医はそれからクリップを操作し、クリップアプライヤを使用してそれを血管または動脈瘤につける。外科医は、異なるクリップで彼が望むだけ何回でもこのプロセスを繰り返すことが可能である。
バイパス手術のための特定のグラフト形状および設計、特定のボルトネジまたは脊椎手術のためのあらゆる他の埋没物、整形外科の埋没物、および多数の他の適用を調整するよう使用されるこの方法およびプラットフォーム。プラットフォームはまた、あらゆる医療像と(クリップ、埋没物、および他の手術装置のような)手術ツール、およびユーザ・インタフェース、および埋没物を修正し、動的および対話型モデルに基き埋没物を患者特有のケースに合致させるよう設計の調整を可能にするツールの統合を補助する。
ケーススタディの例−調整されて製造された患者特有の設計の動脈瘤クリップの操作のシナリオ
外科医/操作者は、図14に示されたようなライブラリ930から外科医が選択する可能な基本のクリップモデルのうちの1つで開始する。外科医/操作者はそれから、図15に示しまた前述したように、(CT、MR、X線、超音波および他のような医療像に基いた)患者特有の動的および対話型モデル上でクリップを評価する。
動脈瘤の形状はモデル作成の動的性質により変化する−動脈瘤組織のやつ上のクリップの圧力は、941、942に示されるように、動脈瘤頸部の膨張を圧搾および再形成する。患者特有の被術者の評価で、選択されたクリップが十分でない(動脈瘤全体を遮断しないまたはゴングが鳴った外科医および他にストレスを生じる・・・)と判断されるケースで、外科医/操作者は、図16に示されたようにライブラリ950から評価のため異なるクリップを選択可能で、図16では、外科医が患者特有の動脈瘤952に適用するため新しい湾曲したクリップ951を選択するのが示されている。外科医/操作者は、図18に示されたように、クリップを適用する前および後の動脈瘤頸部の測定を実行可能である。図18で、測定ツールはカーソルに付着、または独立した/付加的な測定ツールとして機能のどちらかが可能である(1001)。例えば動脈瘤の頸部を測定するため、カーソルが測定のため患者の解剖学モデル上に置かれる(1002)。測定の視像の方向が変更され、異なる観察角度が使用される(1003)。測定結果がウィンドウに現れ、それぞれのカーソルのX、Y、Zまたは測定ツールが表示される(1004)。
図17に示されたように、外科医/操作者は長さ、形状、角度などを変更し、クリップ960からクリップ961へ修正して、特定の患者に最も適合する調整された特定のクリップ設計を生成可能である。外科医/操作者は、クリップのいくつかの選択肢を得たい範囲を定義可能である。(例えばクリップ全体の長さが10、15および17ミリメートルまたは湾曲角度が15、20および25度など)。図17に示されたように、クリップ製造のための3Dモデルが生成される。よって、使用および実際の手術での適用のため、特にシミュレーション結果に基いた患者自身の解剖学的構造に合致するよう設計された、調整して作ったクリップを製造して、外科医に送ることが可能である。同様に、他の手術ツールおよび埋没物を、シミュレーションにより操作をまずテストすることで、同じようにカスタマイズ可能である。これを、事前の手術のシミュレーションなしでは不可能な方法で、手術結果の向上に利用可能である。
患者の医療像(CT、MR、X線、超音波など)を基につくられた患者特有モデル作成シミュレーション環境で、外科医は、(1)対象部位(動脈瘤、欠陥のある血管、欠陥のある心臓弁、折れた骨、損傷された膝関節、損傷された股関節部、損傷された肩など)を露出するため、組織を除去および移動して経路を生成する。(2)シミュレーションされた環境が区分化され、骨、軟質組織、血管、神経などを含む。従って生成された経路は臨場感があり、実際の手術で外科医に可能なものへの限定されるアプローチを正確に表し、それは解剖学上の障害物(例えば取り除かれる必要がある動脈瘤へのアプローチを阻害する眼窩骨)を考慮する。(3)治療が必要な部位が露出されたとき、限定された可能なアプローチおよびアプローチの方向が、外科医が手術室で直面する、臨場感がある限定された作業環境を表す。(4)外科医は手術リハーサルプラットフォーム(SRP)埋没物ライブラリを拾い読みし、市販されている移植材を試すよう選択するか標準的モデルを選択する。両方に修正のオプションが提供される。(5)外科医は置換が必要なあらゆる解剖学的構造(すなわち欠陥のある心臓弁または損傷された膝関節)を除去および切り離す。(6)外科医は、可能な臨場感がある限定された空間で、経路を通して新しい埋没物を操作する。(7)外科医は、治療される部位に埋没物を置き、取り付ける/適用する。(8)埋没物(人工膝関節、人工肩関節、人工股関節部など)の取り付けに可能な骨の厚さ、および/または埋没物(バイパスグラフト、人工心臓弁など)の取り付けに可能な血管の厚さ、大きさおよび方向および埋没物部位などのような患者の解剖学的構造に基き、シミュレーションされた配置は検討およびそれに入れる。(9)3次元設計ツールは、外科医がシミュレーションのモデル作成パラメータを調整して、患者の特定の解剖学的構造によりよく適合するよう埋没物(または他の埋め込み可能な装置)を修正するのを可能にする。例えば、患者の特定の動脈瘤のサイズおよび形状、および動脈瘤へのアプローチ/経路の特定の方向に最も適合する調整されて設計されたクリップを生成するため、動脈瘤クリップの長さおよび角度を修正可能である。他の例は、患者の自身の解剖学的構造により合致するような円形または楕円形の心臓弁の大きさの修正であってもよい。さらなる例は、折れた骨の治療に取り付けられるプレートの厚さ、形状および長さを調整した設計であってもよい。モデル作成パラメータを調整する他の例は、バイパスまたは動脈瘤を治療するグラフトの調整された設計、人工膝関節、人工肩関節、および人工股関節の調整された設計および形状および角度であってもよい。(10)SRPおよびモデル作成された人工埋没物が、埋没物に必要とされる調整および配列、例えば、手術室内で行われる膝関節の帯および細片の配列の実行を補助する。SRPは、シミュレーションされた環境でこの配列の実行を進歩した形で可能にする。例えば、手術開始前に、SRP/シミュレーションされた環境で、膝関節の帯および細片の長さを、先に留置可能である。(11)外科医が設計を完了すると、彼はSRPに”製造モデル”−全て外科医が調整した設計に基いた正確な大きさ(長さ、厚さ、角度など)の3次元モデルのファイル−を生成するよう勧める。(12)配列前の命令、例えば膝関節の帯および細片の配列の命令が生成される。(13)設計のファイルまたは印刷がクレーター、および製作される埋没物製造業者に送られる。(14)SRPで試みて検証された後のみ、およびそれからベンダから発注される場合のみ病院が特定の埋没物を購入する方法で、SRPが市販の埋没物の在庫管理を補助可能である。
画像誘導システムのためのアプリケーションおよび顕微鏡の操作
手術リハーサルプラットフォーム(SRP)は、プラットフォームを画像誘導システムおよび顕微鏡の操作とともに連携するソフトウェアモジュールを有する。外科医がSRPを用いて作成した手術計画をナビゲーションパスまたは操作する顕微鏡画像の上面に重ねて写し出すことで、外科医は、手術ツールの方向、動脈瘤クリップの計画した配置およびアプローチなどのような、自身の計画した動作に従うことが可能である。
ボタンを押すことで、外科医は、画像誘導システムまたは操作する顕微鏡スクリーンで、彼が以下にかんなをかける動作のビデオクリップを見ることが可能である。(i)経路のエントリ位置、経路のアプローチ方向、(ii)動脈瘤クリップの配置、動脈瘤クリップの配置のアプローチ、動脈瘤クリップの方向、(iii)クリップアプライヤおよび他の手術ツールの配置、クリップアプライヤおよび他の手術ツールの配置のアプローチ、クリップアプライヤおよび他の手術ツールの方向。
この統合/重ね合わせた画像は、(クリップアプライヤまたは他の装置のような)ツールは外科医の視界および顕微鏡手術部位の視像を遮りかねず、よって外科医が操作する血管または他の部分を見るのを妨げかねない事実により外科医が手術中有するかもしれない、閉塞した視認性および後方の視認性の困難を、外科医が解消することを可能にする。統合/重ね合わせた画像は、外科医が、実際の手術においてSRPで計画した動作を繰り返し、一方で視覚および他の困難を解消するのを可能にし、彼自身の計画に基いたより効率的な顕微鏡手術、および優れた誘導の提供を可能にする。
実際のクリップアプライヤの力学的統合
システムは、図13に示されたような実際の手術ツール、追跡、監視、および制御装置/インタフェース920を通してシステムに接続される実際のクリップアプライヤ919へのインタフェースを有する。この装置インタフェース920は、実際のクリップアプライヤの移動、およびアプライヤの方向の6度の自由性(x、y、zおよび操機手角度、回転、揺れ)を監視する。このインタフェース920は、アプライヤの仮定(すなわち閉鎖、開放またはその間のあらゆる位置)動作を監視する。この装置インタフェース920は、図12に示ように、クリップアプライヤハンドル917を介してクリップアプライヤラッチチップ916接続されている。再び図13を参照すると、シミュレーションされたクリップアプライヤ918は、実際のクリップアプライヤ919が行い、追跡、監視、および制御装置/インタフェース920によってシミュレータへ送信された動作に従い、および応えるように同期される。
シミュレーションされた手術のプロセスで、外科医は実際のクリップアプライヤ919を持って手術動作を実行し、シミュレーションされたクリップアプライヤ918は、実際のクリップアプライヤ919に従うシミュレーションされたクリップアプライヤ918の同期された動作によって、シミュレーションされた環境で外科医の動作に従い、表し、および反映する。実際のクリップアプライヤ919は、システムが実際の手術ツールをシミュレーションされた環境に接続する方法の例である。外科医へのCA−SRPのインタフェースのような他の手術ツールは、特に、手術インタフェース、o型はさみ、双極およびバヨネット鉗子を含む。それらのインタフェースは、外科医が彼の動作のフォースフィードバック指示を感知するのを可能にするようそれらのツールに送られたフォース/触覚フィードバックを、含んでも含まなくてもよい。
臨床的困難
栄養血管への識別およびアプローチ:動脈瘤を脳循環から除外し、一方で周辺の血管の負荷を最小化するための動脈瘤クリップの最適な配置および方向の判断。
種々のクリップから特定のクリップの選択が可能:下の全てが時間制約を切る。手術シアタが、手術方法を向上し手術成果を上げるため、外科医が重大な洞察を得ることを可能にしている。
臨床的利点:患者特有の、それぞれの患者のそれぞれの特有のケースに調整されたCA−SRP、手術準備ツールが、神経手術部に配属された外科医に使用される。CA−SRPが、動脈瘤の一時的血管クランピングの段階のような手術の重要な時間区分を最小化することにより、手術成果を上げることが予想される。CA−SRPは、正確なリハーサルならびに事前の最善のクリップの選択に基き、および患者自身の解剖学的構造に基き、正確なクランピング方向および動脈瘤領域への最善の推移のアプローチを前もって計画する強化された手段を提供する。これは、動脈瘤修復の質(有効性)が最大化され、一方で卒中のような有害事象が最小化される結果をもたらすと考えられている。
特定の臨床的利点:(i)手術ロムに入る前でも動脈瘤クリップを事前に選択、(ii)栄養血管への最適アプローチの事前の計画、(iii)外科医が”もし〜だったらどうなるか”シナリオを実行し、異なる手術方法、異なるクリップおよび異なるアプローチを評価可能である。(iv)外科医が動脈瘤クリップの最適配置および方向を計画し、動脈瘤の脳循環からの除外を最大化し、一方で周辺の血管の負荷を最小化し、臨床的成果を向上し手術効率を上げ、手術成果を上げて有害事象の可能性を減少させる状況をもたらす。さらにCA−SRPは、訓練中の研修医および専修医にとって適切なプラットフォーム以上のものであり、我々のマーケット研究が追ったいくつかの”訓練に関する”困難に対処する。CA−SRPが対処する主要な訓練の困難は、勤務時間の制限により実践および手術室で可能な時間が少ない脳外科医の訓練の困難である。
研修医の困難
”研修医は、週に80時間を超えた勤務時間をスケジュールしてはならない”ACGME,2002より。”2003年7月以降、研修医が十分な訓練を受けていることを確実にするため、多くのプログラムがひしめいている”神経外科医全国会議ワシントン委員会より。
CA−SRPは、研修医および専修医が、CA−SRPを使用することによって、それぞれの患者特有の手術に効率的な方法でよく準備することで、より多くの経験を得るのを補助する。CA−SRPは、外科医、ならびに研修医および専修医の両方に以下の利点を提供する。(1)臨場感がある没入型システムで患者特有のシミュレーションをリハーサルすることによる手術の有害事象の減少、(2)手術時間の減少による運用面の効率向上。
本発明の実施形態の多くの他の例を、前述の機能の種々の組み合わせを通して提供が可能である。特定の例および実施形態を用いて本発明を前述したが、必ずしも本発明の意図された範囲から逸脱することなく、種々の代替手段を使用してもよく、本明細書に記載された構成要素および/またはステップを等価物で置き換えてもよいことが、当業者には理解されるであろう。本発明の意図された範囲から逸脱することなく、本発明を特定の状況または特定のニーズに適合するため、修正が必要かもしれない。本発明は本明細書に記載された特定の実施および実施形態に限定されず、請求項は、それらの最も広範囲の合理的な解釈を与えられ、全ての新規および明らかでない実施形態、文字通りのものまたは等価物、開示されたまたは開示されないものに及び、それによって対象にされることが意図される。

Claims (22)

  1. 特定の患者の医療画像から取得され、または導き出された患者組織画像情報を格納し、前記組織の基準特性も格納するデータベースと、
    ディスプレイと、
    前記ディスプレイ上で表示するため、前記特定の患者の組織の動的3D画像を生成し、前記生成は、前記組織の動的3D画像が写実的に前記特定の患者の対応する実際の組織を表すように、前記患者組織画像情報を使用する画像発生器と、
    モデル作成システムとともに使用するため適合された実際の手術ツールに接続するツールインタフェースと、
    前記実際の手術ツールの実際のツールモデルを生成し、また、ユーザによる前記実際の手術ツールの操作により、前記組織の動的3D画像と動的に相互作用する、ユーザツールユーザツールモデルを生成するように構成されている、ユーザツール発生器と、
    前記ユーザツールモデルのパラメータを調整する前記ユーザのためのユーザ・インタフェースと、を備え、
    前記ユーザツールモデルは前記ディスプレイ上に表示され、医療処置の写実的なシミュレーションのため前記調整されたパラメータにより前記組織の動的3D画像と動的に相互作用する、
    手術シミュレーションを実行するモデル作成システム。
  2. 前記パラメータを調整するユーザ・インタフェースが、前記ユーザツールの構造の修正を可能にする、請求項1に記載のモデル作成システム。
  3. 前記ユーザツールの構造の前記修正が、前記ユーザツールの形状の変更を含む、請求項2に記載のモデル作成システム。
  4. 修正された前記ユーザツールに関する仕様を出力するインタフェースをさらに備え、前記仕様は前記システムにより生成される、請求項2に記載のモデル作成システム。
  5. 前記仕様は、患者の実際の手術を行う際に使用するために設計された実際のユーザツール製造するためのツールの製造可能にする形式で提供される、請求項4に記載のモデル作成システム。
  6. 前記特定の患者の前記医療画像が動脈瘤の画像を含み、前記組織の動的3D画像が動脈瘤の画像を含み、さらに、前記ユーザツールが前記組織の画像と動的に相互作用する動脈瘤クリップモデルを適用するための動脈瘤クリップアプライヤを含む、請求項1に記載のモデル作成システム。
  7. 前記ユーザに対する異なる埋没物の複数のモデルのライブラリを格納するメモリと、
    前記複数のモデルから1つの埋没物モデルを選択して、前記組織の動的3D画像と動的に相互作用する前ユーザツールモデルとともに使用するための、ユーザ・インタフェースと、をさらに備える、
    請求項1に記載のモデル作成システム。
  8. 前記動的相互作用が、前記ユーザツールと前記組織の動的3D画像の間の方向の相互作用の計算、および相互作用の検出のための、区分化および軟質組織のシミュレーションおよび衝突の検出の提供のため適合されたアルゴリズムの実行により提供される、請求項1に記載のモデル作成システム。
  9. 前記システムが、前記ディスプレイ上に前記患者の頭部の少なくとも一部の画像を表示するため適合され、前記頭部の前記少なくとも一部の前記画像が、前記特定の患者の前記医療画像から導き出された、請求項1に記載のモデル作成システム。
  10. 前記ユーザツールモデルのパラメータを調整するユーザ・インタフェースがまた、前記ユーザが前記組織の動的3D画像の力学的特性を調整するのも可能にする、請求項1に記載のモデル作成システム。
  11. 特定の患者の医療画像から取得され、または導き出された患者組織画像情報を格納するデータベースであって、前記画像情報は動脈瘤を含み、
    データベースは前記組織の基準特性も格納するデータベースと、
    ディスプレイと、
    前記ディスプレイ上で表示するため、前記特定の患者の組織の動的3D画像を生成する画像発生器であって、前記生成は、前記組織の動的3D画像が写実的に前記特定の患者の対応する実際の組織を表し、3Dで前記動脈瘤の画像を示す少なくとも1つの血管を含むように、前記患者画像情報を使用する画像発生器と、
    モデル作成システムとともに使用するため適合された実際の動脈瘤クリップアプライヤに接続するツールインタフェースと、
    前記実際の動脈瘤クリップアプライヤの前記動脈瘤クリップアプライヤモデルを生成し、また、ユーザによる前記実際の動脈瘤クリップアプライヤの操作により、前記動脈瘤の前記画像と動的に相互作用する動脈瘤クリップの動脈瘤クリップモデルを生成するように構成されている、ユーザツール発生器と、
    前記動脈瘤クリップモデルのパラメータを調整する前記ユーザのためのユーザ・インタフェースと、を備え、
    前記動脈瘤クリップモデルは前記ディスプレイ上に表示され、動脈瘤クリッピング手術の写実的なシミュレーションのため前記調整されたパラメータにより前記動脈瘤の前記画像と動的に相互作用する、
    動脈瘤クリッピング手術のシミュレーションを実行するモデル作成システム。
  12. 前記動脈瘤クリップモデルのモデル作成パラメータを調整する前記ユーザ・インタフェースが、前記動脈瘤クリップモデルの大きさまたは方向の修正をする、請求項11に記載のモデル作成システム。
  13. 前記動脈瘤クリップモデルの構造の修正が、前記動脈瘤クリップモデルの形状の変更を含む、請求項12に記載のモデル作成システム。
  14. 修正された動脈瘤クリップモデルに基て、実際の動脈瘤クリップに関する仕様を出力するインタフェースをさらに備え、前記仕様は前記システムにより生成される、請求項11に記載のモデル作成システム。
  15. 前記仕様は、動脈瘤クリップの製造が患者の実際の動脈瘤クリッピング手術を行う際に使用するために設計された実際の動脈瘤クリップの製造を可能にする形式提供される、請求項14に記載のモデル作成システム。
  16. 前記ユーザに対する異なる動脈瘤クリップの複数のモデルのライブラリを格納するメモリと、
    前記複数のモデルから1つの動脈瘤クリップモデルを選択して、前記動脈瘤の前記画像と動的に相互作用する動脈瘤クリップモデルとして使用するための、ユーザ・インタフェースと、をさらに備える、
    請求項11に記載のモデル作成システム。
  17. 前記動的相互作用が、前記動脈瘤クリップモデルと前記動脈瘤画像の間の方向の相互作用の計算、および相互作用の検出のための、区分化および軟質組織のシミュレーションおよび衝突の検出の提供のため適合されたアルゴリズムの実行により提供される、請求項11に記載のモデル作成システム。
  18. 前記システムが、前記患者の頭部の少なくとも一部の画像を表示するため適合され、前記頭部の少なくとも一部の前記画像が、前記特定の患者の前記医療画像から導き出された、請求項11に記載のモデル作成システム。
  19. 前記モデル作成パラメータを調整するユーザ・インタフェースがまた、前記ユーザが前記動脈瘤の前記画像の力学的特性を調整するためのものである、請求項11に記載のモデル作成システム。
  20. 特定の患者の医療画像から取得され、または導き出された患者組織画像情報を格納するデータベースであって、前記画像情報は動脈瘤を含み、データベースは前記組織の基準特性も格納するデータベースと、
    ディスプレイと、
    前記ディスプレイ上で表示するため、前記特定の患者の組織の動的3D画像を生成する画像発生器であって、前記生成は、前記組織の動的3D画像が写実的に前記特定の患者の対応する実際の組織を表し、3Dで前記動脈瘤の画像を示す少なくとも1つの血管を含むように、前記患者画像情報を使用する画像発生器と、
    ユーザに対する異なる動脈瘤クリップの複数のモデルのライブラリを格納するメモリと、
    前記動脈瘤の前記画像と動的に相互作用するための動脈瘤クリップモデルとして使用するために、前記複数のモデルから1つの動脈瘤クリップモデルを選択するユーザ・インタフェースと、
    モデル作成システムとともに使用するため適合された実際の動脈瘤クリップアプライヤに接続するツールインタフェースと、
    前記動脈瘤の画像の力学的特性を調整する前記ユーザのためのインタフェースと、
    動脈瘤クリップアプライヤモデルを生成し、また、前記ユーザによる前記実際の動脈瘤クリップアプライヤの操作により、前記選択された1つの動脈瘤クリップモデルを前記動脈瘤の前記画像に適用して、前記選択された1つの動脈瘤クリップモデルに、前記選択された1つの動脈瘤クリップモデルと前記動脈瘤クリップアプライヤモデルとの動的な相互作用を表示する、ユーザツール発生器と、
    前記動脈瘤クリップモデルの力学的特性および/または前記動脈瘤の前記画像
    を調整する前記ユーザのためのインタフェースと、を備え、
    動脈瘤クリッピング手術の写実的なシミュレーションのため前記ユーザにより調整されたように、前記動脈瘤クリップモデルが前記ディスプレイ上に表示され、前記力学的特性に基づき前記動脈瘤の前記画像と動的に相互作用する、
    動脈瘤クリッピング手術のシミュレーションを実行するモデル作成システム。
  21. 特定の患者の医療画像から取得され、または導き出された患者組織画像情報を格納し、前記患者の組織の基準特性も格納するデータベースと、
    ディスプレイと、
    前記ディスプレイ上で表示するため、特定の患者の血管および骨を含む組織の患者の解剖学的構造の動的3D画像を生成する画像発生器であって、前記生成は、前記組織の動的3D画像が写実的に前記特定の患者の対応する実際の組織を3Dで表すように、前記患者画像情報を使用する画像発生器と、
    ユーザに対する異なる埋没物の複数のモデルのライブラリを格納するメモリと、
    前記解剖学的構造の画像と動的に相互作用するために、前記複数のモデルから1つの埋没物モデルを選択するユーザ・インタフェースと、
    モデル作成システムとともに使用するため適合された実際の手術ツールに接続するツールインタフェースと、
    前記解剖学的構造の前記画像の力学的特性を調整する前記ユーザのためのインタフェースと、
    実際の手術ツールのモデルを生成し、また、ユーザ前記実際の手術ツール操作したときに、前記選択された1つの埋没物モデル、前記選択された1つの埋没物モデル上の前記解剖学的構造の前記画像との動的な相互作用を表示する、手術ツール発生器と
    没物モデルの力学的特性を調整する前記ユーザのためのインタフェースと、を備え、手術の写実的なシミュレーションのためユーザにより調整されたように、前記埋没物モデルが前記ディスプレイ上に表示され、前記力学的特性に基づき前記組織の前記画像と動的に相互作用する、
    埋込手術のシミュレーションを実行するモデル作成システム。
  22. 前記手術が、骨の一部、骨関節、膝関節、または心臓の一部を置換するものであり、前記埋没物が特定の手術に適合された、請求項21に記載のモデル作成システム。
JP2014502844A 2011-03-30 2012-03-30 外科手術をシミュレーションする方法およびシステム Expired - Fee Related JP6457262B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161469152P 2011-03-30 2011-03-30
US61/469,152 2011-03-30
PCT/US2012/031514 WO2012135653A1 (en) 2011-03-30 2012-03-30 Method and system for simulating surgical procedures

Publications (2)

Publication Number Publication Date
JP2014522248A JP2014522248A (ja) 2014-09-04
JP6457262B2 true JP6457262B2 (ja) 2019-01-23

Family

ID=46931944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014502844A Expired - Fee Related JP6457262B2 (ja) 2011-03-30 2012-03-30 外科手術をシミュレーションする方法およびシステム

Country Status (4)

Country Link
US (3) US9788905B2 (ja)
EP (1) EP2691946A4 (ja)
JP (1) JP6457262B2 (ja)
WO (1) WO2012135653A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023234492A1 (ko) * 2022-05-30 2023-12-07 (주)휴톰 환자 맞춤형 3d 수술 시뮬레이션을 제공하는 방법, 장치 및 프로그램

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8549888B2 (en) 2008-04-04 2013-10-08 Nuvasive, Inc. System and device for designing and forming a surgical implant
US8311791B1 (en) 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
WO2012135653A1 (en) 2011-03-30 2012-10-04 Avisar Mordechai Method and system for simulating surgical procedures
US11207132B2 (en) 2012-03-12 2021-12-28 Nuvasive, Inc. Systems and methods for performing spinal surgery
WO2013177520A1 (en) 2012-05-25 2013-11-28 Surgical Theater LLC Hybrid image/scene renderer with hands free control
WO2013181622A2 (en) * 2012-06-01 2013-12-05 Sas Ip User interface and method of data navigation in the user interface of engineering analysis applications
EP2880600A2 (en) * 2012-08-02 2015-06-10 Max-Planck-Gesellschaft zur Förderung der Wissenschaften Method and computing system for modelling a primate brain
US20140081659A1 (en) 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
CN103077633A (zh) * 2013-01-11 2013-05-01 深圳超多维光电子有限公司 一种立体虚拟培训系统和方法
US9968408B1 (en) 2013-03-15 2018-05-15 Nuvasive, Inc. Spinal balance assessment
WO2014142770A1 (en) * 2013-03-15 2014-09-18 Altun Adnan A method for creating surgery simulation for surgical planning and providing surgical consultation services over the web and/or network
US20150007031A1 (en) * 2013-06-26 2015-01-01 Lucid Global, Llc. Medical Environment Simulation and Presentation System
US9848922B2 (en) 2013-10-09 2017-12-26 Nuvasive, Inc. Systems and methods for performing spine surgery
WO2015154069A1 (en) 2014-04-04 2015-10-08 Surgical Theater LLC Dynamic and interactive navigation in a surgical environment
US10433893B1 (en) 2014-10-17 2019-10-08 Nuvasive, Inc. Systems and methods for performing spine surgery
EP3012759B1 (de) * 2014-10-24 2019-10-02 mediCAD Hectec GmbH Verfahren zur planung, vorbereitung, begleitung, überwachung und/oder abschliessenden kontrolle eines operativen eingriffs in den menschlichen oder tierischen körper, vorrichtung zum ausführen eines solchen eingriffs und verwendung der vorrichtung
US10603175B2 (en) * 2014-11-24 2020-03-31 The Johns Hopkins University Cutting machine for resizing raw implants during surgery
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US20160262800A1 (en) 2015-02-13 2016-09-15 Nuvasive, Inc. Systems and methods for planning, performing, and assessing spinal correction during surgery
CN107847289A (zh) 2015-03-01 2018-03-27 阿里斯医疗诊断公司 现实增强的形态学手术
EP3361979A4 (en) 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
CN108352132A (zh) * 2015-10-16 2018-07-31 维塔医疗股份公司 超声模拟方法
US10460077B2 (en) * 2016-04-12 2019-10-29 GreatDef Corp. Securely collecting and processing medical imagery
US20170300618A1 (en) * 2015-10-28 2017-10-19 Michael J O'Leary Collecting and Processing Medical Imagery
AU2017227708A1 (en) 2016-03-01 2018-10-18 ARIS MD, Inc. Systems and methods for rendering immersive environments
BR112018067591B1 (pt) 2016-03-02 2023-11-28 Nuvasive, Inc. Sistema para planejamento e avaliação cirúrgicos de correção de deformidade espinhal em um indivíduo
US10810907B2 (en) 2016-12-19 2020-10-20 National Board Of Medical Examiners Medical training and performance assessment instruments, methods, and systems
US9935395B1 (en) 2017-01-23 2018-04-03 Cadwell Laboratories, Inc. Mass connection plate for electrical connectors
WO2018133098A1 (zh) 2017-01-23 2018-07-26 上海联影医疗科技有限公司 血管壁应力应变状态获取方法及系统
US11462121B2 (en) 2017-02-15 2022-10-04 Cae Inc. Visualizing sub-systems of a virtual simulated element in an interactive computer simulation system
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
WO2019051492A1 (en) * 2017-09-11 2019-03-14 Cubic Corporation TOOLS AND ARCHITECTURE OF IMMERSIVE VIRTUAL ENVIRONMENT (IVE)
JP6941357B2 (ja) * 2017-09-19 2021-09-29 株式会社ジャパン・メディカル・カンパニー 術中脳動脈瘤破裂の対処訓練装置
US11272985B2 (en) 2017-11-14 2022-03-15 Stryker Corporation Patient-specific preoperative planning simulation techniques
US10426424B2 (en) 2017-11-21 2019-10-01 General Electric Company System and method for generating and performing imaging protocol simulations
US11992339B2 (en) 2018-05-04 2024-05-28 Cadwell Laboratories, Inc. Systems and methods for dynamic neurophysiological stimulation
US11253182B2 (en) 2018-05-04 2022-02-22 Cadwell Laboratories, Inc. Apparatus and method for polyphasic multi-output constant-current and constant-voltage neurophysiological stimulation
US11250726B2 (en) * 2018-05-24 2022-02-15 Verily Life Sciences Llc System for simulation of soft bodies
US11443649B2 (en) 2018-06-29 2022-09-13 Cadwell Laboratories, Inc. Neurophysiological monitoring training simulator
JP7286380B2 (ja) 2019-04-01 2023-06-05 国立大学法人 東京大学 医用画像処理装置及び医用画像処理プログラム
EP3962424A4 (en) 2019-05-03 2023-03-29 Lensar, Inc. CLOUD SYSTEM CATARACT TREATMENT DATABASE AND ALGORITHM SYSTEM
WO2020232402A1 (en) * 2019-05-15 2020-11-19 Maximum Fidelity Surgical Simulations, LLC Cadaverous heart model
US11925418B2 (en) * 2019-12-02 2024-03-12 The General Hospital Corporation Methods for multi-modal bioimaging data integration and visualization
CN111028949A (zh) * 2019-12-19 2020-04-17 江苏医药职业学院 一种基于物联网的医学影像检查训练系统及方法
WO2022014401A1 (en) * 2020-07-14 2022-01-20 Sony Group Corporation Device, method and computer program product for validating surgical simulation
KR20230167194A (ko) * 2022-05-30 2023-12-08 (주)휴톰 수술 종류에 따라 장기 및 혈관에 대한 3d 모델을 생성하는 방법, 장치 및 프로그램
WO2024040077A1 (en) * 2022-08-15 2024-02-22 Dasisimulations Llc Interactive planner for repair or replacement surgery
CN117539367B (zh) * 2023-11-20 2024-04-12 广东海洋大学 基于交互式智能实验教学系统的图像识别跟踪方法

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1008128A3 (nl) 1994-03-10 1996-01-23 Materialise Nv Werkwijze voor het ondersteunen van een voorwerp vervaardigd door stereolithografie of een andere snelle prototypevervaardigingswerkwijze en voor het vervaardigen van de daarbij gebruikte steunkonstruktie.
BE1008372A3 (nl) 1994-04-19 1996-04-02 Materialise Nv Werkwijze voor het vervaardigen van een geperfektioneerd medisch model uitgaande van digitale beeldinformatie van een lichaamsdeel.
US5623582A (en) * 1994-07-14 1997-04-22 Immersion Human Interface Corporation Computer interface or control input device for laparoscopic surgical instrument and other elongated mechanical objects
US5765561A (en) 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US5826206A (en) 1996-03-12 1998-10-20 Training Inovations Group, Llc Debriefing systems and methods for retrieving and presenting multiple datastreams with time indication marks in time synchronism
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
IL123073A0 (en) 1998-01-26 1998-09-24 Simbionix Ltd Endoscopic tutorial system
US6113395A (en) * 1998-08-18 2000-09-05 Hon; David C. Selectable instruments with homing devices for haptic virtual reality medical simulation
JP3559495B2 (ja) * 2000-03-28 2004-09-02 京セラ株式会社 誘電体磁器組成物およびそれを用いた誘電体共振器並びに非放射性誘電体線路
US6939138B2 (en) 2000-04-12 2005-09-06 Simbionix Ltd. Endoscopic tutorial system for urology
AU2001260559A1 (en) 2000-05-19 2001-11-26 Simbionics Ltd. Endoscopic tutorial system for the pancreatic system
US20020059284A1 (en) 2000-10-20 2002-05-16 Ran Bronstein Method for rapid transfer of data with a multi-spline model
IL143255A (en) 2001-05-20 2015-09-24 Simbionix Ltd Endoscopic ultrasonography simulation
WO2002100284A1 (en) 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system
FR2836372B1 (fr) 2002-02-28 2004-06-04 Obl Procede et dispositif pour la mise en place d'implants dentaires
SE0202863D0 (sv) 2002-09-30 2002-09-30 Goeteborgs University Surgical Improved computer-based minimal-invasive surgery simulation system
SE525157C2 (sv) 2002-12-03 2004-12-14 Mentice Ab Simuleringssystem för invasiv kirurgi
US7850456B2 (en) 2003-07-15 2010-12-14 Simbionix Ltd. Surgical simulation device, system and method
US7101383B1 (en) 2003-11-26 2006-09-05 Van Ess Lester J Laparoscopic instrument and method for its use
US20060036167A1 (en) 2004-07-03 2006-02-16 Shina Systems Ltd. Vascular image processing
US7331929B2 (en) 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
US8702580B2 (en) 2004-10-06 2014-04-22 Brainlab Ag Method and device for assisting in a tissue treatment
US8480404B2 (en) 2004-11-30 2013-07-09 Eric A. Savitsky Multimodal ultrasound training system
JP2006223374A (ja) 2005-02-15 2006-08-31 Olympus Corp 手術支援装置、手術支援システム及び手術支援方法
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US20070129626A1 (en) 2005-11-23 2007-06-07 Prakash Mahesh Methods and systems for facilitating surgical procedures
US20070134637A1 (en) 2005-12-08 2007-06-14 Simbionix Ltd. Medical simulation device with motion detector
US20070248261A1 (en) 2005-12-31 2007-10-25 Bracco Imaging, S.P.A. Systems and methods for collaborative interactive visualization of 3D data sets over a network ("DextroNet")
GB0609988D0 (en) 2006-05-19 2006-06-28 Materialise Nv Method for creating a personalized digital planning file for simulation of dental implant placement
EP2029059A2 (en) * 2006-05-25 2009-03-04 Spinemedica Corporation Patient-specific spinal implants and related systems and methods
US20120150243A9 (en) 2006-08-31 2012-06-14 Catholic Healthcare West (Chw) Computerized Planning Tool For Spine Surgery and Method and Device for Creating a Customized Guide for Implantations
WO2008027549A2 (en) * 2006-08-31 2008-03-06 Catholic Healthcare West (Chw) Computerized planning tool surgery
DE102006056884A1 (de) 2006-12-01 2008-06-05 Siemens Ag Verfahren und CT-System zur Durchführung einer Cardio-CT-Untersuchung eines Patienten
WO2008076079A1 (en) 2006-12-19 2008-06-26 Bracco Imaging S.P.A. Methods and apparatuses for cursor control in image guided surgery
WO2008087629A2 (en) 2007-01-16 2008-07-24 Simbionix Ltd. Preoperative surgical simulation
US8543338B2 (en) 2007-01-16 2013-09-24 Simbionix Ltd. System and method for performing computerized simulations for image-guided procedures using a patient specific model
GB0703141D0 (en) 2007-02-19 2007-03-28 Materialise Dental Nv Dual transfer device for guided direct bonding
DE102007053008A1 (de) 2007-11-05 2009-05-14 Repetzki, Sebastian, Dr.-Ing. Zielkörper und Verfahren zur Bestimmung seiner räumlichen Lage
WO2009094621A2 (en) 2008-01-25 2009-07-30 University Of Florida Research Foundation, Inc. Devices and methods for implementing endoscopic surgical procedures and instruments within a virtual environment
US9396669B2 (en) 2008-06-16 2016-07-19 Microsoft Technology Licensing, Llc Surgical procedure capture, modelling, and editing interactive playback
US9679499B2 (en) * 2008-09-15 2017-06-13 Immersion Medical, Inc. Systems and methods for sensing hand motion by measuring remote displacement
JP5215828B2 (ja) 2008-12-02 2013-06-19 三菱プレシジョン株式会社 術前シミュレーションのためのモデル生成方法
GB0822590D0 (en) 2008-12-11 2009-01-21 Materialise Nv Orthotic prosthetic cushioned device and method of making the same
EP2387760B1 (en) 2009-01-15 2019-05-01 SimQuest LLC Interactive simulation of biological tissue
US8685093B2 (en) 2009-01-23 2014-04-01 Warsaw Orthopedic, Inc. Methods and systems for diagnosing, treating, or tracking spinal disorders
US9099015B2 (en) 2009-05-12 2015-08-04 Edda Technology, Inc. System, method, apparatus, and computer program for interactive pre-operative assessment involving safety margins and cutting planes in rendered 3D space
US9104791B2 (en) * 2009-05-28 2015-08-11 Immersion Corporation Systems and methods for editing a model of a physical system for a simulation
JP5761900B2 (ja) * 2009-06-08 2015-08-12 三菱プレシジョン株式会社 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ
US8504136B1 (en) 2009-10-06 2013-08-06 University Of South Florida See-through abdomen display for minimally invasive surgery
US8311791B1 (en) 2009-10-19 2012-11-13 Surgical Theater LLC Method and system for simulating surgical procedures
US10580325B2 (en) 2010-03-24 2020-03-03 Simbionix Ltd. System and method for performing a computerized simulation of a medical procedure
WO2012135653A1 (en) 2011-03-30 2012-10-04 Avisar Mordechai Method and system for simulating surgical procedures
CN103607949B (zh) 2011-06-10 2016-01-20 皇家飞利浦有限公司 利用光学形状感测的动态约束
CN102354345A (zh) 2011-10-21 2012-02-15 北京理工大学 一种具有体感交互方式的医学影像浏览设备
US20130267838A1 (en) 2012-04-09 2013-10-10 Board Of Regents, The University Of Texas System Augmented Reality System for Use in Medical Procedures
WO2013177520A1 (en) 2012-05-25 2013-11-28 Surgical Theater LLC Hybrid image/scene renderer with hands free control
US9563266B2 (en) 2012-09-27 2017-02-07 Immersivetouch, Inc. Haptic augmented and virtual reality system for simulation of surgical procedures
WO2015154069A1 (en) 2014-04-04 2015-10-08 Surgical Theater LLC Dynamic and interactive navigation in a surgical environment
US20180092698A1 (en) 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023234492A1 (ko) * 2022-05-30 2023-12-07 (주)휴톰 환자 맞춤형 3d 수술 시뮬레이션을 제공하는 방법, 장치 및 프로그램

Also Published As

Publication number Publication date
WO2012135653A1 (en) 2012-10-04
US20210287779A1 (en) 2021-09-16
JP2014522248A (ja) 2014-09-04
US9788905B2 (en) 2017-10-17
US20150127316A1 (en) 2015-05-07
EP2691946A4 (en) 2015-09-23
US20180098814A1 (en) 2018-04-12
EP2691946A1 (en) 2014-02-05
US11024414B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
JP6457262B2 (ja) 外科手術をシミュレーションする方法およびシステム
JP6677758B2 (ja) ハイブリッド画像/ハンズフリー制御によるシーンレンダラー
US20240033014A1 (en) Guidance for placement of surgical ports
US20190238621A1 (en) Method and system for simulating surgical procedures
JP6081907B2 (ja) 医療処置のコンピュータ化シミュレーションを行うシステム及び方法
JP2018534011A (ja) 拡張現実感手術ナビゲーション
US20220370137A1 (en) Surgical Simulation Object Rectification System
KR20190108923A (ko) 증강현실을 이용한 성형외과 진료/수술 지원시스템
KR20050047548A (ko) 가상 해부 환경을 생성하는 장치 및 방법
TW202038866A (zh) 手術用穿戴式影像顯示裝置及手術資訊即時呈現系統
WO2022243961A1 (en) Surgical simulation system with simulated surgical equipment coordination
WO2020210972A1 (zh) 手术用穿戴式影像显示装置及手术资讯即时呈现系统
WO2022243954A1 (en) Surgical simulation object rectification system
WO2022243960A1 (en) Simulation-based surgical analysis system
WO2024201141A1 (en) Systems and methods for simulating surgical procedures
Li Web-based modelling with applications to surgical training

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160530

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170301

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170719

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181220

R150 Certificate of patent or registration of utility model

Ref document number: 6457262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees