JP7453693B2 - 外科トレーニング装置、方法及びシステム - Google Patents

Description

本発明は、外科トレーニングのための装置、方法及びシステムに関する。より詳細には、本発明は、戦略的に配置されたセンサーをもつ解剖学的モデルを採用する、新規のシミュレートされた外科トレーニング装置、方法及びシステムに関する。センサーを装備されたモデルは、シミュレートされた外科トレーニング・セッション中の理想的な時間に訓練生に指導付きの指示と的を絞ったカリキュラム・コンテンツとを供給するために拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）ヘッドセット及びコンピュータ・ソフトウェアとともに使用される。

多くの外科訓練生は、現在、代替手段が不十分であることにより、手術室において生身の患者で訓練を行う。このことは、理想的とは言えない患者の転帰、及び不必要に長引く手術時間につながり得る。研究により、手術時間が長くなると、患者の危険が高まり、治療費が増加することがわかっている。

外科ファントム・モデルでのトレーニングが知られているが、改善された外科トレーニング装置、方法及びシステムが依然として必要である。特に、外科トレーニングは、学生が運動課題（ｍｏｔｏｒ ｔａｓｋ）を終わらせている間、視覚キューと音声キューの両方を必要とする。現在、この指導を行う唯一の手段は、生身の経験を積んだ医師によるトレーニング・セッションによるものである。残念ながら、外科医の時間的制約により、実物によるトレーニングは、実際の患者の症例中にのみ実現可能であり、したがって、外科的な非効率により、危害を引き起こすか、又は過大なコストを生じる可能性がある。

外科訓練生が適切な外科技法と意思決定とを身につけることを助けるために、訓練生が、拡張現実ヘッドセットと、解剖学的モデル中又はそれに隣接するセンサーによって感知される訓練生の行為に相関させられた的を絞った外科コースワーク・カリキュラムの供給とによって、現実的な様式で解剖学的モデル上で外科技能を実践することを可能にする、外科トレーニング装置、方法及びシステム。

本発明は、さらに、別の態様では、拡張現実ヘッドセット（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）又は他の人間コンピュータ・インターフェース（ＨＣＩ：ｈｕｍａｎ ｃｏｍｐｕｔｅｒ ｉｎｔｅｒｆａｃｅ）を通して、一体化されたデジタル・カリキュラム・コンテンツをもつ、センサーを装備された外科ファントム・モデルを与えることによって、上記のニーズに対処する。

本発明はまた、また別の態様では、ユーザが自立的なトレーニングを実行することを可能にする、外科ファントムと、外科ツールと、コンピュータ・ソフトウェアとの間の情報転送を提供する。

またさらなる態様では、本発明は、カリキュラム・コンテンツの供給を促すために信号を放出する外科トレーニング・ファントムを提供する。

信号は、たとえば、トランスデューサ、ビデオ画像及び／又はひずみゲージなど、好適な電子構成要素を使用してモデルから生成され得る。

信号の生成は、たとえば、
ａ）たとえば、提案された切開部位のマーキング、切開を行うこと、シミュレートされた出血の発生、シミュレートされた腫瘍の切除など、モデルにおける変化を感知したとき、
ｂ）たとえば、ユーザの手及び／又は頭の動きなど、ユーザの動きを感知したとき、
ｃ）身体マーキング・ペン、縫合針、持針器（ｎｅｅｄｌｅ ｄｒｉｖｅｒ）、腹腔鏡手術器械、吸引チップなど、外科用器具の使用を感知すること、及び／又は
ｄ）手術野（ｓｕｒｇｉｃａｌ ｆｉｅｌｄ）又は手順の過程において「外科医が見るもの」内の特定のビデオ視界（「ＦＯＶ」）を感知すること
などの方法のいずれか１つ又は組合せによって開始され得る。
センサーからの信号（たとえば、トランスデューサ、可視及び不可視周波数を含む電磁スペクトル放出）は、たとえば、カメラ・ビジョン、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、音、光、ワイヤード接続など、任意の望ましい通信モードを使用して、外科トレーニング・ソフトウェア・プログラムを実行するコンピュータに供給される。機械学習は、データを解析するため、そのデータから学習するため、及びそれが学習したことについてのインフォームド・デシジョン（ｉｎｆｏｒｍｅｄ ｄｅｃｉｓｉｏｎ）を行うために採用され得る。深層学習は、モデルが画像、テキスト又は信号から直接分類タスクを実行することをそこにおいて学習する機械学習の一種である。深層学習は、並列コンピュータによってリアルタイムで計算され得るニューラル・ネットワーク・アーキテクチャを使用して実装され得る。機械学習及び／又は深層学習は、ＡＲヘッドセット・カメラ及び９自由度ヘッド／カメラ位置トラッカーからの信号及び画像、並びにシミュレートされた器官及び／又は外科用器具からの他の信号出力を使用して、物体を識別し、処理し、分類するために使用され得る。

信号は、コンピュータ外科トレーニング・ソフトウェア・プログラムによって解釈され、外科シミュレーション・トレーニング・ソフトウェア中に状態変化を引き起こし得る。

ソフトウェアは、外科ファントム・モデル・トレーニング・セッションの進捗に対応するチュートリアル及び「ハウツー」ガイドを訓練生に供給するようにプログラムされ得る。

また別の態様では、本発明は、外科モデル上でのトレーニング手順中に外科訓練生の特定の動作を検出し、検出された動作に応答して、対応するカリキュラム・コンテンツ及び／又は他の情報を訓練生に供給する、ＡＲプラットフォームを提供する。ＡＲヘッドセット、及び／又は、たとえば、外科用器具（腹腔鏡、内視鏡、関節鏡、顕微鏡など）からのビデオを含む何らかのビデオ又はカメラ・フィードは、「モデル・キュー」及び／又は「動きキュー」及び／又は「静止画／ビデオ・キュー」であり得る１つ又は複数の「キュー」を検出することが可能である。

「モデル・キュー」は、個別要素、又は、ＡＲヘッドセットなどの「キュー受信機」によって検出可能である、モデル自体から発出する物理的状態である。モデル・キューの例は、限定はしないが、物理マーキング（たとえば、バーコード、又は見える若しくは見えないインクでの他のシンボル）、電子及び／又は光センサー、並びに／或いは外科モデルの表面内に埋め込まれるか又は外科モデルの表面に適用される任意の他の基準点（ｆｉｄｕｃｉａｌ）を含む。

「識別（ＩＤ：ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）及び／又は動きキュー」（以下「ＩＤ動きキュー」）は、ＡＲヘッドセットによって検出可能である、物理的存在（定常状態）、及び／又は訓練生による動き（たとえば、目、頭、手、腕の動き）及び／又は外科用器具による動きの検出を含む。この点について、訓練生の身体部位及び／又は（たとえば、クリップ、スポンジ及びガーゼなど、外科において使用され得る補助アイテムを含む）外科用器具は、それの存在（ＩＤ）及び／又は動きの検出を可能にする、適用された（たとえば、一時的に粘着した）センサー及び／又は他の基準を与えられ得る。動き検出は、コンピュータ化されたナビゲーション・システムによって追跡可能にされることもあり、されないこともある。

「静止画／ビデオ・キュー」は、（たとえば、腹腔鏡、ロボットなど）外科カメラからの画像キャプチャ及びビデオ・フィードを含む。ＡＲヘッドセットはまた、外科システム・トレーニング・ソフトウェア・プログラムへの入力を作成する画像キャプチャ及びビデオ・フィード機能を有し得る。

キュー受信機によるモデル・キュー及び／又はＩＤ動きキュー及び／又は静止画／ビデオ・キューの検出は、（キュー受信機がワイヤード又はワイヤレスでそれに接続されている）外科トレーニング・システム・ソフトウェアが特定の外科トレーニング・モジュール又はセッションのコンテキスト内でモデルの特定の行為及び／又は解剖学的基準点として解釈するようにプログラムされている信号を生成する。

モデル・キューは、その特定のモデルのためのソフトウェア・プログラミングに対応する様式でモデルの中又は上に戦略的に配置される。より詳細には、ソフトウェアは特定の外科トレーニング・モジュールのためにプログラムされ得る。ソフトウェアは、したがって、その特定の外科トレーニング・モジュールのための成功した外科手術を示す、モデルに対する外科的行為の順序付けされた（及び、随意に、時間調整された）シーケンスを用いてプログラムされ得る。モデルの中又は上の１つ又は複数のモデル・キュー及び／又はＩＤ動きキュー及び／又は静止画／ビデオ・キューのタイプ及び配置は、特定の外科セッションのための外科的行為のプログラムされた順序付けされたシーケンスに相関させられる。訓練生が、ソフトウェア・プログラムにおいて識別された予想された外科的動作と一致していない、モデル上での外科的行為を行うと、ソフトウェアは、そのような逸脱を検出し、応答して、予想された外科プロトコルからの逸脱について訓練生に通知する。

カリキュラム・コンテンツ及び／又は他の情報は、自動的に生成され得、逸脱の検出時に及び／又はトレーニング・モジュールの終了時に訓練生に供給され得る。

プログラムされた順序付けされたシーケンス及び／又はモデル・キュー検出のタイミングにおける変化を検出することが可能であることのほかに、モデル・キュー及び／又は動きキュー及び／又は画像キャプチャ／ビデオ・キューは、そのトレーニング・モジュールのためのプロトコルに従っていないか、又は外科的行為のための外科的動作基準を満たしていない外科的行為（たとえば、切開のために間違った部位に身体マーキング・ペンでモデルにマーキングすることがモデル上で実行されること、切開の手際が悪いこと、切除、又は（モデル中にスポンジを放置するなど）外科用器具又は補助アイテムの不適当な配置を示す信号をソフトウェアに与え得る。

本システムは、したがって、検出されたモデル・キュー及び／又はＩＤ動きキュー及び／又は画像キャプチャ／ビデオ・キューに基づいて現在の外科トレーニング状態を検出し、応答して、対応するカリキュラム・コンテンツ及び／又は他の情報が外科訓練生に対して表示されるか又は他の方法で与えられ得る。ソフトウェアは、様々なキュー検出機能を開発するために、機械学習、深層学習、及び／又は強化学習を含む直接的視覚的検出アルゴリズムを用いてプログラムされ得る。

別の態様では、本発明は、外科トレーニング・モデル上での訓練生の進捗に対して適切に時間調整されたカリキュラム・コンテンツを供給するようにプログラムされたコンピュータ・ソフトウェアを提供する。ソフトウェアは、所与の外科トレーニング・セッション又はシナリオのための適切なコンテンツを選択するアルゴリズム・デシジョン・ツリーに基づく。ソフトウェア構造は、システムが、必要な場合、検出された入力の直後を含む、任意の所望の様式で訓練生へのコンテンツの供給の時間調整を行うことを可能にする。本システムは、トレーニング・セッション中に任意の間隔で訓練生による随意の再生を含むようにプログラムされ得る。

別の態様では、本発明は、訓練生によって検出された活動を合計し、訓練生によって取られる個々のステップ及び／又は外科トレーニング・モジュールの手順全体のための動作スコアを与える、コンピュータ・ソフトウェアを提供する。上記で説明したキューからの出力は、合計され得、たとえば、初心者と熟練者との間の動作の差に基づいて、機械学習によって解釈される。ソフトウェアはまた、動作スコアを計算するか、又は将来の動作を改善するために訓練生に追加の指示を与えるようにプログラムされ得る。

本発明の追加の目的、利点及び新規の態様は、一部は以下の説明に記載され、一部は、添付図とともに検討すれば、本発明を実施する人々に明らかになろう。

本発明の上述の及び他の特徴及び利点、及びそれらを達成する様式は、添付の図面とともに本発明の以下の説明を参照することによって明らかになり、より良く理解されよう。

外科トレーニング・システムの一実施例を利用する外科訓練生の実例を示す、本発明の一実施例の斜視図である。 キュー入力と、ＳＴＳＳと、ＳＴＳＳデータベースと出力とを示す、一実施例のフロー・チャート図である。 隣接する器官センサーの活動化出力の実例を含む、モデル・タイプ及び各モデル・タイプのためのトレーニング・オプションを示す、一実施例のフロー・チャート図である。 外科ファントム・モデルの実例の断片化された平面図である。 本発明の一実施例による、モデル上のマーキングを示す図２Ａのビューである。 本発明の一実施例による、モデル上で外科訓練生によって使用するための外科用器具をさらに示す、図２Ｂに見られるモデルの断片化された平面図である。 本発明の一実施例による、切開を行う過程における外科用器具を示す図３Ａのビューである。 本発明の一実施例による、切開から出るシミュレートされた体液（たとえば、血液、胆汁、尿など）を示す図３Ｂのビューである。 本発明の一実施例による、訓練生がモデルの上で外科用器具を保持しているモデル・キューを有する外科トレーニング・モデルの断片化された図である。 本発明の一実施例による、外科用器具によって適用されたセンサーの変形及び活動化を示す図４Ａのビューである。 本発明の一実施例による、切除される過程におけるシミュレートされた腫瘍をもつ外科モデルの断片化された図である。 本発明の一実施例による、シミュレートされた腫瘍を有するヒト腎臓の外科モデルの断片化された平面図である。 本発明の一実施例による、シミュレートされた切除された腫瘍、及び腎動脈上に配置された仮止めクリップを示す図６Ａのビューである。 本発明の一実施例による、外科トレーニング・プロセスの流れ図である。 本発明の一実施例による、外科トレーニング・プロセスの流れ図である。 本発明の一実施例による、ニューラル・ネットワークを使用した機械学習及び深層学習のためのコンピュータをトレーニングする流れ図である。 本発明の一実施例による、機械学習／深層学習を使用したリアルタイム物体／信号検出の流れ図である。 本発明の一実施例による、信号デシジョン・ツリー及びカリキュラム・コンテンツ配信の流れ図である。 本発明の一実施例による、検出された物体及び信号に基づく指導コンテンツの流れ図である。 本発明の一実施例による、画像タイムスタンプ及びログの流れ図である。 本発明の一実施例による、カリキュラム指導再生モードの流れ図である。

それの最も基本的な形態における外科トレーニング・システムは、外科モデルと、（必ずしも限定されるとは限らないが、たとえば、プロセッサ、メモリ、入出力インターフェース、グラフィック・ユーザ・インターフェース（ＧＵＩ：ｇｒａｐｈｉｃ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）などを含む、通常のコンピュータ構成要素を有する）コンピュータと、モデル・キュー及び／又はＩＤ動きキュー及び／又は静止画／ビデオ・キューの形態のデータ入力を受信するための１つ又は複数の「キュー受信機」と、コンピュータ・プロセッサ上で動作する外科トレーニング・システム・ソフトウェア（「ＳＴＳＳ」）とを含む。外科モデルは、任意の動物型又はヒト型に見られる器官及び／又は他の解剖学的構成要素であり得る。キュー受信機は、たとえば、ＡＲヘッドセット、マイクロフォン、デジタル・カメラ、デジタル・ビデオ、電子センサー、リアルタイム・クロック、タッチスクリーン、コンピュータ・キーボード、ジョイスティック、マウス、トラックボール、画像スキャナ、グラフィックス・タブレット、オーバーレイ・キーボードのいずれか１つ又は組合せを含み得る。２つ以上のタイプのキュー受信機が同じデバイス（たとえば、ＡＲヘッドセット）上に与えられ得る。キュー受信機は、受信したキューを、１つ又は複数の外科トレーニング・セッション又はモジュールを用いてプログラムされたＳＴＳＳに中継する。ＳＴＳＳは、キューを受信し、受信したキューに応答して、適切な出力を生成し、外科モデル上で外科手術を実行することを外科訓練生に教えるようにプログラムされる。

図１を参照すると、拡張現実（ＡＲ）ヘッドセット１２を着用し、望ましい材料（たとえば、シリコーン、ヒドロゲルなど）であり得る外科モデル１４上で動作している（すなわち、外科トレーニング・セッションを実行している）外科訓練生１０が見られる。ＡＲヘッドセット１２は、以下の特徴又はそれらの等価物のいずれか１つ又は複数、しかし好ましくはすべてを含み得る。
シー・スルー・オプティクス付き１０８０ｐ ＤＬＰ投影ディスプレイ導波路
ＷｉＦｉ＆Ｂｌｕｅｔｏｏｔｈ接続性
８メガピクセル・カメラ
クワッド・コアＡＲＭ ＣＰＵ
右眼単眼鏡
ハプティック・フィードバック
ボイス制御
アンドロイド（登録商標）５ ＯＳ
ノイズ・キャンセリング・マイクロフォン
オン・ボード・ビデオ記録媒体

ＡＲヘッドセット１２は、たとえば、ＳＴＳＳ１９をダウンロードされたソフトウェア・アプリケーション（「アプリ」）として動作させるスマート・フォンの形態であり得るグラフィック・ユーザ・インターフェース（「ＧＵＩ」）１７を有するコンピュータにワイヤード又はワイヤレスで接続され得る。ＳＴＳＳはまた、「クラウド」２１においてリモートでホストされ得、サービスとしてのソフトウェア（ＳａａＳ：Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）として訓練生に与えられ得る。タブレット、ラップトップ、デスク・トップ、仮想デスク・トップなど、ＳＴＳＳがインストールされ得るか、又はＳａａＳとしてアクセスされ得る任意の他のコンピュータ・タイプが使用され得る。ＳＴＳＳ１９は、デバイス１７、モニタ１３及び／又はＡＲヘッドセット１２上のログイン・スクリーンを訓練生に提示するようにプログラムされ得、訓練生は、後の取出し及び／又は再生のために訓練生の外科トレーニング・セッション・データを記憶する、パスワードで保護されたデータ・ファイルを有し得る。ＳＴＳＳは、２１ｂにあるように他のサーバ及び／又はネットワークに接続し得、それによって、訓練生のＳＴＳＳファイルは、たとえば、訓練生の医学部サーバ上にホストされた訓練生の個人学生データ・ファイルに接続され得る。したがって、シミュレートされた外科トレーニング上で訓練生が費やした時間は、訓練生の履修単位又は他の目的でログされ得る。

ＳＴＳＳ１９は、たとえば、ボイス・コマンドによってか、又はデバイス１７上のＧＵＩを介して行われ得る、訓練生による選択のための１つ又は複数の異なる外科トレーニング・セッションを含むようにプログラムされ得る。外科トレーニング・モデル１４は、ワイヤード又はワイヤレス接続によってコンピュータ１７に接続された別個のバーコード・スキャナ２３ａによってか、又はコンピュータ１７と一体のスキャナ２３ｂ（たとえば、スマート・フォン１７のスキャナ・アプリ）によってか、又はモデル１４上のバーコードを読み取り、それによって、訓練生がその上でトレーニングを望む外科モデル解剖学的タイプを識別するように動作可能な、その上で動作するＳＴＳＳアプリによって走査され得る、バーコードｌ４ａなどを含み得る。ＳＴＳＳ中にプログラムされた各外科モデル・タイプは、訓練生と関連付けられ得、モデル・タイプに適切である１つ又は複数の外科トレーニング・セッションを訓練生に表示する。たとえば、モデル・タイプが腎臓として識別され得、適合する外科トレーニング・セッション・オプションが、たとえば、（１）腫瘍切除、（２）腎結石除去、（３）血管破裂修復などとして、リスト中で（たとえば、メディア・インターフェース１７、モニタ１３及び／又はＡＲヘッドセット１２上で）訓練生に提示され得る。訓練生は、（たとえば、グラフィック・ユーザ・インターフェース（ＧＵＩ）及びタッチスクリーン、キーボード、又はマウスを使用したマニュアル入力によって、並びに／或いは視覚（たとえば、アイ・トラッキング）及び／又はボイス・コマンドによって）所望の外科トレーニング・セッションを選択（入力）し得、ＳＴＳＳは、入力に応答して、ＳＴＳＳプログラムの訓練生が選定した外科トレーニング・セッションを起動するようにプログラムされる。選定されたトレーニング・セッションに応じて、以下でさらに説明するように、モデルのセンサーのいくつかの特徴がＳＴＳＳによって自動的に活動化され得る（が、必ずしもトリガされるとは限らない）。

上述のように、外科トレーニング・セッション中のＡＲヘッドセット１２などのキュー受信機によるコンピュータ入力は、モデル・キュー及び／又はＩＤ動きキュー及び／又は静止画／ビデオ・キューのいずれか１つ又は組合せの形態のキューを含み得る。様々なキュー入力は、それらがキュー受信機を介して受信されるとＳＴＳＳによって分析され、ＳＴＳＳは、応答して、対応するカリキュラム・コンテンツ及び／又は他の有用な情報（たとえば、外科的緊急事態が検出された、安全でない手順が実行された、プロトコルからのずれにより従うべきプロトコルが補正された又は置き換えられたなどの警告）の形態の出力を生成する。ＳＴＳＳ出力は、ＡＲヘッドセット１２上の音声出力及び／又ディスプレイ、及び／又は手術トレーニング・ルーム中の別個のビデオ・モニタ１３及び／又はスピーカー１５を含む所望のフォーマットのいずれか１つ又は組合せにおいて与えられ得る。生成された音声出力は、たとえば、警告及び／又は口頭の指示の形態で訓練生に与えられ得る。したがって、この実施例では、訓練生は、トレーニング中（リアルタイム）の自身の検討のために、生成された出力を受信し、それにより、訓練生は、自身の動作が適正であるかどうか、一般的な改善の必要性にあり、及び／又は自身の動作の識別された問題を修正又はそれらに対処するために外科プロトコル自体に対して変更を実施する必要があるかどうかを理解し得る。生成された出力の形態及びコンテンツは、各特定の外科トレーニング・セッションのためにＳＴＳＳ中にプログラムされ得る。コンテンツは、データベース１１中に記憶された教育カリキュラムの形態であり得る。

図１Ｂを参照すると、ＳＴＳＳへの入力及び生成された出力の実例が見られ、訓練生の教室カリキュラム・コンテンツは、データベース１１に記憶され、ＳＴＳＳ１９によってアクセス可能である。この実例では、訓練生が外科セッションのための切開深さのしきい値を超えた切開を行ったというキューが生成され、ＳＴＳＳによって受信されている。ＳＴＳＳは、データベース１１から特定のカリキュラム・コンテンツを出力として生成するようにプログラムされる。この実例では、切開深さのしきい値を超えることは、解剖学課程２及び外科技法課程３に関係する行為である。これらは、したがって、ボックス２５に見られるように出力として与えられ、訓練生は、次いで、切開を行う動作を改善するために、これらの課程をセッションの間又は後に読み取ることができる。

図１Ｃは、ＳＴＳＳプログラムがモデル・タイプの各々について複数の外科セッション選択肢を与え得る、モデル・タイプの走査された識別を示すボックス・ダイヤグラムを示す。外科トレーニング・システムは、各モデルが別個の解剖学的モデル・タイプである、２つ又はそれ以上のモデルを備え得る。ソフトウェア・トレーニング・プログラムは、したがって、各モデル・タイプに相関させられた別個の外科セッション・プログラムを含み得る。別個の外科セッション・プログラムは、少なくとも２つの代替外科セッション・タイプをさらに含み得る。訓練生は、外科セッションと、その特定のトレーニング・セッション中に利用されるであろうものとして識別されるそのモデルと外科セッションのためのセンサーのうちのいくつかとを（たとえば、インターフェース１７を介して）選択する。たとえば、訓練生が腎臓のモデルを走査する場合、ＳＴＳＳは、この実例では「腫瘍切除」又は「生検」である、腎臓モデルのための利用可能な外科セッションのリストを提示する。訓練生は、（たとえば、インターフェース１７を介して）モデル・トレーニング・セッションを選択すると、ＳＴＳＳにより選定されたセッションのためのプログラムが起動する。上述のように、外科モデル及びセッションは、特定の外科モデルと選定されたセッションとのために利用されるセンサーの一意のセットを有し得る。膀胱モデルの実例では、訓練生は経尿道的切除術又は結石除去トレーニング・セッションのいずれかを選択し得る。これらのセンサーは、その特定の外科セッションを実行することに関連するセンサーであるので、経尿道的切除術の選択は、センサーＡ及びＤ～Ｆを活動化（たとえば、存在する場合、センサーのファームウェアを介して電力を供給してそれらを「準備完了」状態に）し得る。訓練生が代わりに結石除去セッションを選択した場合は、この実例ではセンサーＡ～Ｃ及びＥである、その特定の外科セッションに関連するセンサーのセットが活動化される。たとえば、選定されたモデルが、乳房、肋骨、肺及び心臓のモデルを含む胸のモデルである場合、訓練生には乳房再建及び血管形成の外科セッション選択肢が提示される。訓練生が乳房再建を選択した場合、肺センサーＤ及びＦ並びに乳房センサーＫ～Ｍを含む、その手順に関連するセンサーのセットが活動化される。隣接するモデル中のセンサーは、訓練生が誤って隣接するモデル構造の空間を侵している（たとえば、乳房に対して作業をしている間に肺を穿刺している）かどうかを示すために重要であり得る。したがって、図１Ｃのボックス３１に見られるように、外科訓練生は胸部（モデル・タイプＣ）をＳＴＳＳ中に取り込み、ＳＴＳＳは乳房再建か血管形成を実行する選択肢を訓練生に与える。外科訓練生がボックス３３において乳房再建トレーニング・セッションを選択すると、ＳＴＳＳの特定のトレーニング・セッション・プログラムが起動する。外科トレーニング・セッション中に、訓練生が誤って肺を切り、穿刺した場合、肺センサーＤがキュー受信機を介してＳＴＳＳに信号を送り、ＳＴＳＳは、応答して、肺穿刺及び改善措置を取る必要というＡＲヘッドセット中の視覚的な警告メッセージの形態であり得る出力を訓練生に与えるようにプログラムされる。ＳＴＳＳはまた、肺穿刺に対応するデータベース１１からのカリキュラム・コンテンツを出力として与え得る。出力は、任意の所望のフォーマットで、（たとえば、モニタ１３上の、プリンタ９上に印刷され、及び／又は訓練生による後の取出しのためにコンピュータ１７のメモリ中に若しくはメモリ・スティック７などの別個のメモリ・ストレージ・デバイス上にデジタル的に記憶された）任意の媒体上で与えられ得る。

外科トレーニング・セッションの実例は、腹腔鏡又はロボット外科トレーニング・セッションの開始時におけるヒト腹部１６の外科ファントム・モデルが見られる、図２Ａ及び図２Ｂに見られる。ポート・ロケーションは、参照番号１８ａ～１８ｄによって指定され、トレーニング・セッション中に訓練生によって腹壁（ポート）中の開口が形成されるべきロケーションを表す。胴体のへそ（ｎａｖｅｌ）又は臍（ｕｍｂｉｌｉｃｕｓ）は、参照番号２０によって示され、３Ｄ空間中のモデルの一般的な配向を確立するための参照ポイント（基準点）を与える。この外科トレーニング・セッションの実例では、訓練生は、ＡＲヘッドセット１２中の音声及び／又は視覚的表示を介して、並びに／或いは（たとえば、口頭又は書面の形態であり得る）別個の指示によって、へそ２０に隣接する第１の臍ポート１８ａを配置するようにＳＴＳＳによって指導される。訓練生１０は、さらに、ＡＲヘッドセット１２に、ポート１８ａが配置されるべき場所の画像を外科モデル１６上に重ね合わせさせるようにプログラムされ得るＳＴＳＳによって、臍ポート１８ａの適切な配置を指示され得る。ポート１８ａの配置により、（たとえば、モデル外観への変更を検出すること、訓練生の動き、又は表面又は埋込みセンサーのいずれかによって）キューが検出され、これによりＡＲヘッドセット１２などのキュー受信機への入力（たとえば、電子信号）の生成がトリガされる。ＡＲヘッドセット１２（キュー受信機）は、入力を分析し、訓練生がポート１８ａの適切な配置を実行したことを入力が示すかどうかを決定するようにプログラムされたＳＴＳＳに信号を中継する。そうである場合、以下でさらに説明するように、訓練生は、次いで、バーコード２２によって指定されたロケーション中に第２のポート１８ｂを配置するようにＳＴＳＳによって指導され得る。説明の容易さのためにバーコード２２が図２Ｂに示されているが、人間の眼に見えることもあり、見えないこともある、キュー受信機（たとえば、ＡＲヘッドセット１２）によって感知され得る任意のタイプのモデル・キューが使用され得ることを理解されたい。そのようなインジケータは、たとえば、ＡＲヘッドセット１２によって検出可能であるが、ＡＲヘッドセット１２を着用している間でも訓練生によって検出可能でない見えないインクを含む。これは、訓練生は、胴体上の適切なポート・ロケーションが視覚的インジケータ又は他のインジケータによって直ちに認識可能ではない状態においてそれを見つけることが必要になるので、望ましいことがある。この場合、訓練生は、第２のポートが配置されると思われる場所が示されることなしに、単に、その第２のポートを配置するようにＳＴＳＳによって指示され得る。ポート・ロケーション１８ｂにある見えないモデル・キュー、又は静止画／ビデオ・キューなどの他のキューは、訓練生がポートを正しいロケーションに配置したか否かを検出するために使用され得る。

上述のように、適切なポート・ロケーションを訓練生に示すことが望まれる場合、ＳＴＳＳは、訓練生のＡＲヘッドセット中にポートをもつ腹部の画像を生じるか、又はポート・ロケーションの画像を外科モデル上にオーバーレイし得る。ＡＲヘッドセットは、バーコード２２を走査することなどによる表面マーキングなどの所望のキュー、又はへそ２０などの他の基準点によって、ポート・ロケーション１８ｂの正しいロケーションを認識する。この場合も、これは、訓練生が、実際の手術中に存在しないことがあるそのようなマーキングに過度に依拠すること防ぐために、モデル中のわずかな色の変化、又は、人間の可視スペクトル外の適用されたインク又は他の着色剤の使用と同程度に微妙であり得る。

第２のポート１８ｂが正しく配置されたことが、それらの受信データをＳＴＳＳに入力として中継する（上記の説明参照）適切なキューによって検出された後、訓練生は、たとえば、上記で説明したようなモデル上のバーコード、又は、ＡＲヘッドセット１２によって検出可能である、モデル中に埋め込まれる（したがって人間の眼に見えない）こともあり、埋め込まれないこともある、センサーの形態を含む、任意の所望の形態のキューを含み得るロケーション２４に第３のポート１８ｃを配置するように、ＡＲヘッドセット１２を介してＳＴＳＳによって指導される。センサー（たとえば、圧力センサー）は、活動化すると、ＡＲヘッドセット１２によって検出される信号を生成し得、この信号は、第３のポート１８ｃが適切に配置されたことをＳＴＳＳに通知し、ＳＴＳＳは、応答して、（たとえば、ＡＲヘッドセット１２及び／又はモニタ１３及び／又はスピーカー１５中でテキスト及び／又は口頭の指示を発することによって）１８ｄに第４のポートを配置するように訓練生へのガイダンスを生成するようにプログラムされる。腹腔鏡トレーニング手順が完了したことが、キューによって検出され、ＳＴＳＳに中継された後、訓練生は、ＳＴＳＳによってモデル（たとえば、シミュレートされた腫瘍）から検体を除去し、２６において切開を作るように訓練生に指示するように指示され得る。

次に図３Ａ～図３Ｃを参照すると、本発明の別の態様は、ＳＴＳＳによる外科トレーニング・セッションをガイドするための訓練生の進捗の画像認識の使用を含み得る。図３Ａにおいて、メス（ｓｃａｌｐｅｌ）３０の形態の外科用器具が外科モデル表面３２の上に示されている（明快のために訓練生の手は図３Ａ～図３Ｃに示されていない）。ＡＲヘッドセット１２及びＳＴＳＳは、モデル表面３２と訓練生の手（図示せず）とメス３０との相対位置データを（たとえば、ＡＲヘッドセット１２を介して）受信し、分析（処理）し、訓練生が当面のタスク（たとえば、腫瘍切除のために切開を作ること）のためにメス３０を正しい向きに保持しているかどうかに関する情報（出力）を訓練生に与えるようにプログラムされ得る。

訓練生は、メス３０を使用してモデル表面３２中に切開３４を切ることによって外科シミュレーション・セッションを進める。ＡＲヘッドセット及びＳＴＳＳは、外観及び／又は基準点参照などのキューに基づいて切開３４の長さ及び／又は深さを計算するようにプログラムされ得る。たとえば、キューは、モデル「皮膚」表面上で検出された１ｃｍ平方基準の形態で与えられ得、ＳＴＳＳは、基準点に対する切開の視覚的検出に基づいて距離を計算するようにプログラムされ得る。代替的に、電子センサーの形態のモデル・キューが一定の距離離間され得、線形又は曲線シーケンスで検出されたいくつかのセンサーが、ＳＴＳＳが距離（切開の長さ）を計算するために使用され得る。

深さ（モデル表面からモデルの本体中への距離）は、モデルの上面の下に延びた又はモデル中に「消えた」メスの量に基づいてビデオ・キュー及び／又は動きキューによって与えられ得る。メス刃は、この場合、視覚キューであり、刃のどのくらいの割合がモデル中に消えたかを検出し、ＳＴＳＳに中継することができる、ＡＲヘッドセット１２によって検出される。ＳＴＳＳは、切開深さを計算し、それが、切開３４が正しく実行されていない、たとえば、切開３４が切開深さのための最小のプログラムされたしきい値を満たさないことを計算した場合、適切な命令を訓練生に与えるために、このデータを使用するようにプログラムされ得る。

図３Ｃにおいて、モデル表面３２は、切開３４から流れ得るように配置された、シミュレートされた血液などのシミュレートされた体液を含み得る。ＳＴＳＳは、たとえば、モデル表面３２（たとえば、肌の色）からの検出された色の区別（たとえば、血液の場合は赤）に基づいて、このシミュレートされた出血３６を認識するようにプログラムされ得、たとえば、「吸引を使用する」又は「圧力を保持する」など、適切な指示を訓練生に与え得る。

図４Ａ及び図４Ｂは、ソフトウェア・プログラミングが訓練生の進捗及び動作に相関する圧力を検出するように動作可能である圧力センサー３８の形態のセンサーの実例を示す。この実例では圧力センサーが使用されるが、たとえば、ひずみセンサー、流量センサーなどを含む、任意のタイプのセンサーが使用され得ることが理解されることに留意されたい。たとえば、訓練生の手１０ａは、モデル表面３２（図４Ｂ）に切り込みを入れるメス３０（図４Ａ）を保持する。センサーは、図４Ａにおいてそれの静止状態にあることが見られる。センサー３８は、図４Ｂに見られるように、それに押し付ける外科用器具によって検出され得、これにより、ＳＴＳＳがＡＲヘッドセット又は他のＨＣＩ（人間コンピュータ・インターフェース）を介していくつかの指示を訓練生に与えることを引き起こす信号が生成される。訓練生がメス３０を介してセンサー３８に圧力を加えたとき、センサー３８はキュー受信機に信号を送り、キュー受信機は、その信号をＳＴＳＳに中継し、それにより、視覚及び／又は音声フォーマットで、たとえば、「留置開創器（ｓｅｌｆ－ｒｅｔａｉｎｉｎｇ ｒｅｔｒａｃｔｏｒ）を配置せよ」などの外科手術における指示の次のセットを訓練生に与える形態で出力が生成される。センサー３８はまた、訓練生のメスの使用によってその上に加えられる力を測定し、キュー受信機及びＳＴＳＳに送信し得る。ＳＴＳＳは、センサー３８から受信された力値を比較し、その値をプリセットされた力しきい値と比較し得る。感知された力値が許容できるしきい値外である場合、ＳＴＳＳは、応答して、訓練生が動作をどのように補正及び／又は改善し得るかに関するさらなる指示のオプションとともに、訓練生へのこの情報の出力を生成し得る。

図５は、本発明の一実施例による、腫瘍切除を伴う外科トレーニング・セッションのための外科モデルの実例を示す。この実例では、感知された訓練生動作メトリクスに基づいて訓練生カリキュラム・コンテンツを駆動するために様々なセンサーが採用される。外科ファントム・モデル４０上の訓練生（図示せず）外科トレーニング・セッションは、栄養を送る血管４４をもつ腫瘍４２を切除するように訓練生を指導する。訓練生が腫瘍４２を切除すると、血管４４は切断されて、シミュレートされた血４６を放出する。シミュレートされた血４６は切除空洞４８を満たしはじめ、それがセンサー５０ａ及び５０ｂによって感知される。センサーは、それらが空洞４８を満たす血液の量を連続的に検出することができるように、図示のように戦略的に配置され得ることに留意されたい。たとえば、センサー５０ａをトリガするが、センサー５０ｂ又は５０ｃはトリガしないことは、空洞４８中に「ｎ」立方センチメートル（「ｃｃ」）の血液が存在することを示し得る。より多くの血液が空洞４８に入ると、センサー５０ｂがトリガされ、「ｎ＋ｌ」ｃｃの血液が存在することが示される。一層多くの血液が空洞４８に入ると、センサー５０ｃがトリガされ、空洞４８中の「ｎ＋２」ｃｃの血液が示される。血液の量の増加を検出するために、任意の数のセンサーがモデル中に戦略的に配置され得る。採用されたセンサーのタイプ及び感知範囲に応じて、センサーは、シミュレートされた血液と物理的に接触したときにのみ活動化されるように選定され得るか、又は、それらは、シミュレートされた血液がセンサーの所定の距離内にあるときはいつでも活動化され得、出血が悪化していることがあることを訓練生に警告する。

ＳＴＳＳプログラミングは、特定のトレーニング・セッション又はそれの任意のセグメント中にどのセンサーが及び／又はいくつのセンサーが活動化されるか、及び／又は活動化されるセンサーの順序に基づいて、ＳＴＳＳプログラミングが訓練生に与えるための情報を選択するように行われ得る。図５に示された実例において、シミュレートされた血液４６はセンサー５０ｂのレベルに達しており、センサー５０ｂは、吸引管５２をよりよく利用するように訓練生に指示を与えるようにＳＴＳＳに促し得る。シミュレートされた血液４６がセンサー５０ｃのレベルに達した場合、ＳＴＳＳプログラミングは、たとえば、たとえば、「かなりの血液損失が発生している。出血が続いていることを麻酔医に警告せよ」などのテキスト・メッセージを（たとえば、ＡＲヘッドセット１２を介して）及び／又はボイス・メッセージを訓練生に与えることによって、訓練生に指示を与え得る。スポンジ５１も、センサー５３を有することが見られる。訓練生がスポンジ５１を使用し、切開を閉じる際にそれをモデルの内部に置き忘れた場合、センサー５３はＳＴＳＳに信号を送り、それにより、スポンジがモデルの内部に置き忘れられていることを訓練生に警告する。ＳＴＳＳはまた、手順におけるこの誤りに相関する訓練生にデータベース１１からカリキュラム・コンテンツを供給し得る。

モデル中に複数の器官が存在している場合、訓練生が隣接する器官の周囲の空間を損傷したか、又は誤ってそこに入った場合に、訓練生に通知するために、隣接する器官内にセンサーが設けられ得る。たとえば、上記で図１Ｃを参照しながら説明したように、トレーニング・セッションが乳房モデル上である場合、肺モデルが乳房に対して解剖学的に正確な位置中に配置され得る。肺を穿刺することは外科緊急事態と考えられる。肺には、したがって、訓練生が意識して又は無意識のうちに肺を穿刺した場合に活動化するセンサーが設けられ得る。そのようにセンサーが活動化すると、ＳＴＳＳは、訓練生が修正行為を取るためのさらなる指示を伴う又は伴わない、肺穿刺についてのテキスト及び／又は可聴警告を発行し得る。修正行為が取られるべきである場合、そのような行為は、（たとえば、ビデオ及び／又は他のキューによって）分析され得、訓練生が、ＳＴＳＳでプログラムされた承認された外科修正行為プロトコルに従って行動したかどうかを決定するために時間調整され得る。

ＳＴＳＳプログラミングは、セッション中の任意の時間にトレーニング・セッションを継続するように訓練生に指示し得る。たとえば、プログラミングは、腫瘍４２を退縮（ｒｅｔｒａｃｔ）させるために吸引管５２と鉗子５４とを使用するように、訓練生に指示を与え得る。訓練生が吸引管５２及び／又は鉗子５４を使用して腫瘍を退縮させる際に、腫瘍４２中に埋め込まれた圧力センサー５６が押下され得、それにより活動化され得る。ＳＴＳＳプログラミングは、正しい退縮圧力を示すしきい圧力値を含み得る。腫瘍圧力センサー５６からの低信号に基づいて起こる退縮が不十分である場合、ＳＴＳＳは、たとえば、より多くの退縮を実行するために吸引管５２を使用するように、訓練生に警告を与え得る。

この腫瘍切除トレーニング・セッションは、腫瘍切除のための手順の一部として血管４４の結紮（ｌｉｇａｔｉｏｎ）を必要とするように、ＳＴＳＳ中にプログラムされ得る。ＳＴＳＳプログラミングは、センサー５８がしきい値圧力を感知したときに血管の結紮を認識する。縫合（ｓｕｔｕｒｅ）が血管４４の周りに配置されたが、十分に堅くない場合、ＳＴＳＳプログラミングは、たとえば、さらなる出血を防ぐために、やり直し又は縫合を堅くするように訓練生に指示することができる。

図６Ａ及び図６Ｂは、腎臓腫瘍切除トレーニングを対象とする外科ファントム・モデル６０中に与えられたモデル・キューの実例を示す。腎臓腫瘍モデル６０は、（たとえば、ＡＲヘッドセット１２の一部を形成するバーコード・リーダーを用いて、又は図１に見られる２３ａ又は２３ｂなどの別個のバーコード・スキャナを用いてバーコード６２を走査することによって、ＳＴＳＳプログラミングによって識別される。バーコード６２は、ＳＴＳＳプログラミングに、特定の外科トレーニング・セッション（この実例では、腎臓腫瘍切除）に適合したカリキュラム・コンテンツを訓練生に与えさせ得る。バーコード６２は、モデル・キューとしてマーキングされるモデル・タイプの多くの可能な実例のうちの１つであることに留意されたい。上記で説明したように、センサーで検出可能なマーキングの他の実例は、そのようなマーキングは実際の外科手術中に現れないので非現実的なトレーニング経験を場合によっては生じ得るマーキングに訓練生が気づくことを防ぐために、マーキングとモデル基板との間の微妙な色の区別、及び／又は人間の可視スペクトル外のインク又は他の着色剤を含む。

シミュレートされた腎臓腫瘍６４及びそれの境界は、腫瘍６４と腫瘍６４を囲む腎臓モデル基板６０との間の感知された色差によって、ＳＴＳＳプログラミングによって識別され得る。（実際の腎臓では一般に脂肪によって覆われている）腎臓モデル６０の縁部は、検出され、腎臓のこの部分が露出していることをＳＴＳＳプログラミングに通知する一意のマーキングを有する。訓練生は、見逃された病変又は他の異常がないことを保証するために、手術中に腎臓全体を評価することを要求される。ＳＴＳＳは、ＳＴＳＳプログラミングによってマーキング６６が検出されるまで腎臓を「むき出しにする」又は「露出させる」ように訓練生に指示する。

腫瘍６４の切除中、訓練生は腎臓動脈６８と腎臓静脈６８ｂとを識別しなければならない。ＳＴＳＳプログラミングは、仮止めクリップ７０を動脈６８ａ上のみに配置するように訓練生に指示を与える。不正確に配置された（ことがモデル・キュー及び／又はＩＤ動きキュー及び／又は静止画／ビデオ・キューのいずれか１つ又は複数によって検出された）場合、ＳＴＳＳプログラミングは、クリップが不適切に配置されたという指示を訓練生に与え得、及び／又はクリップ７０を正しい位置に移動するように訓練生に指示し得る。たとえば、訓練生がクリップを静脈６８ｂ上に配置した場合、これは（たとえば、静脈６８ｂの中又は上に配置されたセンサーによって、又はカメラを通した視覚入力によって）検出され、静脈上に配置すると、腎臓は血流の流入は生じるが流出はなくなり、潜在的に腎臓が破裂するので、ＳＴＳＳプログラミングは、それを医療的緊急事態として識別するであろう。さらに、正しいクリップ位置は血管に直角であり、クリップの先端は血管の縁部に交差するべきである。目視検査（たとえば、クリップと血管との間の色差）により、ＳＴＳＳは、動脈に対するクリップの重なり及び相対的配置を評価することが可能になり得る。

図６Ｂを参照すると、遺残腫瘍（ｒｅｓｉｄｕａｌ ｔｕｍｏｒ）が参照番号６４’によって示されている。ＳＴＳＳプログラミングは、周囲の領域との残っている色の区別などの視覚データ（たとえば、静止画／ビデオ・キュー）に基づいて、遺残腫瘍６４’を認識し得る。ＳＴＳＳプログラミングは、次いで、すべての遺残腫瘍６４’が除去されるまで腫瘍切除を継続するように訓練生に指示し得る。遺残腫瘍６４’が完全に除去されたことが、受信されたキュー（たとえば、残っている色の区別が視覚データ中に見られないこと）によって認識された後、ＳＴＳＳプログラミングは、次いで、トレーニング・セッションを継続し、腎臓への血流を回復するために仮止めクリップ７０を外すように訓練生に指示し得る。

図７は、容易に入手可能な機械学習ソフトウェアを使用したＳＴＳＳのトレーニングのためのプロセスを示す。ＳＴＳＳトレーニングは、画像処理トレーニングのための機械学習ソフトウェアを使用することによって（たとえば、縫合品質を）識別する際に関係するキューを取ることによって実行されるオフライン・プロセスである。

図８において、画像が特定の物体又は画像である可能性の確率的推定値を与えるために、図７に見られるように生成された前処理された画像特性データが、複数の（一般に数百個の）汎用処理装置（ＧＰＵ： ｇｅｎｅｒａｌｉｚｅｄ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）及び／又はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）内の複数の特定用途向けデジタル論理要素、及び／又は特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によってリアルタイムで使用される。このリアルタイム画像処理手法は、外科的進行がキューを使用して識別され、ＳＴＳＳによって解釈され、シミュレーション活動中にトレーニングを行うための適切な指示を与えることを可能にする。この例では、キューはユーザの手であり、器具はキューである。物体と物体を使用する技法の両方のタイプが分析され、次いで、必要と思われる場合、コンピュータによって補正される。

図９は、本発明の一実施例による、ニューラル・ネットワークを使用した機械学習及び深層学習のためのコンピュータをトレーニングする流れ図である。切開間隔がユーザ技法の検出のための実例として使用される。第１のボックスはキュー受信機への入力（ＡＲヘッドセット・ビデオからの画像のスタック）を表す。ニューラル・ネットワークは、学習された画像データベースに基づいて縫合パターンを分類し、縫合間の間隔距離を決定する。間隔は初心者／熟練者使用データと比較され、出力はパーセンタイルなどの動作スコアである。許容できる縫合間隔と誤差とのための設定されたしきい値は、次いで、縫合品質と許容性とをユーザに通知するようにＳＴＳＳに促す。

図１０は、本発明の一実施例による、機械学習／深層学習を使用したリアルタイム物体／信号検出の流れ図である。

図１１は、様々なシステム出力とプロンプトとを生成するためにＳＴＳＳによって使用され得る、対象領域（ＡＯＩ）中の「Ｙ」個の物体／信号を識別するために、複数のＧＰＵ、ＡＳＩＣ及び／又はＦＰＧＡ上で並行して動作している、図９のプロセスの「Ｎ」個のインスタンスを示すデシジョン・ツリーを示す。さらに、画像は、分類され、メトリクスと性能指数（ｆｉｇｕｒｅ ｏｆ ｍｅｒｉｔ）とのために使用されるようにスコアリングされ得る。たとえば、縫合間隔、創傷ギャップ、又は他の外科属性などの属性は手術結果の改善のために望ましいことが知られている。性能指数は、たとえば、優、良、可及び不可であり得る。この処理は、シミュレートされた画像及び／又は信号のために通常３０～１００Ｈｚで実行される、フレーム・レート「Ｍ」において繰り返し実行される。各フレーム中、機械学習を利用して物体検出が実行され、その後、検出された物体に基づいて指導コンテンツを表示／告知するプロセスが実行される。次に、分類された物体及び信号がタイムスタンプされ、術後の指示再生のためにデータベース中に記憶される。最後に、使用されない処理時間を占め、Ｍフレーム毎秒のレートで処理を同期させる「時間のかかる（ｔｉｍｅ ｂｕｒｎｅｒ）」タスクが動作する。

図１２は、外科手術における次のステップについて訓練生にプロンプトするために、ＡＲヘッドセット１２上で指示がどのように与えられ得るかを示す。外科視界内の検出された物体の位置を推定するために基準点及び／又はバーコードが使用される。信号／物体検出段階中に検出された物体は、対象領域の画像の上にオーバーレイされ、訓練生１０による閲覧のためにＡＲヘッドセット１２上に表示され得る。たとえば、外科訓練生が縫合を学習している場合、オーバーレイが与えられ、訓練生の瞬時スコア又は訓練生の縫合技法の性能指数が示され得る。たとえば、訓練生は、ＨＣＩを通して「指示を次のステップに進める」などのボイス・プロンプト入力を与えることができる。さらに、機械学習はまた、訓練生がトレーニング・セッションの特定の段階のために正しい器具を使用しているか否かを検出し、正しい器具を用いて訓練生にプロンプトすることができる。

図１３は、検出された物体にタイムスタンプを付け、それらを再生／結果報告（ｄｅｂｒｉｅｆ）モード中の後の取出しのためにデータベースに記憶する画像／信号のログを示す。

図１４は、物理的なシミュレートされた器官と、タイムスタンプされたデータベースからの時間同期されたＡＲビデオ／音声／信号とを使用してトレーニング・セッションを取り出す、指示再生モードを示す。再生は、訓練生との対話型様式でトレーニング・セッションの任意の部分において開始され得る。たとえば、ユーザは、随意に再生を一時停止したり、トレーニング・セッション中の特定の時間にジャンプしたり、検出された物体の次のインスタンスにジャンプしたり、再生セッションを終了したりすることができる。報告は、記録／再生セッションの最後に生成され、メトリクス、スコア及び最終報告記録を含むことができる。

本発明の装置、方法及びシステムについて、それのいくつかの好ましい実施例に関して図示し、説明したが、説明された本発明の趣旨及び範囲から逸脱することなく、形態及び詳細における様々な変更がそこにおいて行われ得ることが当業者によって理解されよう。

Claims (19)

1. ａ）人間又は動物の解剖学的部位のモデルと、
   ｂ）前記モデルに取り付けられた１つ又は複数のセンサーであって、前記１つ又は複数のセンサーが、活動化入力を受信したことに応答して信号を放出するように動作可能である、１つ又は複数のセンサーと、
   ｃ）前記１つ又は複数のセンサーからの電子信号を受信するように適応された１つ又は複数の電子及び／又は光入出力チャネルを有する拡張現実ヘッドセットと、
   ｄ）前記拡張現実ヘッドセット及び／又は前記１つ又は複数のセンサーからの信号を受信するように動作可能なコンピュータ・プロセッサと、
   ｅ）１つ又は複数の個別の外科主題構成要素を記憶した外科トレーニング・カリキュラムを有するコンピュータ・データベースと、
   ｆ）前記コンピュータ・プロセッサ上で動作し、前記データベースに接続されたソフトウェア・プログラムであって、前記ソフトウェア・プログラムが、前記１つ又は複数のセンサー信号を前記１つ又は複数の個別の外科主題構成要素に相関させるように動作可能であり、前記ソフトウェア・プログラムが、さらに、ｂ）において前記活動化入力を受信したことに応答して受信された信号に相関させられた前記個別の外科主題構成要素を第１の出力として与えるように動作可能である、ソフトウェア・プログラムと
   を備える、外科トレーニング・システム。
2. 前記１つ又は複数のセンサーが、前記モデル内に埋め込まれ、前記モデル中への開口を切断すると露出される２つ又はそれ以上のセンサーを含み、前記１つ又は複数のセンサーが、前記開口内を流れる流体との接触に応答して信号を放出するように動作可能である、請求項１に記載の外科トレーニング・システム。
3. ２つ又はそれ以上のセンサーが、前記モデル内の異なる深さに配置され、前記２つ又はそれ以上のセンサーの順次活動化によって流体の増加する流れを感知するように動作可能である、請求項２に記載の外科トレーニング・システム。
4. 前記ソフトウェア・プログラムが、前記２つ又はそれ以上のセンサーの各々を流体の体積量と相関させるように動作可能であり、前記２つ又はそれ以上のセンサーの各々が流体の異なる体積量に相関する、請求項３に記載の外科トレーニング・システム。
5. 前記ソフトウェア・プログラムは、流体の前記体積量が所定のしきい値に達するか又は超えたことに応答して、訓練生に感知できる第２の出力を与えるように動作可能である、請求項４に記載の外科トレーニング・システム。
6. 訓練生に感知できる前記第２の出力が可聴警告又はテキスト・メッセージのうちの１つ又は複数である、請求項５に記載の外科トレーニング・システム。
7. 訓練生に感知できる前記第２の出力が前記拡張現実ヘッドセット中で見えるテキストである、請求項６に記載の外科トレーニング・システム。
8. ａ）人間又は動物の解剖学的部位のモデルであって、前記モデルが１つ又は複数のキューを有する、モデルと、
   ｂ）前記モデルからの１つ又は複数のキューを受信するように動作可能なキュー受信機であって、前記キュー受信機が、キューを受信したことに応答して信号を生成するように動作可能である、キュー受信機と、
   ｃ）前記キュー受信機からの信号を受信するように動作可能なコンピュータ・プロセッサと、
   ｅ）１つ又は複数の個別の外科主題構成要素を記憶した外科トレーニング・カリキュラムを有するコンピュータ・データベースと、
   ｆ）前記コンピュータ・プロセッサ上で動作し、前記データベースに接続されたソフトウェア・プログラムであって、前記ソフトウェア・プログラムが、前記１つ又は複数の受信された信号を前記１つ又は複数の個別の外科主題構成要素に相関させるように動作可能であり、前記ソフトウェア・プログラムが、さらに、受信された信号に相関させられた前記個別の外科主題構成要素を出力として与えるように動作可能である、ソフトウェア・プログラムと
   を備える、外科トレーニング・システムであって、
   前記キュー受信機は、拡張現実ヘッドセットである、外科トレーニング・システム。
9. 前記拡張現実ヘッドセットが、
   ａ）シー・スルー・オプティクスをもつ投影ディスプレイ導波路、
   ｂ）ＷｉＦｉ及びＢｌｕｅｔｏｏｔｈ接続性、
   ｃ）カメラ、
   ｄ）中央処理ユニット、
   ｅ）単眼鏡、
   ｆ）双眼鏡、
   ｇ）ハプティック・フィードバック、
   ｈ）ボイス制御、
   ｉ）オペレーティング・システム、
   ｊ）ノイズ・キャンセリング・マイクロフォン、並びに
   ｋ）オン・ボード・ビデオ記録媒体
   のうちの１つ又は複数を有する、請求項８に記載の外科トレーニング・システム
10. 前記キュー受信機がデジタル・スチル・カメラ及び／又はビデオ・カメラを含む、請求項８に記載の外科トレーニング・システム。
11. 前記キューが、前記モデルに取り付けられたバーコードであり、前記キュー受信機がバーコード・スキャナを含む、請求項８に記載の外科トレーニング・システム。
12. 前記ソフトウェア・プログラムがサービスとしてのソフトウェアとして与えられる、請求項８に記載の外科トレーニング・システム。
13. 前記出力がコンピュータ・モニタ上に与えられる、請求項８に記載の外科トレーニング・システム。
14. 前記出力が前記拡張現実ヘッドセット上に与えられる、請求項８に記載の外科トレーニング・システム。
15. 前記モデルのうちの２つ又はそれ以上をさらに備え、各モデルが別個の解剖学的モデル・タイプであり、前記ソフトウェア・プログラムが、前記モデル・タイプの各々に相関させられた別個の外科セッション・プログラムを含む、請求項８に記載の外科トレーニング・システム。
16. 前記別個の外科セッション・プログラムが少なくとも２つの代替外科セッション・タイプを含む、請求項１５に記載の外科トレーニング・システム。
17. 前記解剖学的部位が、心臓モデルと肺モデルとを有する胸部である、請求項１６に記載の外科トレーニング・システム。
18. 前記解剖学的部位が少なくとも２つのモデルを含み、前記ソフトウェア・プログラムが、前記モデルのいずれかから受信された信号に応答して出力を与えるようにプログラムされる、請求項８に記載の外科トレーニング・システム。
19. 前記モデル・タイプが腎臓であり、前記外科セッション・タイプが、腫瘍切除外科セッションと生検セッションとを含む、請求項１６に記載の外科トレーニング・システム。

Images