JP2023521971A - ビデオ分析及びオーディオ分析のためのシステム及び方法 - Google Patents

Abstract

ビデオ分析のためのシステム及び方法が提示される。このシステム及び方法は、機械学習を利用して、実行されている医療処置のステップを認識し、これと予想されるステップとを比較することができる。このシステム及び方法は、処置前と処置中に医療従事者をサポートするのに役立つことができ、並びに処置が完了した後にフィードバックを提示するのに役立つことができる。

Description

相互参照
[0001] 本出願は、２０２０年４月２０日出願の米国仮出願第６３／０１２，３９０号の優先権を主張し、あらゆる目的のために、この出願全体を参照用に本明細書に援用する。

発明の背景
[0002] 医療従事者は、手術室などの特別病室内で様々な処置を実行する場合がある。多くの場合、医療従事者がとったステップ及びそのタイミングに関しては、フィードバック又は分析がほとんど存在しない。これにより、リソースの割当てが非効率になる場合があり、医療従事者が学習し改善するための数多くの機会が与えられないことになる。

[0003] 医療従事者が処置を見直し、効率及び有効性を高めるための実現可能な方式を学習しようと考えても、リソース及び選択肢が限られている。典型的な外科手術のビデオは非常に長い場合があり、医療従事者が最も関連性の高い部分を見つけるのは困難になる場合がある。

発明の概要
[0004] 医療処置中に取り込まれるビデオを分析するために、機械学習を利用する改良されたシステム及び方法が必要となる。医療従事者の医療技法を改善できる関連部分を注意深く見るために、医療従事者が効果的且つ迅速にビデオを見直すことのできるシステム及び方法が必要となる。リアルタイムに、又処置が完了した後に、医療従事者へのフィードバックを生成することがさらに必要となる。

[0005] 本発明の態様は、医療処置のハイライト・ビデオを作成する方法であって、この医療処置の場所で取り込まれたビデオ又はオーディオのデータに基づいて、医療処置内で実行される１つ又は複数のステップを認識することと、医療処置内で実行される１つ又は複数のステップのそれぞれを実行するための時間を評価することと、１つ又は複数のステップのそれぞれを実行するための予測される時間に対して、この１つ又は複数のステップのそれぞれを実行するための時間を比較することと、１つ又は複数のステップのそれぞれを実行するための時間が、閾値を超える分だけ予測される時間から逸脱する、１つ又は複数のステップのビデオを含む、医療処置のハイライト・ビデオを作成することとを含む、方法を対象とする。

[0006] 一態様では、本開示は、医療処置のハイライト・ビデオを作成する方法であって、この医療処置の場所で取り込まれたビデオ又はオーディオのデータに基づいて、医療処置内で実行される１つ又は複数のステップを認識することと、医療処置内で実行される１つ又は複数のステップのそれぞれを実行するための時間を評価することと、１つ又は複数のステップのそれぞれを実行するための予測される時間に対して、この１つ又は複数のステップのそれぞれを実行するための時間を比較することと、１つ又は複数のステップのそれぞれを実行するための時間が、閾値を超える分だけ予測される時間から逸脱する、１つ又は複数のステップのビデオを含む、医療処置のハイライト・ビデオを作成することとを含む、方法を提供する。実施形態によっては、この方法は、医療関係者が医療処置を実行するのを支援するために、空間分析及び時間分析を用いて、予測される医療処置状態の医療処置の前に、オーディオ付きのモデル・ビデオを作成することをさらに含んでもよい。実施形態によっては、この方法は、医療処置の場所で取り込まれるビデオ又はオーディオのデータに基づく状況検出を使用して、自動化された文書及び筆記録(transcript)を作成することをさらに含んでもよい。

[0007] 実施形態によっては、この方法はさらに、医療処置のための案内を提示するために医療処置中の後続ステップを予測することと、アクティブな医療処置中に現在のステップ及び次のステップを示すことと、医療処置中に実行されるステップに基づいて、成功率又は確度率に基づいて後続のステップを修正することとをさらに含んでもよい。

[0008] 実施形態によっては、ハイライト・ビデオは、医療処置中に作成又は表示される。実施形態によっては、ハイライト・ビデオは、医療処置が完了した後に作成又は表示される。実施形態によっては、ハイライト・ビデオは、１つ又は複数のステップのそれぞれを実行するための時間が、閾値を超える分だけ予測される時間を上回るときに、ハイライト・ビデオでの各ステップのうちの１つ又は複数のステップをどのようにして改善することができるのかの分析を含む。実施形態によっては、ハイライト・ビデオは、１つ又は複数のステップのそれぞれを実行するための時間が、閾値を超える分だけ予測される時間を下回るときに、ハイライト・ビデオでの各ステップのうち１つ又は複数のステップがどの程度、医療処置を実行する医療従事者にとって強みの分野であり得るかの分析を含む。

[0009] 実施形態によっては、ビデオ・データは、遠隔装置と通信することのできる医療コンソールの助けを借りて取り込まれ、この医療コンソールは、可動アームによって支持された少なくとも１つのカメラを備える。実施形態によっては、１つ又は複数のステップのそれぞれを実行するための予測される時間は、医療処置の被験者の解剖学的タイプに依存する。

[0010] 実施形態によっては、この方法は、機械学習を利用して、医療処置において実行される１つ又は複数のステップ及び対応するタイミングを認識することをさらに含んでもよい。実施形態によっては、この方法は、機械学習を利用して、１つ又は複数のステップのそれぞれを実行するための予測される時間を決定することをさらに含んでもよい。実施形態によっては、医療処置を受けている被験者に関係する選択されたデータが、ハイライト・ビデオにおいて自動的に匿名扱いにされる。

[0011] 別の態様では、本開示は、医療処置のハイライト・ビデオを作成するシステムであって、共同で又は個別に、この医療処置の場所で取り込まれたビデオ又はオーディオのデータに基づいて、医療処置内で実行される１つ又は複数のステップを認識し、医療処置内で実行される１つ又は複数のステップのそれぞれを実行するための時間を評価し、１つ又は複数のステップのそれぞれを実行するための予測される時間に対して、この１つ又は複数のステップのそれぞれを実行するための時間を比較し、１つ又は複数のステップのそれぞれを実行するための時間が、閾値を超える分だけ予測される時間から逸脱する、１つ又は複数のステップのビデオを含む、医療処置のハイライト・ビデオを作成するように構成された１つ又は複数のプロセッサを備える、システムを提供する。

[0012] 実施形態によっては、このシステムは、ビデオ又はオーディオのデータを取り込むように構成された１つ又は複数のカメラ又はマイクロホンをさらに備えてもよい。実施形態によっては、この１つ又は複数のカメラは、遠隔装置と通信するように構成された医療コンソールによって支持される。

[0013] 別の態様では、本開示は、医療処置中の潜在事象を識別する方法であって、この医療処置の場所で取り込まれたビデオ又はオーディオのデータに基づいて、医療処置内で実行される１つ又は複数のステップを認識することと、医療処置内で実行される１つ又は複数のステップのそれぞれを実行するための時間を評価することと、１つ又は複数のステップのそれぞれを実行するための予測される時間に対して、この１つ又は複数のステップのそれぞれを実行するための時間を比較することであって、この予測される時間が医療処置の被験者の解剖学的タイプに依存する、比較することと、１つ又は複数のステップのそれぞれを実行するための時間が、閾値を超える分だけ予測される時間から逸脱する、１つ又は複数のステップの通知を提示することとを含む、方法を提供する。実施形態によっては、この通知は、医療処置を実行する医療従事者へリアルタイムに提示される。実施形態によっては、この通知は、閾値を超える分だけ予測される時間から逸脱する、１つ又は複数のステップに関する案内を含む。実施形態によっては、この通知は、医療処置が完了した後で提示される。実施形態によっては、この通知は、ステップを実行する時間が、閾値を超える分だけ予測される時間よりも短いときに、このステップの修正された推奨を含む。

[0014] 別の態様では、本開示は、ビデオ・コラボレーション用の方法であって、（ａ）外科的処置の１つ又は複数のビデオを複数のユーザに提供することであって、この１つ又は複数のビデオが、少なくとも１つのハイライト・ビデオを含む、提供することと、（ｂ）１つ又は複数のビデオに基づいて複数のユーザが共同作業するための仮想ワークスペースを提供することであって、この仮想ワークスペースは、複数のユーザのそれぞれが、（ｉ）１つ又は複数のビデオを視聴するか、又は１つ又は複数のビデオの１つ又は複数の記録を取り込み、（ｉｉ）１つ又は複数のビデオ又は記録に、１つ又は複数のテレストレーションを付け加え、（ｉｉｉ）１つ又は複数のテレストレーションを含む１つ又は複数のビデオ又は記録を、複数のユーザに配信することを可能にする、提供することとを含む、方法を提供する。実施形態によっては、仮想ワークスペースにより、複数のユーザは、１つ又は複数のビデオを同時にストリーミングし、１つ又は複数のテレストレーションを含む、１つ又は複数のビデオ又は記録を複数のユーザに配信できるようになる。実施形態によっては、仮想ワークスペースにより、第１のユーザは、テレストレーションの第１のセットを付け加えることができるようになり、第２のユーザは、同時にテレストレーションの第２のセットを付け加えることができるようになる。実施形態によっては、仮想ワークスペースにより、第３のユーザは、テレストレーションの第１のセット及びテレストレーションの第２のセットを同時に見て、第１のユーザ及び第２のユーザが提供する入力又は案内を、比較又は対比することができるようになる。

[0015] 実施形態によっては、テレストレーションの第１のセット及びテレストレーションの第２のセットは、同じビデオ、同じ記録、又はビデオ若しくは記録の同じ部分に対応する。実施形態によっては、テレストレーションの第１のセット及びテレストレーションの第２のセットは、異なるビデオ、異なる記録、又は同じビデオ若しくは記録の異なる部分に対応する。実施形態によっては、少なくとも１つのハイライト・ビデオは、外科的処置の対象となる１つ又は複数の部分、ステージ、又はステップの選択を含む。実施形態によっては、第１のユーザ及び第２のユーザが取り込む様々なビデオ又は記録について、テレストレーションの第１のセット及びテレストレーションの第２のセットが付け加えられる。実施形態によっては、第１のユーザ又は第２のユーザのいずれかが取り込む同じビデオ又は記録について、テレストレーションの第１のセット及びテレストレーションの第２のセットが付け加えられ、又は互いに重なり合う。実施形態によっては、仮想ワークスペースにより、複数のユーザのそれぞれは、この複数のユーザと同時に、１つ又は複数のアプリケーション又はウィンドウを共有できるようになる。実施形態によっては、仮想ワークスペースにより、複数のユーザは、テレストレーションを同時に付け加え、又は１人又は複数人のユーザが同時に付け加えるテレストレーションを修正することができるようになる。実施形態によっては、テレストレーションは、外科的処置のライブ・ビデオ・ストリーム上に、又は外科的処置の記録上に付け加えられる。

[0016] 本開示のさらなる態様及び利点は、以下の詳細な説明から当業者に容易に明らかとなろう。ここでは、本開示の例示的な実施形態のみが、本開示を実施するために企図された最良の形態の単なる例として図示され、及び説明される。理解されるように、本開示は、他の様々な実施形態を実現可能であり、そのいくつかの詳細は、すべてが本開示から逸脱することなく、様々な自明の点において修正形態を実現可能である。したがって、各図面及び説明は、本質的に例示的なものとみなすべきであり、限定的なものとみなすべきではない。

参照による援用
[0017] 本明細書において言及されるあらゆる公報、特許、及び特許出願は、個々の公報、特許、又は特許出願それぞれが、参考として援用されていたと具体的且つ個別に示された場合と同じ程度に、参照として本明細書に援用される。

[0018] 本発明の新規の特徴は、添付の特許請求の範囲において具体的に説明する。本発明の原理が利用される例示的な実施形態を説明する以下の詳細な説明、及び添付の図面を参照することによって、本発明の特徴及び利点のさらに良好な理解が得られることになる。

図面の簡単な説明
[0019]本発明の実施形態によるビデオ・キャプチャ・システムの一例を示す。 [0020]本発明の実施形態によるオーディオ・エンハンスメント・モジュールの例を示す。 [0020]本発明の実施形態によるオーディオ・エンハンスメント・モジュールの例を示す。 [0020]本発明の実施形態によるオーディオ・エンハンスメント・モジュールの例を示す。 [0021]本発明の実施形態による、医療処置でのステップを認識し、タイミングの差を検出するプロセスの一例を示す。 [0022]本発明の実施形態による、ステップを決定及び認識するために機械学習を利用する一例を示す。 [0023]本発明の実施形態による、利用することのできる様々な機械学習技法の例を示す。 [0023]本発明の実施形態による、利用することのできる様々な機械学習技法の例を示す。 [0023]本発明の実施形態による、利用することのできる様々な機械学習技法の例を示す。 [0023]本発明の実施形態による、利用することのできる様々な機械学習技法の例を示す。 [0024]本発明の実施形態による、認識された解剖学的タイプに基づいて様々な予測ステップを生成する一例を示す。 [0025]本発明の実施形態による、実際にはリアルタイムに生じるステップと比較される処置についての各予測ステップ間での比較の一例を示す。 [0026]本発明の実施形態による、ビデオの関連部分が識別され、視聴するために表示される一例を示す。 [0027]本発明の実施形態による、１つ又は複数のビデオ・カメラによって取り込まれた画像を表示し、リアルタイムに医療従事者をサポートすることのできるユーザ・インターフェースの一例を示す。 [0028]本発明の実施形態による、個人データが取り除かれたときのユーザ・インターフェースの一例を示す。 [0029]本発明の実施形態による、医療従事者の能力を評価するのに使用できる要因の例を示す。 [0030]本発明の実施形態による、複数の遠く離れた個人が、複数の医療施設と通信できてもよいシステムの一例を示す。 [0031]本発明の実施形態による、所与の実体における様々な装置間での通信の一例を示す。 [0032]本発明の実施形態による、例示的なコンピュータ・システムを示す。

発明の詳細な説明
[0033] 本発明の好ましい実施形態を、本明細書において図示して説明してきたが、このような実施形態は、ほんの一例として提示されていることが当業者には明らかになろう。ここで、本発明から逸脱することなく、数多くの変形、変更、及び置換えが当業者に思い浮かぶことになる。本発明を実施する際には、本明細書に記載された本発明の実施形態に対する様々な選択肢を利用してもよいことを理解されたい。

[0034] 本発明は、ビデオ分析のためのシステム及び方法を提供する。本明細書に記載の本発明の様々な態様は、以下に説明する具体的な用途のいずれに適用してもよい。本発明は、医療システム又は通信システムの一部分として適用してもよい。本発明の様々な態様は、別々に、まとめて、又は互いに組み合わせて評価できることが理解されるものとする。

[0035] ビデオ・システムは、医療処置を実行していることのある医療関係者をサポートするのに役立つ場合がある。このビデオ・システムを利用して、解剖学的タイプを認識してもよい。各ステップの予測タイミングとともに、その解剖学的タイプについての処置の１組のステップを予測してもよい。このビデオ・システムは、処置を実行する医療従事者の画像を取り込んでもよい。処置からの各ステップは、システムによって認識されてもよい。医療従事者が実行する各ステップのタイミングを、各ステップの予測タイミングと比較してもよい。著しい差を記録してもよい。

[0036] 実施形態によっては、本明細書において提示されるシステム及び方法は、リアルタイムに医療従事者をサポートすることができる。医療従事者が処置を実行している間、この処置に役立つ情報が表示され、ステップが認識されるときリアルタイムに更新されてもよい。予想されるステップ及び／又はタイミングとのいかなる差も、医療従事者に指摘してもよい。

[0037] 本明細書において提示されるシステム及び方法はまた、処置後の分析及びフィードバックを提供することもある。実施形態によっては、医療従事者の能力についてのスコアが生成される場合がある。医療従事者には、ビデオを見直す選択肢が与えられてもよく、最も関連性の高い部分が、自動的に認識されて最優先に表示され、したがって医療従事者は、関係のないビデオを見ることで余分な時間を費やす必要がない。

[0038] 本明細書において提示されるシステム及び方法は、ビデオ・キャプチャ・システムを利用して、外科的処置中に画像を取り込んでもよい。

[0039] 図１には、手術室などの特別病室内で利用されるビデオ・キャプチャ・システムの一例が示してある。このビデオ・キャプチャ・システムは、任意選択として、本発明の実施形態による、特別病室と１人又は複数人の遠く離れた個人との間での通信を可能にすることができる。任意選択として、第１の場所１１０と第２の場所１２０との間で、通信を提供することができる。

[0040] この第１の場所１１０は、医療施設の手術室などの特別病室でもよい。特別病室は、診療室内にあってもよく、又は医療施設の他の任意の部分内にあってもよい。医療施設は、ある一定レベルの医療又は健康支援を提供できる、あらゆるタイプの施設又は組織でもよい。例によっては、医療施設には、病院、診療所、緊急医療施設、外来患者用施設、外来外科センタ、老人ホーム、ホスピス・ケア、在宅医療、リハビリテーション・センタ、研究所、イメージング・センタ、獣医診療所、又は医療又は支援を提供できる他の任意のタイプの施設が含まれ得る。医療施設は、主に、短期的な医療向けに提供されても、長期的な医療向けに提供されても、どちらでもよい。医療施設は、いつでも開いていてよく、又は開いている時間が限られていてもよい。医療施設は、医療を提供するための専用の機器を備えていても、備えていなくてもよい。慢性症状又は急性症状のある個人に、医療を提供することができる。医療施設は、１人又は複数人の医療提供者（別名、医療関係者／医療従事者）を雇用してもよい。医療施設についての本明細書でのいかなる説明も、病院又は他の任意のタイプの医療施設を指していてもよく、その逆の場合も同様である。

[0041] 第１の場所は、医療施設内の任意の部屋又は領域でもよい。たとえば、第１の場所は、手術室、サージカル・スイート、診療室、トリアージ・センタ、緊急治療室、又は他の任意の場所でもよい。第１の場所は、部屋のある領域内でもよく、又は部屋の全体でもよい。第１の場所は、手術が行われることのある任意の場所、外科手術が行われることのある任意の場所、医療処置が行われることのある任意の場所、及び／又は医療品が使用される任意の場所でもよい。一例では、第１の場所は、手術を受けている患者１１８と、手術を行っている外科医か、又は手術を行うのを補助している外科助手など、１人又は複数人の医療関係者１１７とがいる手術室でもよい。医療関係者には、医療処置を行うか、又は医療処置の実行を補助する任意の個人が含まれ得る。医療関係者には、医療処置のサポートを提供する個人も含まれ得る。たとえば、医療関係者には、外科手術を行う外科医、看護師、麻酔科医などが含まれ得る。医療関係者の例には、医師（たとえば、外科医、麻酔科医、放射線科医、内科医、研修医、腫瘍専門医、血液学者、心臓病専門医など）、看護師（たとえば、ＣＮＲＡ、手術室看護師、外回り看護師）、医師の助手、外科手術技師などが含まれ得る。医療関係者には、医療処置の場にいて、その医療処置に立ち会うことを許可された個人も含まれ得る。

[0042] 医療品には、治療目的又は診断目的のために、単独で、又は他の装置と組み合わせて使用される装置が含まれ得る。医療品は医療装置でもよい。医療品には、手術を行うため、又は手術の実行を容易にするため手術中に使用される、あらゆる製品が含まれ得る。医療品には、製造者が人間用に使用するものと意図することのある、ツール、用具、インプラント、人工挿入物、使い捨て品、又は他の任意の機器、器具、ソフトウェア、若しくは材料が含まれ得る。医療品は、傷害又はハンディキャップの診断、監視、治療、緩和、又は補償用に使用されてもよい。医療品は、病気の診断、予防、監視、治療、又は緩和用に使用されてもよい。場合によっては、医療品は、解剖学的プロセス又は生理学的プロセスの調査、置換え、又は修正に使用されてもよい。医療品の例によっては、外科用器械（たとえば、ハンドヘルド型、又はロボット型）、カテーテル、内視鏡、ステント、ペースメーカ、人工関節、脊椎安定装置、使い捨て手袋、ガーゼ、静脈輸液、薬剤などにまで及ぶ場合がある。

[0043] ビデオ・キャプチャ・システムは、１つ又は複数のカメラを有してもよい。このビデオ・キャプチャ・システムはまた、ローカル通信装置１１５を備えてもよい。このローカル通信装置は、場合によっては、遠隔通信装置１２５と通信することができる。

[0044] １つ又は複数のカメラは、通信装置と一体化してもよい。或いは、この１つ又は複数のカメラは、通信装置との間で取外し可能及び／又は接続可能でもよい。この１つ又は複数のカメラは、ユーザが通信装置の表示装置を見るときに、ユーザと向き合っていてもよい。この１つ又は複数のカメラは、ユーザが通信装置の表示装置を見るときに、ユーザと向き合っていなくてもよい。場合によっては、様々な方向を向いていてもよい複数のカメラが設けられてもよい。カメラは、所望の解像度で画像を取り込むことができてもよい。たとえば、カメラは、少なくとも６メガ・ピクセル、８メガ・ピクセル、１０メガ・ピクセル、１２メガ・ピクセル、２０メガ・ピクセル、３０メガ・ピクセル、４０メガ・ピクセル、又は任意のピクセル数で画像を取り込むことができてもよい。カメラは、ＳＤ、ＨＤ、フルＨＤ、ＷＵＸＧＡ、２Ｋ、ＵＨＤ、４Ｋ、８Ｋ、又は他の任意の解像度レベルを取り込むことができてもよい。担当者用通信装置のカメラは、ベンダ担当者の画像を取り込んでもよい。ローカル通信装置のカメラは、医療関係者の画像を取り込んでもよい。ローカル通信装置のカメラは、手術部位及び／又は医療用のツール、用具、又は製品の画像を取り込んでもよい。

[0045] 通信装置は、１つ又は複数のマイクロホン又はスピーカを備えてもよい。マイクロホンは、ユーザの声などの可聴音を取り込んでもよい。たとえば、担当者用通信装置のマイクロホンは、ベンダ担当者の音声を取り込むことができ、ローカル通信装置のマイクロホンは、医療関係者の音声を取り込むことができる。１つ又は複数のスピーカを設けて、音を再生してもよい。たとえば、担当者用通信装置でのスピーカにより、ベンダ担当者は、ローカル通信装置によって取り込まれた音を聞くことができるようになってもよく、又その逆の場合も同様である。

[0046] 実施形態によっては、オーディオ・エンハンスメント・モジュールを設けてもよい。このオーディオ・エンハンスメント・モジュールは、ビデオ・キャプチャ・システムによって支持されてもよい。オーディオ・エンハンスメント・モジュールは、背景雑音を最小限に抑えながら、又は低減しながら、雑音の多い室内での声を明瞭に取り込むように構成されてもよい、一連のマイクロホンを備えてもよい。オーディオ・エンハンスメント・モジュールは、分離可能でもよく、又はビデオ・キャプチャ・システムに一体化されてもよい。

[0047] 通信装置は、表示画面を備えてもよい。この表示画面は、タッチスクリーンでもよい。この表示画面は、指など、ユーザのタッチによる入力を受け付けることができる。この表示画面は、スタイラス又は他のツールによる入力を受け付けることができる。

[0048] 通信装置は、通信が可能なあらゆるタイプの装置でもよい。たとえば、通信装置は、スマートフォン、タブレット、ラップトップ、デスクトップ、サーバ、携帯型情報端末、ウェアラブル（たとえば、スマートウォッチ、メガネなど）、又は他の任意のタイプの装置でもよい。

[0049] 実施形態によっては、ローカル通信装置１１５は、医療コンソール１４０によってサポートされてもよい。ローカル通信装置は、医療コンソールに永続的に取り付けられてもよく、又は医療コンソールから取外し可能でもよい。場合によっては、ローカル通信装置は、医療コンソールから取り外されている間も機能を維持してもよい。ローカル通信装置が医療コンソールに取り付けられている（たとえば、ドッキングされている）とき、医療コンソールは、任意選択により、ローカル通信装置に電力を供給してもよい。医療コンソールは、ある場所から別の場所へと移動することのある、モバイル・コンソールでもよい。たとえば、医療コンソールは、この医療コンソールがある場所から別の場所へと車輪で移動できるようにしてもよい車輪を備えてもよい。この車輪は、所望の場所で所定の位置に固定されてもよい。医療装置は、任意選択により、下部ラック及び／又は支持ベース１４７を備えてもよい。この下部ラック及び／又は支持ベースは、通信構成部品、電源構成部品、補助入力、及び／又はプロセッサなど、１つ又は複数の構成部品を収容することができる。

[0050] 医療コンソールは、任意選択により、１つ又は複数のカメラ１４５、１４６を備えてもよい。このカメラは、患者１１８、又はこの患者の一部分（たとえば、手術部位）の画像を取り込むことができてもよい。カメラは、医療装置の画像を取り込むことができてもよい。医療装置がトレイに置かれているとき、又はこの医療装置が医療関係者によって扱われているとき、及び／又は手術部位で使用されているとき、カメラは、この医療装置の画像を取り込むことができてもよい。カメラは、本明細書の他の箇所で説明しているように、任意の解像度で画像を取り込むことができてもよい。カメラを使用して、静止画像及び／又はビデオ画像を取り込んでもよい。カメラは、リアルタイムで画像を取り込んでもよい。

[0051] カメラのうち１つ又は複数は、医療コンソールに対して移動可能でもよい。たとえば、１つ又は複数のカメラをアームで支持してもよい。このアームは、１つ又は複数の区間を含んでもよい。一例では、カメラは、アームの端部で、又はその近くで支持されてもよい。アームは、１つ以上の区間、２つ以上の区間、３つ以上の区間、４つ以上の区間、又はそれ以上の区間を含んでもよい。各区間は、互いに対して、又は医療コンソールの本体に対して移動してもよい。各区間は、１つ又は複数のヒンジを中心に枢動してもよい。実施形態によっては、動きは水平面など単一平面に制限されてもよい。或いは、この動きを単一平面に制限する必要はない。各区画は、水平に及び／又は垂直に動いてもよい。カメラは、少なくとも１つ、２つ、３つ、又はそれ以上の自由度を有してもよい。アームは、任意選択により、ユーザがこのアームを所望の位置まで手動で操作できるようにすることができるハンドルを備えてもよい。アームは、操作された先の位置に留まってもよい。ユーザは、アームの位置を保持するように、このアームをロックする必要があってもよく、なくてもよい。これにより、カメラを安定して支持することができる。アームは、必要に応じてロック解除したり、及び／又は新規の位置まで再操作したりできる。実施形態によっては、遠隔ユーザは、アーム及び／又はカメラの位置を制御することができてもよい。

[0052] 場合によっては、本開示のカメラ及び／又はイメージング・センサは、医療コンソール又は１つ若しくは複数の表示装置から切り離して、又それから独立して設けられてもよい。このカメラ及び／又はイメージング・センサを使用して、進行中の外科的処置、又は手術を受けている、手術を受けた、若しくは外科的処置の一部分として手術を受けることになる手術部位の画像及び／又はビデオを取り込んでもよい。場合によっては、本明細書に開示されたカメラ及び／又はイメージング・センサを使用して、外科医、医者、又は外科的処置の１つ又は複数のステップを補助又は実行する医療従事者の画像及び／又はビデオを取り込んでもよい。このカメラ及び／又はイメージング・センサは、医療コンソール又は１つ若しくは複数の表示装置とは独立して移動させてもよい。たとえば、カメラ及び／又はイメージング・センサは、第１の方向又は第１の領域に向けて配置及び／又は配向されてもよく、医療コンソール又は１つ若しくは複数の表示装置は、第２の方向又は第２の領域に向けて配置及び／又は配向されてもよい。場合によっては、１つ又は複数の表示装置は、カメラ又はイメージング・センサの位置及び／又は向きに影響を及ぼすことなく、又はそれらを変更することなく、１つ又は複数のカメラ及び／又はイメージング・センサとは独立して移動させてもよい。本明細書に記載の１つ又は複数の表示装置を使用して、カメラ及び／又はイメージング・センサを使用して取り込まれた画像及び／又はビデオを表示してもよい。場合によっては、１つ又は複数の表示装置を使用して、外科的処置が実行又は実施されることのある医療施設又は手術室で、１人又は複数人の医療従事者に、遠隔のベンダ担当者から提供される画像、ビデオ、又は他の情報若しくはデータを表示してもよい。１つ又は複数の表示装置に表示される画像又はビデオは、ベンダ担当者の画像又はビデオを含んでもよい。１つ又は複数の表示装置に表示される画像又はビデオは、ベンダ担当者がライブ・フィードバック、指示、案内、カウンセリング、又はデモンストレーションを提示するときに、ベンダ担当者の画像及び／又はビデオを含んでもよい。このようなライブ・フィードバック、指示、案内、カウンセリング、又はデモンストレーションは、１つ若しくは複数の医療機器若しくはツールの使用、又は１つ若しくは複数の医療機器若しくはツールを使用する外科的処置での１つ若しくは複数のステップの実行に関連してもよい。

[0053] 実施形態によっては、１つ又は複数のカメラ及び／又はイメージング・センサは、２つ以上のカメラ及び／又はイメージング・センサを備えてもよい。この２つ以上のカメラ及び／又はイメージング・センサは、互いに独立して移動させてもよい。場合によっては、第１のカメラ及び／又はイメージング・センサは、第２のカメラ及び／又はイメージング・センサとは独立して、又それに対して相対的に移動できてもよい。場合によっては、第２のカメラ及び／又はイメージング・センサは、固定されていてもよく、又は静止していてもよい。他の場合では、第２のカメラ及び／又はイメージング・センサは、第１のカメラ及び／又はイメージング・センサとは独立して、又それに対して相対的に移動できてもよい。

[0054] 実施形態によっては、１つ又は複数のカメラを、第２の場所に設けてもよい。この１つ又は複数のカメラは、医療コンソールによって支持してもよく、支持しなくてもよい。実施形態によっては、第２の場所での天井１６０、壁、家具、又は他の物品によって、１つ又は複数のカメラを支持してもよい。たとえば、１つ又は複数のカメラは、壁、天井、又は他の装置に取り付けてもよい。このようなカメラは、表面に直接取り付けてもよく、又はブーム若しくはアームに取り付けてもよい。たとえば、アームは、カメラを支持しながら、天井から下に延びてもよい。別の例では、アームは、カメラを支持しながら、患者のベッド又は表面に取り付けられてもよい。場合によっては、カメラは、医療関係者が装着してもよい。たとえば、カメラは、ヘッドバンド、リストバンド、胴体、又は医療関係者の他の任意の部分に装着してもよい。カメラは、医療装置の一部分でもよく、医療装置（たとえば、内視鏡など）によって支持されてもよい。この１つ又は複数のカメラは、固定式カメラ又は可動式カメラでもよい。この１つ又は複数のカメラは、１つ以上の軸、２つ以上の軸、又は３つ以上の軸を中心に回転できるようになっていてもよい。この１つ又は複数のカメラには、パンチルトズーム・カメラが含まれ得る。カメラは、個人がその場所において手動で移動してもよい。カメラは、適位置にロックされてもよく、及び／又はロック解除されて移動してもよい。場合によっては、１つ又は複数のカメラは、１人又は複数人の遠隔ユーザによって遠隔制御されてもよい。カメラは、ズームイン及び／又はズームアウトしてもよい。カメラのいずれも、本明細書において規定される解像度値のいずれを有してもよい。カメラは、場合によっては、対象となる区域を照射できる光源を有してもよい。或いは、カメラは、外部の光源に依存してもよい。

[0055] １つ又は複数のカメラ１４５、１４６によって取り込まれる画像は、本明細書においてさらに他で説明するように分析されてもよい。ビデオは、リアルタイムに分析できてもよい。ビデオは、遠隔通信装置に送信されてもよい。これにより、カメラの視野で取り込まれた画像を遠隔で見るための遠隔使用が可能であってもよい。たとえば、遠隔ユーザは、手術部位及び／又は使用中の任意の医療装置を見ることができる。遠隔ユーザは、医療関係者を見ることができてもよい。遠隔ユーザは、こうしたものをほぼリアルタイムで見ることができてもよい。たとえば、これは、実際に事象が発生してから、１分以内、３０秒以内、２０秒以内、１５秒以内、１０秒以内、５秒以内、３秒以内、２秒以内、１秒以内でもよい。

[0056] これにより、遠隔ユーザは、物理的に第１の場所にいる必要なしに、支援又はサポートを行うことができてもよい。医療用のコンソール及びカメラは、必要な画像及び情報を遠隔ユーザに提供して、第１の場所において仮想プレゼンスを有するのに役立つことがある。

[0057] ビデオ分析は、第１の場所１１０でローカルに行われてもよい。実施形態によっては、この分析は、医療コンソール１４０上で行われてもよい。たとえば、分析は、医療コンソールに配置されることのある、通信装置１１５又は他のコンピュータの１つ又は複数のプロセッサの助けを借りて行われてもよい。場合によっては、ビデオ分析は、第１の場所から遠隔で行われてもよい。場合によっては、１つ又は複数のサーバ１７０を利用して、ビデオ分析を実行してもよい。このサーバは、複数の場所からの情報にアクセス及び／又は受信することができてもよく、大規模なデータ・セットを収集してもよい。機械学習と連携してこの大規模なデータ・セットを使用して、ビデオ分析を一段と正確なものにしてもよい。サーバの本明細書でのいかなる説明もまた、いかなるタイプのクラウド・コンピューティングのインフラストラクチャに適用されてもよい。分析は遠隔で行われてもよく、フィードバックは、実質的にリアルタイムにコンソール及び／又は位置通信装置に伝達されてもよい。リアルタイムの本明細書でのいかなる説明も、短期間（たとえば、約１０分、５分、３分、２分、１分、３０秒、２０秒、１５秒、１０秒、５秒、３秒、２秒、１秒、０．５秒、０．１秒、０．０５秒、０．０１秒以下の範囲内）に生じることのある、いかなる動作を含んでもよい。

[0058] 実施形態によっては、医療関係者は、１人又は複数人の遠く離れた個人と通信してもよい。

[0059] 第２の場所１２０は、遠く離れた個人１２７がいる任意の場所でもよい。第２の場所は、第１の場所から遠く離れていてもよい。たとえば、第１の場所が病院の場合、第２の場所は病院の外側でもよい。場合によっては、第１の場所及び第２の場所は、同じ建物内の異なる部屋、異なる階、又は別館にあってもよい。第２の場所は、遠く離れた個人のオフィスにあってもよい。第２の場所は、遠く離れた個人の自宅にあってもよい。

[0060] 遠く離れた個人は、第１の場所にあるローカル通信装置１１５と通信できる、遠隔通信装置１２５を有してもよい。担当者用通信装置とその場所の通信装置との間には、どんな形式の通信チャネル１５０を形成してもよい。この通信チャネルは、直接通信チャネルでもよく、又は間接通信チャネルでもよい。通信チャネルは、有線通信、無線通信、又はその両方を利用してもよい。通信は、ローカル・エリア・ネットワーク（ＬＡＮ）、インターネットなどの広域ネットワーク（ＷＡＮ）、又は任意の形式の通信ネットワーク（たとえば、セルラー・サービス・ネットワーク）などのネットワークを介して行われてもよい。利用される通信は、３Ｇ、４Ｇ、ＬＴＥの通信、及び／又はBluetooth、赤外線、無線、若しくは他の通信を含んでもよいが、これらに限定されるものではない。通信は、場合によっては、ルータ、衛星、タワー、及び／又は有線の助けを借りてもよい。通信は、第１の場所及び／又は第２の場所での既存の通信ネットワークを利用してもよいし、利用しなくてもよい。

[0061] 担当者用通信装置とローカル通信装置との間の通信は、暗号化されてもよい。場合によっては、許可及び認証された担当者用通信装置及びローカル通信装置のみが、通信システムを介して通信することができてもよい。

[0062] 実施形態によっては、遠隔通信装置及び／又はローカル通信装置は、通信システムを介して互いに通信してもよい。通信システムは、遠隔通信装置とローカル通信装置との間の接続を容易にしてもよい。通信システムは、医療施設でのスケジューリング情報にアクセスする役に立つことができる。通信システムは、遠隔通信装置において、遠く離れた個人のサポートの恩恵を受ける場合がある、起こり得る１つ又は複数の医療処置について、その遠く離れた個人にユーザ・インターフェースを提示する役に立つことができる。

[0063] 図２Ａ～２Ｃには、本発明の実施形態によるオーディオ・エンハンスメント・モジュールの例が示してある。オーディオを収集する場所では、１つ又は複数のマイクロホンを利用してもよい。オーディオ・エンハンスメント・モジュールは、複数のマイクロホンを備えてもよい。この複数のマイクロホンは、マイクロホン・アレイと呼ばれることがある。マイクロホン区域の本明細書でのいかなる説明も、任意のタイプのオーディオ・エンハンスメント・モジュールを指してもよく、その逆も同様である。

[0064] 図２Ａには、表示装置２００に組み込まれてもよいマイクロホン・アレイ２１０及びスピーカ２２０の例が示してある。たとえば、本明細書に記載の通り、スピーカ及びマイクロホン・アレイは、画面上又は通信装置上に配置されてもよい。画面及び／又は通信装置は、場合によっては、医療用コンソールに設けられてもよく、この医療用コンソールは、それを回転させるための１つ又は複数の車輪を有してもよい。表示装置の本明細書でのいかなる説明も、画面又は任意のタイプの通信装置に適用することができる。

[0065] 実施形態によっては、スピーカ及びマイクロホン・アレイは、表示装置の相対する端部に配置されてもよい。たとえば、表示装置の頂部若しくはその近くにスピーカを配置してもよく、表示装置の底部若しくはその近くにマイクロホン・アレイを配置してもよく、又はその逆も同様である。同様に、表示装置の右側若しくはその近くにスピーカを配置してもよく、表示装置の左側若しくはその近くにマイクロホン・アレイを配置してもよく、又はその逆も同様である。スピーカとマイクロホン・アレイを相対する端部に配置すると、有利には、スピーカから生じる雑音が、マイクロホン・アレイによって取り込まれる音に干渉しないか、又はその干渉が最小限に抑えられる場合がある。

[0066] 音が表示装置の方向から離れて前方へ向けられるように、スピーカを配置してもよい。画面に向かっている個人へ音を向けてもよい。これにより、個人が、遠く離れた個人との通信に携わることができるようになってもよい。

[0067] マイクロホン・アレイは、場合によっては、声やオーディオを収集するように配置されてもよい。実施形態によっては、マイクロホン・アレイは、背景雑音を最小限に抑えるか、又は低減するように構成されてもよい。

[0068] 図２Ｂには、スピーカ２２０及びマイクロホン・アレイ２１０を有する表示装置２００の斜視図が示してある。

[0069] 図２Ｃには、マイクロホン・アレイ２１０のクローズアップが示してある。実施形態によっては、このマイクロホン・アレイは、表示装置の底面に配置されてもよい。マイクロホン・アレイは、（たとえば、表示装置の底面の１０％、５％、３％、又は１％以内）か、又はその近くに配置されてもよい。マイクロホン・アレイは、表示装置の他の任意の側部か、又はその近くに配置されてもよい。

[0070] マイクロホン・アレイ２１０は、複数のマイクロホン２１５を備えてもよい。このマイクロホンは、１つ若しくは複数の横列、１つ若しくは複数の縦列、及び／又は１つ若しくは複数のアレイに配置されてもよい。マイクロホンは、千鳥形配列又はランダム配列を有しても、有していなくてもよい。マイクロホン・アレイの本明細書でのいかなる説明も、マイクロホンの任意の配列を指してもよい。任意の数のマイクロホンを設けてもよい。たとえば、１つ以上、２つ以上、３つ以上、４つ以上、５つ以上、６つ以上、７つ以上、８つ以上、９つ以上、１０以上、１２以上、１５以上、２０以上、３０以上、又は５０以上のマイクロホンを、マイクロホン・アレイに利用してもよい。実施形態によっては、マイクロホンの数は、本明細書において提示される数のいずれかより少なくてもよく、又は本明細書において提示される数のいずれか２つの間の範囲内に含まれてもよい。

[0071] マイクロホンは、フルレンジ・スピーカとともに設けられてもよい。たとえば、図に示すように、７つのマイクロホン及びフルレンジ・スピーカを設けてもよい。伝達経路は、マイクロホン（たとえば、７つのマイクロホン）からの入力（Ｓ_ｉｎ）、及びラウドスピーカ基準信号からの入力（ｒｅｆ_ｉｎ）を受け入れてもよい。伝達経路の処理によって、マイクロホン入力の音響エコーを相殺又は低減してもよい。伝達経路処理は、方向探知用のビーム形成及び／又は空間フィルタリングを実行してもよい。伝達経路処理は、スペクトル雑音低減に適用してもよい。伝達経路処理は、最終出力にゲインを適用してもよい。

[0072] 受信経路は、スピーカによる出力（ｒ_ｏｕｔ）に先立って、入力信号（ｒ_ｉｎ）にゲイン及びイコライゼーションを適用してもよい。ある特定の環境下では、この受信経路はまた、ゲインを調節して、全２重の能力を向上させてもよい。

[0073] 空間フィルタ・ビーム及び方向探知ビームを設けてもよい。この方向探知ビームは、遅延和ビームを含んでもよく、１２（又は、他の任意の数）の等間隔の方向が存在してもよい。たとえば、１２の方向が与えられるとき、各ビームは、時計文字盤のように間隔を空けて配置されてもよい。

[0074] 空間フィルタ・ビームは、少なくとも６つのビーム、８つのビーム、１０のビーム、１２のビーム、又は他の任意の数のビームを含んでもよい。たとえば、ビームは、（ａ）前向きの狭角ビーム、（２）医療コンソールの右手３０度、すなわち１時を指す狭角ビーム、（３）医療コンソールの左手３０度、すなわち１１時を指す狭角ビーム、（４）良好なピックアップ＋／－６０度を有する相対的に幅の広い前向きのビーム、（５）マイクロホンのみを使用する全方向性のビーム＃０、（６）フォールバック・ビーム（＃４のビームと類似又は同じ）、及び／又は（７）雑音基準の役割を果たす後向きのビームを含んでもよい。各ビームは構成可能でもよく、ビームの任意の組合せを利用してもよい。他の任意の数の空間フィルタ・ビームを用意してもよい。本明細書に記載の通り、これらは同様の構成又は範囲を有してもよい。角度の値は、本明細書に記載の値の１％、５％、１０％、２０％、３０％、５０％、又は７０％以下で変化してもよい。

[0075] 自動検索モードでは、最も信頼できる方向が特定されてもよい。ビームへの方向のマッピングは以下のように動作する。
１．方向＃０は、前方への狭角ビームにマッピングされる
２．方向＃１は、右に３０度の前方へのビームにマッピングされる
３．方向＃１１は、左に３０度の前方へのビームにマッピングされる
４．方向２～１０は、前方を向いた相対的に広いビームにマッピングされる。

[0076] 検索の性能指数（別名、信頼度）が低い場合、フォールバック・ビームが選択される。実施形態によっては、全方向性のビームを選択する自動的な方式は存在しない。

[0077] 各寸法は、ほんの一例として提示されるものであって、限定的なものではない。実施形態によっては。各寸法は、１％、３％、５％、１０％、１５％、２０％、２５％、３０％、又は４０％以下で変化してもよい。実施形態によっては、各マイクロホン間の距離の比率は、距離が変化する場合でも、固定されたままででもよく、又は１％、３％、５％、１０％、１５％、２０％、２５％、３０％、若しくは４０％以内でもよい。

[0078] ビデオ分析の本明細書でのいかなる説明も、オーディオ分析にも同様に適用されてもよい。オーディオ分析は、別々に行われてもよく、又はビデオ分析とともに行われてもよい。オーディオのタイミングは、１つ又は複数のビデオのタイミングに対して知られていてもよい。オーディオは、同時に収集されるビデオの前後関係の範囲内で分析されてもよく、その逆も同様である。

[0079] 実施形態によっては、取り込まれたオーディオを変換及び／又は分析してもよい。たとえば、音声をテキストに変換してもよい。テキストは、発生したアクティビティの筆記録用に使用されてもよい。音声認識は、話者の声に基づいて、その話者を識別できてもよい。筆記録は、テキストの各項目について話す、個人の識別情報についての情報を含んでもよい。音声のタイミングを分析することができるように、タイミング・データをテキストに関連付けてもよい。同様に、他の雑音を分析及び／又は認識してもよい。たとえば、落下する物体の音を検出して記録してもよい。別の例では、特定の機器が様々な雑音を生成することがあり、オーディオに基づいて、このような機器の使用が検出及び／又は分析されてもよい。

[0080] 図３には、本発明の実施形態による、医療処置でのステップを認識し、タイミングの差を検出するプロセスの一例が示してある。ビデオ・フレームを得て、これを分析してもよい（３１０）。患者の解剖学的タイプを認識してもよい（３２０）。解剖学的タイプに基づいて、予測される１つ又は複数の処置ステップを決定してもよい（３３０）。医療関係者がこの処置を実行するとき、各ステップは、リアルタイムに認識されてもよい（３４０）。各ステップが実行されている間、ステップのタイミングが認識され、このステップの予測されるタイミングと比較されてもよい（３４５）。予測されるタイミングと比較された各ステップの実際のタイミングの任意の差には、フラグを立ててもよい（３４７）。各ステップが実行された後に、外科手術を完了してもよい（３５０）。

[0081] ビデオ・フレームを得てもよい（３１０）。ある処置中に、ビデオが取り込まれてもよい。このビデオは、その処置の場所に存在する１つ又は複数のカメラの助けを借りて取り込まれてもよい。この１つ又は複数のカメラは、医療コンソールによって支持されるカメラ、及び／又は医療コンソールによって支持されていない（たとえば、壁、天井、家具、衣服などに存在する）１つ若しくは複数のカメラを備えてもよい。実施形態によっては、単一のカメラからのビデオを分析してもよい。或いは、複数のカメラによって取り込まれるビデオを一緒に分析してもよい。さらに、超音波、内視鏡検査、エラストグラフィ、ＥＣＧ、Ｘ線透視法、医療写真技術、触覚イメージング、サーモグラフィ、ダビンチ外科手術システム、医療画像入力などの外部イメージング入力を接続することができ、こうした外部イメージングのビデオ・フレームをも分析してよい。様々なビデオ・カメラ間でのタイミング情報を同期させて、ビデオ・カメラのそれぞれが取り込んだ画像間での比較タイミングを理解してもよい。たとえば、各カメラは、関連付けられた時計を有してもよく、又は時計と通信してもよい。このような時計を互いに同期させて、複数のビデオ・ソースが取り込む画像のタイミングを正確に判断してもよい。場合によっては、複数のビデオ・カメラが、単一の時計と通信してもよい。場合によっては、各時計でのタイミングが異なる場合があるが、各時計間の差を知ることができる。各時計間の差を使用して、複数のビデオ・カメラからの分析されたビデオが、確実に適切なタイミングを使用しているようにすることができる。

[0082] 患者の解剖学的タイプを認識してもよい（３２０）。実施形態によっては、ビデオからの画像を使用して、患者の解剖学的タイプを認識してもよい。場合によっては、患者の診療記録に自動的にアクセスし、これを使用して、患者の解剖学的タイプを認識するのに役立ててもよい。場合によっては、医療関係者は、患者の解剖学的タイプを決定するのに使用してもよい情報を入力してもよい。場合によっては、医療関係者は、患者の解剖学的タイプを直接入力してもよい。場合によっては、複数の情報源からの情報（たとえば、２つ以上のビデオ画像、診療記録、手動入力）を使用して、患者の解剖学的タイプを決定してもよい。患者の解剖学的タイプに影響を及ぼすことのある要因の例には、性別、年齢、体重、身長、様々な解剖学的特徴の位置決め、様々な解剖学的特徴のサイズ、過去の医療処置若しくは病歴、瘢痕組織の有無、又は他の任意の要因が含まれてもよいが、それだけには限定されない。

[0083] 患者の解剖学的タイプを決定するのに役立つように、ビデオが分析され、使用されてもよい。患者での様々な解剖学的特徴を認識するために、物体認識が利用されてもよい。場合によっては、１つ又は複数の物体を認識するために、１つ又は複数の特徴点が認識され、使用されてもよい。実施形態によっては、様々な解剖学的特徴の間で、サイズ及び／又はスケーリングが決定されてもよい。スケール及び／又はサイズを決定するのに役立つために、１つ又は複数の基準マーカを患者に与えてもよい。

[0084] 実施形態によっては、患者の解剖学的タイプを決定するのに、機械学習を利用してもよい。本明細書において提示されるシステム及び方法は、解剖学的タイプを決定する際にトレーニング・データ・セットを利用してもよい。患者の情報が提供及び／又はアクセスされると、本明細書において提示されるシステム及び方法は、患者の解剖学的タイプを自動的に決定してもよい。実施形態によっては、決定されたこの解剖学的タイプを、任意選択として、医療関係者に表示してもよい。医療関係者は、決定されたこの解剖学的タイプを見直し、評価が正確かどうかを確認できてもよい。評価が正確でない場合、医療関係者は、解剖学的タイプを訂正できてもよく、又は解剖学的タイプを更新する場合がある追加情報を提供できてもよい。

[0085] 患者の解剖学的タイプを決定することは、処置ステップ３３０を決定する際に有用となる場合がある。たとえば、様々な解剖学的タイプの患者は、同様の目標を達成するために様々なステップを必要とする場合がある。患者の配置若しくは様々な解剖学的特徴のサイズ、年齢、過去の病状、健康全般、又は他の要因に応じて、医療関係者は様々なステップを踏んでもよい。場合によっては、様々な解剖学的タイプについて、様々なステップを踏んでもよい。たとえば、特定の解剖学的特徴には、ある特定のステップ又は技法が、比較的よく適している場合がある。他の例では、同じステップを踏んでもよいが、タイミングが著しく異なる場合がある。たとえば、特定の解剖学的特徴においては、特定のステップを実行するのが比較的困難になる場合があり、解剖学的特徴が異なった場合よりも通常は長い時間がかかることになる場合がある。

[0086] 実施形態によっては、特定の解剖学的タイプ用に利用するためのステップを決定する際に、機械学習を利用してもよい。本明細書において提示されるシステム及び方法は、特定の解剖学的タイプ用に通常使用されるステップを決定する際に、トレーニング・データ・セットを利用してもよい。これは、使用される様々なステップのタイミングを決定することを含んでもよい。場合によっては、医療関係者には、推奨ステップが表示されてもよい。このステップは、医療関係者が処置を開始する前に、この医療関係者に表示されてもよい。医療関係者は、この推奨ステップを見直して、こうした推奨が正確であるかどうか確認することができてもよい。この推奨が正確でなく、又は望ましくない場合、医療関係者は、何らかのフィードバックを提示してもよく、又はステップを変更してもよい。表示は、様々なステップでの、予想されるタイミングについての情報を含んでも含まなくてもよい。

[0087] 機械学習技術及びデータ分析と組み合わせて、外科手術（又は、他の任意の医療処置）を実行するための最適の技法を決定してもよい。外科手術後の回復時間を測定してもよく、患者が回復時間を短縮できるように、医療関係者がどんなステップを踏んだか、又どんなツール（たとえば、医療品）を使用したか決定してもよい。本明細書において提示されるシステム及び方法は、オン・デマンド・モード及びオフライン・モードで、医者、専門家、担当者などの医療関係者に、推奨をライブで提示してもよい。

[0088] ビデオ分析システムは、医療関係者が処置を実行する際のステップを認識してもよい。ビデオを分析して、医療関係者が使用するツール及び／又は医療関係者が行う動作を認識してもよい。物体認識を利用して、医療関係者が使用するツール及び／又は医療関係者が行うステップを認識してもよい。たとえば、第１のステップが切開を行うことである場合、ビデオを分析して、切開するのに使用されるメスを認識し、及び／又は切開が行われる部位を認識してもよい。場合によっては、医療関係者及び／又は医療関係者の手の動きを使用して、切開が行われていることを認識してもよい。

[0089] ビデオを分析して、医療関係者が行う様々なステップを認識し、これと予測されるステップとを比較してもよい（３４５）。ビデオ分析を使用して、予測されるステップとは異なるステップを、医療関係者が実施するかどうか判定してもよい。たとえば、医療関係者は、血管を開くように期待されているが、代わりに異なるステップを実行する場合、このような差にフラグを立ててもよい（３４７）。場合によっては、この差が検出されるとすぐに、視覚的なインジケータ又はオーディオのインジケータを医療関係者に提示してもよい。たとえば、医療関係者が計画から逸脱していることを示すメッセージが、画面に表示されてもよい。このメッセージは、予測されるステップ及び／又は実際に検出された発生ステップの表示を含んでもよい。任意選択として、同様の情報をオーディオ・メッセージが提示してもよい。たとえば、予測されるステップからのずれが検出されたことを、オーディオ・メッセージが示してもよい。予測されるステップ及び／又は検出されたずれの詳細の表示は、提示されてもされなくてもよい。医療関係者が処置を実行している間に、このようなフィードバックがリアルタイムに提示されてもよい。これにより、有利には、医療関係者は、必要な場合に、評価し、任意の訂正又は調整を行うことができるようになってもよい。

[0090] この比較は、タイミングの比較を含んでもよい。たとえば、実行されるステップが一致している場合でも、ビデオを分析して、ステップの予想されるタイミングからの著しいずれが存在しているかどうかを検出してもよい。たとえば、ステップ１を実行するのに、通常は約５分かかると予想される場合がある。このステップが終了するのに１５分かかる場合、タイミングのこの差を認識してもよく（３４５）、及び／又はフラグを立ててもよい（３４７）。著しい時間差がもたらされるとき、任意選択として、メッセージ（たとえば、視覚的メッセージ及び／又はオーディオ・メッセージ）を医療関係者に提示してもよい。たとえば、予想を超える時間がステップにかかっている場合、このステップを実行する際に医療関係者に役立つことのある情報を、表示装置が示してもよい。有益なヒント又は提案が、リアルタイムに提示されてもよい。実施形態によっては、タイミング情報を追跡して、外科手術のタイミングの予測を更新してもよい。場合によっては、医療関係者が処置を実行している間、予想されるタイミング及び／又は処置の完成度の更新が医療関係者に提示されてもよい。

[0091] 実施形態によっては、不一致にフラグを立てる前の、タイミングの不一致の程度が調整可能でもよい。たとえば、平均的なステップで約１５分かかるが、医療関係者がこのステップを実行するのには１６分かかる場合、不一致の程度は、記録するか、又はフラグを立てるのに十分でない場合がある。場合によっては、フラグを立てるのに必要となる不一致の程度を予め定めてもよい。場合によっては、フラグを立てるための閾値に達するまでの不一致の程度は、絶対的な時間尺度（たとえば、分の数、秒の数）にあってもよい。場合によっては、フラグを立てるための閾値に達するまでの不一致の程度が、相対的な時間尺度（たとえば、通常ステップにかかる時間の割合）にあってもよい。この閾値は、固定されてもよく、又は調整可能でもよい。実施形態によっては、（たとえば、不一致が５分を超える場合、又は予想される処置時間の２０％を超える場合には）医療関係者が、好ましい閾値を提供してもよい。他の実施形態では、閾値は、医療施設の管理者、又は医療関係者を監督し、若しくは医療関係者とともに働く別のグループ・メンバによって設定されてもよい。

[0092] 医療関係者が各ステップのすべてを完了したら、この処置を完了してもよい（３５０）。実施形態によっては、医療関係者は、処置が完了したことを示すための入力を提示してもよい。外科手術が完了すると、ビデオを分析してもよく、及び／又はビデオの短縮版若しくは凝縮版を完成させてもよい。処置が完了した後、医療関係者は、ビデオをその生の形又は凝縮された形で見ることができてもよい。実施形態によっては、ビデオ分析システムは、処置の実行に関して、医療関係者にフィードバックを自動的に提示してもよい。たとえば、分析システムは、ステップ及び／又はタイミングの著しいずれが発生したかどうかを自動的に示してもよい。場合によっては、このシステムは、処置の効率及び／又は有効性を改善するために、医療関係者が実行することのできる差についての推奨を、医療関係者に提示してもよい。任意選択として、医療関係者が処置を完了したことについてのスコア又は評価を提示してもよい。

[0093] ビデオ分析の本明細書でのいかなる説明もまた、オーディオ分析を含んでもよい。前述の通り、オーディオ・システムを使用して、処置中に音を取り込んでもよい。任意選択として、オーディオ・エンハンスメント・モジュールを使用して、医療関係者の声から音を明瞭に取り込んでもよい。医療関係者が話す言葉を、分析及び／又は認識してもよい。たとえば、医療関係者は、この医療関係者がステップを実行する間に発生している様々なステップを通知してもよい。オーディオ情報は、解剖学的認識、予測されるステップを決定すること、及び／又は現ステップを認識することに役立つようにビデオ情報と連携して分析されてもよい。

[0094] 図４Ａには、本発明の実施形態による、ステップを決定及び認識するために機械学習を利用する一例が示してある。機械学習の本明細書でのいかなる説明も、人工知能に適用されてもよく、その逆も同様であり、又は、それらの任意の組合せに適用されてもよい。１つ又は複数のデータ・セットが提供されてもよい（４１０）。機械学習データは、このデータ・セットに基づいて生成されてもよい（４２０）。この学習データは、解剖学的認識（４３０）、ステップ予測（４４０）、及びタイミング予測（４５０）にとって有用となり得る。機械学習は、ステップ認識（４６０）及び同様にタイミング認識（４７０）にとっても有用となり得る。解剖学的認識、ステップ予測、ステップ認識、タイミング予測及び／又はタイミング認識からのデータは、機械学習アルゴリズムを改善するために、データ・セットにフィードバックされてもよい。

[0095] １つ又は複数のデータ・セットが提供されてもよい（４１０）。実施形態によっては、このデータ・セットは、有利には、複数のソースから収集される多数の例を含んでもよい。実施形態によっては、ビデオ分析システムは、複数の医療施設と通信してもよく、処置に関するデータを時間をかけて収集してもよい。データ・セットは、患者についての解剖学的データ、実施される処置、及び各処置の様々なステップに関連付けられたタイミング情報を含んでもよい。医療関係者が追加の処置を実行するとき、こうした処置に関連するデータ（たとえば、解剖学的情報、処置／ステップの情報、及び／又はタイミング情報）が絶えず更新され、データ・セットに追加されてもよい。これにより、機械学習アルゴリズム、及びそれに続く予測は、時間が経つにつれて改善される場合がある。

[0096] １つ又は複数のデータ・セットは、機械学習アルゴリズム用のトレーニング・データ・セットとして使用されてもよい。学習データは、このデータ・セットに基づいて生成されてもよい。実施形態によっては、教師あり学習アルゴリズムを使用してもよい。任意選択として、教師なし学習技法及び／又は半教師あり学習技法を利用して、学習データを生成してもよい（４２０）。

[0097] 実施形態によっては、機械学習を使用して、解剖学的認識（４３０）を改善してもよい。実施形態によっては、医療処置中に１つ又は複数のカメラから取り込まれるビデオを分析して、患者における解剖学的タイプを検出してもよい。任意選択として、オーディオ・データ、診療記録、又は医療関係者による入力を、追加で、又は代替的に使用して、患者における解剖学的タイプを決定してもよい。実施形態によっては、物体認識及び／又はサイジング／スケーリングの技法を使用して、患者における解剖学的タイプを決定してもよい。医療関係者は、ビデオ分析を使用して予測された解剖学的タイプが正しかったかどうかを、リアルタイムにフィードバックしてもしなくてもよい。実施形態によっては、このフィードバックは、将来において解剖学的認識を改善するのに役立つ場合がある。

[0098] 実施形態によっては、機械学習アルゴリズムを使用して、医療処置用の様々なステップを予測してもよい（４４０）。実施形態によっては、ビデオ情報、オーディオ・データ、診療記録、及び／又は医療関係者による入力を、単独で又は組み合わせて使用して、医療関係者が実行する医療処置用の各ステップを予測してもよい。実施形態によっては、各ステップは、患者の解剖学的タイプに応じて変化してもよい。収集した情報に基づいて、処置用の一連の予測ステップを生成するのに、機械学習が役立つ場合がある。任意選択として、医療関係者は、予測ステップが具体的な患者にとって正しいかどうかを、リアルタイムにフィードバックしてもしなくてもよい。実施形態によっては、このフィードバックは、将来においてステップ予測を改善するのに役立つ場合がある。

[0099] 実施形態によっては、機械学習アルゴリズムを使用して、医療処置用の様々なステップのタイミングを予測してもよい（４５０）。実施形態によっては、ビデオ情報、オーディオ・データ、診療記録、及び／又は医療関係者による入力を、単独で又は組み合わせて使用して、医療関係者が実行する医療処置用の各ステップのタイミングを予測してもよい。実施形態によっては、各ステップのタイミングは、患者の解剖学的タイプに応じて変化してもよい。収集した情報に基づいて、処置用の一連の予測ステップのそれぞれについてのタイミングを予測するのに、機械学習が役立つ場合がある。たとえば、解剖学的タイプＡでは、これまでステップ２は通常約５分かかり、解剖学的タイプＢでは、これまでステップ２は通常約１５分かかることがある。任意選択として、医療関係者は、ステップの予測されるタイミングが具体的な患者にとって正しいかどうかを、リアルタイムにフィードバックしてもしなくてもよい。実施形態によっては、このフィードバックは、将来においてステップのタイミング予測を改善するのに役立つ場合がある。

[0100] 医療関係者が医療処置を実行しているとき、機械学習アルゴリズムを使用して、医療処置用の様々なステップが認識されてもよい（４６０）。実施形態によっては、ビデオ情報、オーディオ・データ、診療記録、及び／又は医療関係者による入力を、単独で又は組み合わせて使用して、医療関係者が実行している医療処置用の各ステップを認識してもよい。収集した情報に基づいて、処置用の一連のステップを検出及び認識するのに、機械学習が役立つ場合がある。任意選択として、医療関係者は、検出されるステップが具体的な患者にとって正しいかどうかを、リアルタイムにフィードバックしてもしなくてもよい。実施形態によっては、このフィードバックは、将来においてステップ認識を改善するのに役立つ場合がある。

[0101] 同様にして、医療処置中には、機械学習アルゴリズムを使用して、医療処置用の様々なステップでのタイミングが認識されてもよい（４７０）。実施形態によっては、ビデオ情報、オーディオ・データ、診療記録、及び／又は医療関係者による入力を、単独で又は組み合わせて使用して、医療関係者が実行している医療処置用の各ステップのタイミングを認識してもよい。たとえば、本明細書において提示されるシステム及び方法は、様々なステップが開始される時点を認識してもよい。本明細書において提示されるシステム及び方法は、各ステップが完了するのにかかる時間の長さを認識してもよい。本明細書において提示されるシステム及び方法は、次のステップがいつ行われるかを認識してもよい。収集した情報に基づいて、処置用の一連のステップでのタイミングを検出及び認識するのに、機械学習が役立つ場合がある。任意選択として、医療関係者は、検出されるステップのタイミングが具体的な患者にとって正しいかどうかを、リアルタイムにフィードバックしてもしなくてもよい。実施形態によっては、このフィードバックは、将来においてステップのタイミング認識を改善するのに役立つ場合がある。

[0102] 機械学習は、使用されている場所（たとえば、医療関係者）及び項目（たとえば、医療品、医療装置）において個人を認識することなど、追加のステップに役立つ場合がある。提示されるシステム及び方法は、取り込まれたビデオ・フレーム及び／又はオーディオに基づいて、室内の個人を分析及び識別することができてもよい。たとえば、顔認識、動作認識、歩行認識、音声認識を使用して、室内の個人を認識してもよい。機械学習はまた、個人がとる動作（たとえば、器具を手に取ること、医療処置のステップ、場所内の移動）を認識するのに利用されてもよい。機械学習は、個人の位置を認識するのに利用されてもよい。

[0103] 実施形態によっては、機械学習は、深層畳み込みニューラル・ネットワーク／Faster R-CNN Nast NasNet（ＣＯＣＯ）を利用してもよい。機械学習は、任意のタイプの畳み込みニューラル・ネットワーク（ＣＮＮ）及び／又は再帰型ニューラル・ネットワーク（ＲＮＮ）を利用してもよい。シフト不変又は位置不変のニューラル・ネットワーク（ＳＩＡＮＮ）をも利用してよい。画像分類、物体検出、及び物体位置特定を利用してもよい。当技術分野で知られている、又は当技術分野で後に開発される、任意の機械学習技法を使用してもよい。たとえば、人工ニューラル・ネット（ＡＮＮ）、畳み込みニューラル・ネット（ＣＮＮ）、再帰型ニューラル・ネット（ＲＮＮ）、及び／又はその変形形態など、様々なタイプのニューラル・ネットワークが使用されてもよい。

[0104] 図４Ｂに示すように、利用される機械学習は、任意選択として、時間基準を有するＣＮＮとＲＮＮの組合せでもよい。カメラ画像、外部入力、及び／又は医療入力などの入力を、ツール存在検出モジュールに提供してもよい。このツール存在検出モジュールは、EnodoNetと通信してもよい。微調整のためにトレーニング画像が提供されてもよく、これによって、データをEnodoNetに提供してもよい。カメラ画像、外部入力、及び医療画像などの追加入力が、EnodoNetに提供されてもよい。EnodoNetからの出力は、長短期記憶（ＬＳＴＭ）に提供されてもよい。これにより、信頼度スコア、段階／ステップ認識、及び／又は混同行列の出力がもたらされる場合がある。

[0105] 図４Ｃに示すように、機械学習は、任意選択として、センサを用いるマルチビュー用にＣＮＮを利用してもよい。実施形態によっては、様々なカメラ・ビュー／センサを用いる医療画像、及び／又はセンサを用いる外部イメージングなどの入力を、ＣＮＮ学習モジュールに提供してもよい。これが、特徴マップに出力してもよく、この特徴マップが、フーリエ特徴融合を受けてもよい。データは、次いで、完全に接続された層に伝達され、次いで、Softmaxに提供され、次いで、出力として伝達されてもよい。

[0106] 実施形態によっては、本明細書において説明及び適用される機械学習は、図４Ｄに示すような人工ニューラル・ネットワーク（ＡＮＮ）でもよい。センサを用いるマルチビューは、図に示すように提供されてもよい。たとえば、１つ又は複数のカメラ・ビュー／センサを用いる医療の画像又はビデオなどの入力は、予測（コンピュータ・ビジョン／自然言語処理）ＣＶ／ＮＬＰモジュールに提供されてもよい。出力は、ＡＮＮモジュールに伝達されてもよい。ＡＮＮからの出力は、分析スコア又は決定でもよい。

[0107] 図４Ｅには、本発明の実施形態による、機械学習を利用する状況分析の一例が示してある。入力は、１つ又は複数のカメラ・ビュー及び／又はセンサを用いる医療の画像若しくはビデオを含んでもよい。身体器官のような外部入力（たとえば、ＥＣＧ）、ツール検出、手の動きの追跡、物体検出、状況分析、並びに／又はオーディオの書換え及び分析など、１つ又は複数の機能を実行してもよいモジュールに、この入力が提供されてもよい。このモジュールからの出力は、マルコフ論理ネットワークに提供されてもよい。知識ベースからのデータはまた、マルコフ論理ネットワークに提供されてもよい。マルコフ論理ネットワークからの出力は、出力活動記述子でもよい。

[0108] 手術室などの医療処置用の場所は、深層畳み込みニューラル・ネットワーク／Faster R-CNN Nast NasNet（ＣＯＣＯ）を用いて使用されている関係者及び機器を認識できる、１つ又は複数のカメラを有してもよく、ここで、画像分類、物体検出、及び／又は物体位置特定が発生してもよい。本明細書において他で記載されているマイクロホン・アレイなど、オーディオ・エンハンスメント・モジュールはまた、医療処置用の場所に設けられてもよく、これは、話されているすべてを取り込むことができ、文書化するためにテキストを音声に変換することができる。提示されるシステム及び方法は、ビーム形成技法を使用して、話している個人及びその音声の内容を識別することができる。音声が存在しない状況では、システム及び方法は、ビデオ／画像データに依存して文書を生成してもよい。医療処置全体に関係するデータを記憶し、この処置を文書化することに加えて、このシステム及び方法は、ビデオ及び画像からなる文書及び外科手術のハイライトを生成できてもよい。

[0109] 医療コンソールは、医療処置を実施するのに必要とされるあらゆる技能及びツールとともに、複数のカメラ及びビデオ／オーディオ・フィードを有することのあるオンサイト（たとえば、外科手術室）に設置されてもよい。進行中の外科手術の分析に加えて、医療従事者が行うべき次のステップという、別々のビデオ・フィードがリアルタイムに生成されてもよい。これは、医者の外科手術ナビゲータの役割を果たすことができる。こうした指示及び生成されるビデオ・フィードは、外科手術室の事情及び筋書きを調整することによって、遅く又は速く再生されてもよい。このシステム及び方法は、新規の処置や外科手術を絶えず学習し、後続の医療処置で使用できるデータ・セットを絶えず追加してもよい。こうしたデータ・セット及びインテリジェンスは、クラウド、Ｐ２Ｐ、又はＰ２Ｐマルチキャストのいずれかを介して、複数の医療コンソールにまたがってリアルタイムに共有されてもよい。さらに、提示されるシステム及び方法は、こうしたコンソールがリアルタイムに使用できるプラットフォームを介して、コンテキスト・インテリジェンス及びデータ・セットを追加できてもよい。

[0110] 図５には、本発明の実施形態による、認識された解剖学的タイプに基づいて様々な予測ステップを生成する一例が示してある。前述の通り、患者の解剖学的タイプは、医療関係者によって認識及び／又は提供されてもよい。解剖学的タイプは、患者の性別、年齢、体重、身長、解剖学的特徴の配置、解剖学的特徴のサイズ、解剖学的特徴間の距離、瘢痕組織の存在、病歴、既存の状態、健康状態、又は本明細書において他で記載されている他の任意のものを含む他の要因に基づいて異なってもよい。たとえば、解剖学的タイプＡ、解剖学的タイプＢ、及び解剖学的タイプＣは、互いに認識されてもよく、互いに区別できてもよい。任意の数の解剖学的タイプを、任意の程度の特殊性に与えてもよい。実施形態によっては、利用可能な解剖学的タイプの数は、医療処置のタイプに依存してもよい。たとえば、神経外科手術と比較して、手の外科手術においては、異なる数の考慮すべき解剖学的タイプを提供することができる。任意の数の解剖学的タイプを提供してもよい。たとえば、所与の医療処置については、１つ以上、２つ以上、３つ以上、４つ以上、５つ以上、７つ以上、１０以上、１５以上、２０以上、３０以上、又は５０以上の解剖学的タイプが可能でもよい。解剖学的タイプを決定するのに使用される要因は、医療処置のタイプに依存してもよい。たとえば、患者の解剖学的タイプ間で区別するのに使用される要因は、神経外科手術と比較して手の外科手術では異なってもよい。患者の解剖学的タイプを区別するのに使用される要因には、外科手術が実行されている領域に特有の要因が含まれ得る。

[0111] 予測される一連のステップは、所与の医療処置に提供されてもよい。実施形態によっては、提供される各ステップ及び／又は各ステップの予測されるタイミングは、解剖学的タイプに基づいて異なってもよい。

[0112] たとえば、様々な解剖学的タイプにおける所与の医療処置に、同じステップが提供されてもよい。ある１つの場合、解剖学的タイプＡでは、医療処置は、ステップ１、ステップ２、ステップ３、及びステップ４を含んでもよい。図に示すように、これらは、時点（ｔ）での特定の場合において発生してもよい。解剖学的タイプＢでは、同じタイプの医療処置はまた、同じステップ、ステップ１、ステップ２、ステップ３、及びステップ４を含んでもよい。しかし、こうしたステップでの予測されるタイミングは、様々な解剖学的タイプにおいて変化してもよい。たとえば、特定の解剖学的構造によって、処置内である特定のステップが相対的に困難となり、これにより、結果としてその特定のステップにかかる時間が相対的に長くなる場合がある。たとえば、ステップ１にかかる時間は、解剖学的タイプＡよりも、解剖学的タイプＢでは長くなる場合がある。同様に、ステップ２にかかる時間は、解剖学的タイプＡよりも、解剖学的タイプＢでは長くなる場合がある。しかし、患者のタイプが、解剖学的タイプＡか、それとも解剖学的タイプＢかにかかわらず、ステップ４にかかる時間はほぼ同じになる場合がある。

[0113] 実施形態によっては、様々な解剖学的タイプにおける所与の医療処置に、様々なステップが提供されてもよい。ある１つの場合、解剖学的タイプＡでは、医療処置は、ステップ１、ステップ２、ステップ３、及びステップ４を含んでもよい。図に示すように、これらは、時点（ｔ）での特定の場合において発生してもよい。解剖学的タイプＣでは、同じタイプの医療処置は、１つ又は複数の異なるステップ、ステップ２－Ａ及びステップ３－Ａを含んでもよい。たとえば、様々な解剖学的タイプにおいては、様々な技法又はステップを利用して、様々な解剖学的構造に対応してもよい。最良の成果を有するものとして、及び／又は最も効率的な方式で実行されるものとして、様々な技法及び／又はステップが推奨されてもよい。場合によっては、ステップのうち１つ又は複数が同じでもよい（たとえば、ステップ１及びステップ４）。こうしたステップでの予測されるタイミングは、様々な解剖学的タイプにおいて変化してもよい。たとえば、特定の解剖学的構造によって、処置内である特定のステップが相対的に困難となり、これにより、結果としてその特定のステップにかかる時間が相対的に長くなる場合がある。たとえば、ステップ１にかかる時間は、解剖学的タイプＣよりも、解剖学的タイプＡでは長くなる場合がある。様々なステップのタイプによっては、タイミングが異なる結果になる場合がある。たとえば、解剖学的タイプＡでのステップ２よりも、解剖学的タイプＣでのステップ２－Ａにかかる時間が長い場合がある。場合によっては、各ステップの一部（同じステップか、又は同等な段階での異なるステップ）の予測される期間が同じになる場合がある。

[0114] 場合によっては、ステップのタイミング及び／又は選択は、大規模なデータ・セットに基づいていてもよい。選択されるタイミング及び／又はステップには、許容可能な変動が存在してもよい。予測は、平均若しくは中央のタイミング、並びに／又は最も一般的に選択されるステップ（若しくは、最良の成果を有するステップ、及び／若しくは許容可能な成果で最も効率的に実行できたステップ）に基づいていてもよい。実施形態によっては、各ステップの予測されるタイミング及び／又は選択は、データ・セットが進化し、新規の技法がこの分野に出現するにつれて、時間が経つにつれて変化してもよい。予測されるタイミングは、同じ又は同様の解剖学的タイプなど、同じ又は同様の環境において具体的な処置を実行するように、実際の過去の時点に依存する場合がある。場合によっては、予測されるタイミングを生成するときには、医療従事者の専門知識若しくは経験、場所、設備、外科的処置のタイプ、使用されると予想される器具のタイプ、又は他の任意の要因など、他の環境を考慮に入れてもよい。実施形態によっては、予測時点は、トレーニング・データ・セットとして、これまでの実際の測定データを利用してもしなくてもよい、１つ若しくは複数の機械学習モデルの助けを借りて生成されてもよく、又はトレーニング・データ・セットとして生成されたデータを利用してもよい。

[0115] 任意選択として、医療関係者は、処置を実行する前に、及び／又は処置を実行している間にリアルタイムで、予測されるステップ及び／又はタイミングを見てもよい。或いは、医療関係者は、各ステップを見る必要がなく、自分自身の経験に従って各処置を実行してもよい。

[0116] 図６には、本発明の実施形態による、実際にはリアルタイムに生じるステップと比較される処置についての各予測ステップ間での比較の一例が示してある。たとえば、ビデオ分析システムは、医療処置を実行するための様々なステップの１組の予測されるタイミングを生成してもよい。前述の通り、各ステップ及び関連付けられたタイミングは、患者の解剖学的タイプに基づいて予測されてもよい。或いは、患者の解剖学的タイプに基づくことなく、ステップ及び／又はタイミングを提供してもよい。場合によっては、具体的な医療処置用の１組のステップが設定されてもよく、患者の解剖学的タイプに基づいてタイミングが予測されてもよい。

[0117] 図に示すように、様々なステップ（たとえば、ステップ１、ステップ２、ステップ３、ステップ４、及びステップ５）は、医療関係者が完了するための、予測される様々な時間の長さを有してもよい。各ステップの予測される長さは様々でもよい。たとえば、ステップ３にかかる時間は、ステップ２よりも短いと予測される場合がある。

[0118] 医療関係者が医療処置を実行している間（例示的なタイミング）、この医療関係者によって実行されるステップが認識されてもよい。各ステップの実行に関連付けられたタイミングが認識されてもよい。実施形態によっては、マシン・ビジョン技法を使用して、実行されているステップを認識してもよい。場合によっては、実行される予測ステップの前後関係の範囲内でビデオの分析が行われてもよい。ビデオ・フレームからの画像、オーディオ・データ、診療記録、医療関係者又は他の発信元が入力する情報を単独で又は組み合わせて使用して、行われているステップを認識してもよい。

[0119] 場合によっては、解剖学的特徴が認識及び検出されて、実行されているステップを認識するのに役立つことがある。たとえば、患者の身体の一部分の内部での様々な具体的特徴など、患者の身体の一部分は、実行されているステップを検出するのに役に立つ場合がある。使用される医療装置及び／又は医療品は、ビデオ画像から、又は医療関係者の入力に基づいて認識されてもよく、実行されているステップを認識するのに役立つ場合がある。特定のステップにおいては、ある特定のタイプの医療装置又は医療ツールが必要となる場合があり、使用されるこのツール及び／又は装置の識別情報が、実行されているステップを検出するのに役立つ場合がある。場合によっては、ステップを検出するのに、同様にオーディオ情報が役立つ場合もある。たとえば、医療関係者は、ステップを開始する前に、又はステップを実行している間に、自分が実行しようとしているステップを通知してもよい。場合によっては、医療関係者は、自分の動作が行われていることを口述してもよい。任意選択として、医療関係者は、他の医療関係者に支援又はツールを求めてもよく、これにより、開始されたステップを検出するのに役立つことのある情報が提供されてもよい。場合によっては、患者の診療記録が、開始されているステップを決定する際に役に立つことがある。これは、特定の患者にとって、実現可能でなく、又は望ましくない場合があるステップを排除するのに役立つことがある。

[0120] 各ステップが実行されているとき、そのタイミングが記録及び測定されてもよい。たとえば、ビデオ分析システムは、各ステップが開始しているのを検出すると、各ステップが行われている時点を書き留めてもよい。

[0121] タイミングは、いかなる所望の確度及び／又は精度で提供されてもよい。たとえば、このタイミングは、１０分以下、５分以下、３分以下、１分以下、３０秒以下、２０秒以下、１５秒以下、１０秒以下、５秒以下、３秒以下、１秒以下、０．５秒以下、０．１秒以下、０．０５秒以下、若しくは０．０１秒以下、又は任意のさらに高い精度に基づいて与えられてもよい。

[0122] 予測されるタイミングは、リアルタイムに発生する様々なステップにおける実際の（例示的な）タイミングと比較されてもよい。タイミングに著しい差が存在すると、その差にフラグを立ててもよい。場合によっては、医療関係者が処置を実行している間、この医療関係者には、リアルタイムに通知を提示してもよい。たとえば、差が検出されたとき、視覚による通知又はオーディオによる通知が行われてもよい。実施形態によっては、フラグを立てるためには、差が閾値に達する必要があってもよい。前もって、差の閾値を設定してもよい。この閾値は、絶対値（たとえば、分の数、秒の数など）及び／又は相対値（たとえば、ステップでの予測される時間に対する割合）に基づいて設定されてもよい。場合によっては、閾値は、収集される様々なデータ・セットからの標準偏差に依存する場合がある。たとえば、様々なデータ・セットを介してタイミングのばらつきが比較的大きい場合、さらに大きい閾値又は許容範囲を設けてもよい。この閾値は、固定されてもよく、又は調整可能でもよい。実施形態によっては、医療関係者、又は医療施設での別の個人（たとえば、同僚、監督者、管理者）が値を設定してもよい。実施形態によっては、単一の閾値を設けてもよい。或いは、複数レベルの閾値を設けてもよい。この複数の閾値レベルは、差の程度を決定するのに有用になる場合があり、結果として、医療関係者に様々なタイプの動作又は通知をもたらす場合がある。

[0123] この例に示すように、ステップ１は、特定の予測されるタイミングを有してもよく、実際には、予測されるのとほぼ同じ時間内に実行されてもよい。これにより、フラグの立つことがなくてもよい。別の例では、ステップ２は、特定の時間の長さの範囲内に行われると予想されてもよいが、実際には、著しく長い時間がかかる場合がある。著しいずれが生じると、この差にフラグを立ててもよい。これにより、医療関係者は、後にこの差を見直し、このステップになぜ予想よりも長い時間がかかったのかを把握できてもよい。これは、新規の技法を導入するのに、又は医療関係者が今後どのようにしたら、さらに効率的に実行できる場合があるのかについて、医療関係者にフィードバックするのに役立つことがある。

[0124] 場合によっては、医療関係者は、予測されるよりも速くステップを実行できる場合がある。これが起きると、教育目的で他の医療関係者に提供することが、役立つ情報となる場合がある。この情報には、他の医療関係者の役に立つ教育機会としてフラグを立ててもよい。

[0125] 図７には、本発明の実施形態による、ビデオの関連部分が識別され、視聴するために表示される一例が示してある。

[0126] 処置が行われている間、ビデオは、医療関係者へリアルタイムに通知する際に役立つ場合がある。ビデオはまた、処置が完了した後に、医療関係者に情報を提示するのに役立つ場合がある。医療関係者は、処置が完了した後に、この処置を見直したいと考える場合がある。これは、処置が完了した直後に行われてもよく、又はしばらく経って行われてもよい。実施形態によっては、他の個人も同様に、処置を見直そうと考える場合がある。たとえば、同僚、監督者、及び／又は管理者も同様に、処置を見直すことができてもよい。

[0127] 処置が非常に長くなる場合があるとき、ビデオの全体をその生の形で見直すと、不要な時間が大幅にかかる場合がある。ビデオの関連部分のみをユーザに示す簡略化された方法を提供し、したがって時間を節約することが望ましい場合がある。実施形態によっては、ビデオの１つ又は複数の関連部分を識別してもよい（たとえば、パートＡ、パートＢ、パートＣ、パートＤ）。

[0128] 実施形態によっては、ユーザは、外科的処置中に、この関連部分をリアルタイムに手動で識別してもよい。たとえば、ユーザは、口頭で命令し、ジェスチャ・ベースで入力し、又は処置の特定の部分が関連しており、これにフラグを立てるべきであることを表すタッチスクリーンに直接入力してもよい。

[0129] 任意選択として、ビデオ分析システムは、外科的処置中に、１つ又は複数の関連部分をリアルタイムに自動で決定してもよい。ビデオ分析システムは、１つ又は複数のプロセッサの助けを借り、ユーザ入力を必要とすることなく、自動的に決定することができる。たとえば、実行されるステップが予測されるステップと実際には異なるとき、実行されるステップに対応するビデオの一部分には、関連するものとして自動的にフラグが立てられてもよい。実行されるステップにかかる時間の長さが、そのステップでの予測される時間の長さと比較して著しく異なる時間の長さであるとき、実行されるステップに対応するビデオの一部分には、関連するものとして自動的にフラグが立てられてもよい。本明細書において他で記載されているように、ステップでの予測される時間と、ステップにかかる実際の時間との間のタイミングの差が閾値を超えると、このステップに対応するビデオの一部分には、関連するものとして自動的にフラグが立てられてもよい。

[0130] たとえば、ステップにかかる時間が、予測される時間よりもはるかに長いとき、このステップには、関連するものとしてフラグを立てることが望ましい場合がある。医療関係者又は他の個人は、ステップを見直し、このステップに、なぜ予測される時間よりもはるかに長い時間がかかったのか決定しようと考えてもよい。場合によっては、相対的に長い時間がかかるステップは、医療関係者がそのステップを実行するのに相対的に多くの時間を必要とする事象又は問題が発生したことを示してもよい。場合によっては、相対的に長い時間がかかるステップは、医療関係者が最も効率的な技法を使用していないか、又は特定のステップに問題があることを示している場合があり、これによって追加の見直しを提示するのに役立つことがある。

[0131] 場合によっては、ステップにかかる時間が、予測される時間よりも著しく短いとき、このステップには、関連するものとしてフラグを立てることが望ましい場合がある。医療関係者又は他の個人は、ステップを見直し、どのようにしてこの医療関係者が特定のステップにおいて時間を節約できたかを理解したいと考える場合がある。これにより、同様の技法を模倣したいと考えることのある他の個人の役に立つ教育機会を提供することができる。これにより、医療関係者がもっていることのある特定のスキル一式の認識を提供することもできる。

[0132] 場合によっては、ビデオ分析システムは、他の要因に基づいて、１つ又は複数の関連部分を自動的に決定してもよい。たとえば、画像分析を使用して、医療処置中に起きた注目すべき出来事又は面倒な問題を検出してもよい。対応するこのような部分には、関連するものとしてフラグを立ててもよい。

[0133] 関連するものとしてフラグが立てられたビデオの各部分は、「ハイライト」の一部分としてビデオの前面に表示されてもよい。ハイライトの区画は、ビデオの残りから切り離して提供されてもよく、又はビデオ全体の前に再生されてもよい。ハイライトの区画は、関連するものとしてフラグが立てられた部分を含んでもよい。ハイライトの区画は、関連する部分を、発生した順に表示してもよい。これにより、医療関係者及び／又は他の個人は、ビデオの最も関連性の高い部分を見ることによって、時間を節約できるようになる場合がある。ビデオの関連する部分には、自動的にフラグが立てられて表示されてもよく、したがって時間を節約することになる。

[0134] 実施形態によっては、単一のカメラを使用して、分析されている画像を取り込んでもよい。場合によっては、複数のカメラを使用して、分析されている画像を取り込んでもよい。複数のカメラが、同時に画像を取り込んでもよい。場合によっては、複数のカメラからの画像を並べて表示してもよく、又はアレイ状に表示してもよい。複数のカメラからの画像を、同じ画面に同時に示してもよい。ビデオの一部分に、関連するものとしてフラグが立てられるとき、同時に取り込まれた、カメラのすべてからの画像が表示されてもよく、又一緒に示されてもよい。他の例では、関連するものとしてフラグが立てられた、カメラからのビデオのみが表示され、示されてもよい。実施形態によっては、ビデオ分析システムは、関連するものとしてフラグが立てられた、所与の期間での処置の最良のビューを表示するカメラを選択してもよい。これは、関連するものとしてフラグが立てられたビデオを表示したカメラと同じカメラ、又は別のカメラでもよい。

[0135] 図８には、本発明の実施形態による、１つ又は複数のビデオ・カメラによって取り込まれた画像を表示し、リアルタイムに医療従事者をサポートすることのできるユーザ・インターフェース８００の一例が示してある。ユーザ・インターフェースは、医療コンソール上のローカル通信装置などの通信装置に表示されてもよい。たとえば、処置を実行する医療関係者の場所にある装置の画面に、ユーザ・インターフェースを表示してもよい。このユーザ・インターフェースは、遠隔通信装置の画面に表示されてもよい。

[0136] ユーザ・インターフェースは、患者の１つ又は複数の画像８１０の表示を含んでもよい。患者の１つ又は複数の画像は、患者の場所にある１つ又は複数のカメラの助けを借りて取り込まれてもよい。前述の通り、医療コンソール上又は医療コンソール外の１つ又は複数のカメラを利用して、患者の画像を取り込み、又は関連する他の任意の画像を提供してもよい。

[0137] 場合によっては、所与の瞬間に、単一の画像が医療関係者に表示されてもよい。医療関係者は、様々なカメラからの様々なビューの間で切り替えてもよい。各画像は、順に表示されてもよい。

[0138] 他のいくつかの場合には、所与の瞬間に、同時に複数の画像が医療関係者に表示されてもよい。たとえば、複数の画像を、横列状、縦列状、及び／又はアレイ状に表示してもよい。画像を、並べて同時に表示してもよい。場合によっては、相対的に大きい画像の中に、相対的に小さい画像を挿入してもよい。ユーザは、相対的に小さい画像を選択して、この相対的に小さい画像を拡大し、相対的に大きい画像を縮小してもよい。任意の数の画像を同時に表示してもよい。たとえば、２つ以上、３つ以上、４つ以上、５つ以上、６つ以上、８つ以上、１０以上、又は２０以上の画像を同時に表示してもよい。表示される様々な画像は、様々なカメラからの画像を含んでもよい。カメラは、同時に様々な領域にライブストリーミングしてもよい。

[0139] 場合によっては、画像はまた、補助装置からの画像を含んでもよい。たとえば、１つ又は複数の補助装置を、医療コンソールに接続してもよい（たとえば、医療用コンソールにプラグで接続してもよい）。カメラからの画像とともに、補助装置に関連する画像が表示されてもよい。場合によっては、補助装置には、ＥＣＧモニタ、内視鏡、腹腔鏡、又は他の任意のタイプの装置が含まれ得る。

[0140] ユーザ・インターフェースは、追加情報８２０の表示を含んでもよい。この追加情報は、医療関係者によって実行されている、又は実行されようとしている処置に関連してもよい。この追加情報は、医療処置に関連するステップを含んでもよい。たとえば、医療処置を実行するために予測されるステップのリストが表示されてもよい。このステップのリストは、第１のステップがリストの先頭に表示される時系列順で提示されてもよい。実施形態によっては、各ステップの単一のリストを提示してもよい。実施形態によっては、リストは、サブリストなどを有してもよい。たとえば、リストは、入れ子の形式で表示されてもよく、ステップは、どのようにして各ステップを実行するかの詳細を含む、第２のリストに対応してもよい。各ステップでのリスト及びサブリストの、任意の数の層を提示してもよい。

[0141] 実施形態によっては、ビデオ分析システムは、医療関係者が各ステップをいつ実行したかを認識できてもよい。実施形態によっては、医療関係者があるステップ（又は、サブステップ）を実行したことをシステムが検出すると、追加情報が更新されてもよい。ステップの本明細書でのいかなる説明も、いかなるレベルのサブステップに適用されてもよい。たとえば、各ステップが完了するとき、完了したステップを視覚的に区別することのできる、チェックマーク又は他のタイプの視覚インジケータが提示されてもよい。場合によっては、完了したステップは、追加情報の区画から視覚的に消えてもよい。他の実施形態では、医療関係者は、いつステップが完了したかを示す入力を提供してもよい。

[0142] ステップ・リストをリアルタイムに更新することは、医療関係者が医療処置全体を通して進捗状況を追跡するのに役立つ場合がある。実施形態によっては、視覚インジケータ（たとえば、チェックマーク、ハイライト、色違い、アイコン、取消し線、下線）を提示して、完了したステップと、まだ完了していないステップとを視覚的に区別してもよい。場合によっては、医療処置中に検出されたステップ又は症状によっては、予測又は推奨されるステップが変更されてもよい。ビデオ分析システムは、このような症状がいつ発生したかを自動的に検出してもよい。たとえば、医療関係者が誤って動脈を切断する場合、各ステップを更新して、切断した動脈をまずどのようにして処置するかについて推奨を提示した後に、処置の残りに進んでもよい。各ステップを、リアルタイムに更新してもよい。

[0143] 本明細書において他で記載されているように、医療処置の予測されるステップは、患者の解剖学的構造に基づいて生成されてもよい。実施形態によっては、医療処置の予測されるステップは、利用可能な器具若しくは検出された器具、状況認知からの情報、処置を実行する医療関係者の識別情報、利用可能な遠隔サポート、患者のリアルタイムの状態、又は他の任意の要因などの事情に基づいて生成されてもよい。予測されるステップは、大規模なデータ・セットからの情報を利用してもよく、このデータ・セットのリアルタイムの更新に基づいてリアルタイムに更新されてもよい。予測されるステップは、患者の状態に関連する更新、又は患者について収集される新規の情報を認識してもよく、それに応じてリアルタイムに更新されてもよい。

[0144] 予測されるステップは、新規の処置、外科手術を絶えず学習し、及び／又は後に続く外科手術で使用できる新規のデータ・セットを追加することのできる、機械学習を利用してもよい。たとえば、有効なものとして新規の技法がデータ・セットに現れている場合、予測されるステップを更新して、この新規の技法を利用してもよい。予測されるステップは、医療関係者の外科手術ナビゲータのように機能することができ、医療関係者が新規の処置を学習し、瞬時処置を実行するのに役立つことができる。

[0145] 予測されるステップを更新するのに使用できるデータ・セットは、複数の医療コンソールからの情報を利用してもよい。複数の医療コンソールは、同じ医療施設にあってもよく、又は異なる医療施設にあってもよい。データ・セット及び／又はデータ・セットからのインテリジェンスは、あらゆる医療コンソールにまたがって（医療施設内で、又は複数の医療施設にまたがって）リアルタイムに共有されてもよい。この共有は、クラウド・コンピューティングのインフラストラクチャを利用して行われてもよく、又はピアツーピア（Ｐ２Ｐ）通信を利用して行われてもよい。本明細書において提示されるシステム及び方法は、データをストリーミングするためのいくつかの異なる方式として、リアルタイム・ストリーミング・プロトコルに加えて、ＨＴＴＰ ＡＢＲストリーミング・プロトコルの助けを借りて、Ｐ２Ｐ、クライアント／サーバ、ハイブリッド（Ｐ２Ｐマルチキャスト＋クライアント・サーバ）、Ｐ２Ｐマルチキャスト、サイマルキャスト、マルチキャストなど、任意のタイプのインフラストラクチャを利用してもよい。

[0146] 場合によっては、追加情報は、タイミング情報を含んでもよい。たとえば、各ステップでの予想されるタイミングは、各ステップと視覚的にマッピングされた方式で表示されてもよい。たとえば、予測されるステップにおいては、各ステップでの予測される時間が表示されてもよい。完了したステップにおいては、ステップを完了するための時間が表示されてもよい。場合によっては、完了したステップにおいては、ステップを実行するための予測される時間とともにステップを完了するための時間が表示されてもよい。ステップを完了するための、予測される時間と実際の時間との比較が提示されてもよい。実施形態によっては、この比較は、数値、少数、百分率、ビジュアル・バー、アイコン、色、線グラフ、又は他の任意のタイプの比較として提示されてもよい。

[0147] タイミング情報は、総合的なタイミング情報を含んでもよい。たとえば、各ステップでのタイミング情報を示す代わりに、又はそれに加えて、総合のタイミング情報又は進捗状況を表示してもよい。たとえば、医療関係者が、予測される時間よりも遅れているか、又は進んでいるかの合計時間が表示されてもよい。場合によっては、この合計時間は、時間値（たとえば、時、分、秒）として、又は相対値（たとえば、予測される時間若しくは実際の時間の割合など）として表示されてもよい。場合によっては、バーなどの視覚的表示が提示されてもよい。この視覚的表示は、タイムラインを表すバーを含んでもよい。このバーは、医療処置を完了するための合計の予測時間を示してもよい。各ステップでの時間の予測される内訳は、このバーに示されても、示されなくてもよい。医療関係者の現在の労働時間は、バーに関連して示されてもよい。医療処置を完了するための更新された予測時間はまた、第２のバーとして表示されてもよく、又は第１のバーと部分的に重なっていてもよい。全体的なタイミング又は進捗の情報は、視覚的なやり方で医療関係者に提示されてもよい。

[0148] 追加情報は、医療関係者が処置を実行するときの、この医療関係者にとっての任意のタイプの有益な情報を含んでもよい。医療コンソールは、医療関係者を支援することのできる、スマート・コンソールの役割を果たしてもよい。場合によっては、追加情報は、患者に関する診療記録を含んでもよい。提示されるシステム及び方法は、患者用の電子カルテ（ＥＭＲ）に自動的にインターフェースし、医療関係者が処置を実行しているときに関連情報を引き出してもよい。スマート・コンソールは、自動音声認識（ＡＳＲ）を用いて絶えず聞き取り、関連する詳細を文書のデータベースから引き出してもよい。実施形態によっては、オーディオ・エンハンスメント・モジュールを使用して、口頭での命令を収集するのに役立ててもよい。スマート・コンソールは、医療関係者による問合せ又は要求に関する情報を、リアルタイムに引き出してもよい。当技術分野では知られているか、又は後に開発される、任意の音声認識技法を利用してもよい。

[0149] 実施形態によっては、医療関係者に有益な情報は、ある特定のステップをどのようにして実行するのかについてのビデオ又は指示を含んでもよい。たとえば、医療関係者が特定のステップに苦労している場合、この医療関係者は、トレーニング・ビデオ又は一連の指示を要求して、そのステップを実地検証してもよい。場合によっては、画像を使用して、医療関係者がそのステップを実地検証するのに役立ててもよい。医療関係者は、医療装置又は医療品を使用するのが困難な場合に、本明細書において他で記載されているように、ベンダ担当者に口頭で助けを求めてもよい。場合によっては、医療関係者は、医療装置又は医療品を使用するのが困難な場合に、トレーニング・ビデオ又は一連の指示を要求して、その医療装置又は医療品の使用を実地検証してもよい。

[0150] 図９には、本発明の実施形態による、個人データが取り除かれたときのユーザ・インターフェース９００の一例が示してある。実施形態によっては、ビデオによって取り込まれる画像は、患者に関する個人情報を含む場合がある。たとえば、カルテ又は文書には、患者の氏名、生年月日、社会保障番号、住所、電話番号、保険情報、又は他の任意のタイプの個人情報が載っている場合がある。実施形態によっては、ビデオから、患者用の個人情報を編集することが望ましい場合がある。場合によっては、規則、手順、又は法律の、１つ又は複数のセットに適合するために、ビデオに示される情報を匿名扱いにすることが望ましい場合がある。場合によっては、ビデオに示されるあらゆる情報は、医療保険の相互運用性と説明責任に関する法律（ＨＩＰＡＡ準拠）に準拠してもよい。

[0151] 図に示すように、ユーザ・インターフェースは、カルテ又は１組の診療記録９１０など、患者に関する情報を示してもよい。このカルテ又は診療記録には、処置中にアクセスされた物理的な文書及び／又は電子文書が含まれ得る。この情報には、患者に関する個人情報又は機密情報が含まれ得る。このような情報は、ビデオ分析システムによって自動的に識別されてもよい。ビデオ分析システムは、物体認識及び／又は文字認識を使用して、表示される情報を識別できてもよい。場合によっては、語認識技法を使用して、情報を分析してもよい。任意選択として、自然言語処理（ＮＬＰ）アルゴリズムを使用してもよい。場合によっては、個人情報が識別されると、この個人情報は、自動的に取り除かれる場合がある（９１５ａ、９１５ｂ）。個人情報の本明細書でのいかなる説明も、患者に関する任意の機密情報、又は患者の個人的特徴を識別若しくは提示することのある任意の情報を含んでもよい。

[0152] ユーザ・インターフェースは、１つ又は複数の画像９２０、９３０を含んでもよい。この画像は、本明細書において他で記載されているように、１つ又は複数のカメラによって取り込まれるビデオを含んでもよい。この画像は、本明細書において他で記載されているように、補助装置からのデータ又は画像を含んでもよい。場合によっては、画像のうち１つ又は複数は、取り除かなければならなくなることのある個人情報９２５を含む場合がある。場合によっては、患者での識別特徴（たとえば、患者の顔、医療用腕輪など）が、ビデオ・カメラで取り込まれてもよい。１つ又は複数の画像を分析して、識別特徴が画像内に取り込まれたときに、そのことを自動的に検出し、この識別特徴を取り除いてもよい。場合によっては、物体認識を使用して、個人情報を識別してもよい。たとえば、個人の顔又は医療用腕輪の認識を利用して、取り除かれることになる個人情報を識別してもよい。場合によっては、患者のカルテ又は診療記録が、ビデオ・カメラによって取り込まれてもよい。患者のカルテ又は診療記録での個人情報は、自動的に検出され、取り除かれてもよい。

[0153] 編集し、削除し、覆い、難読化することによって、又は個人情報を隠すことのできる他の任意の技法を使用して、個人情報を取り除いてもよい。場合によっては、本明細書において提示されるシステム及び方法は、取り除かなければならない表示済み情報のサイズ及び／又は形状を識別できてもよい。編集の対応するサイズ及び／又は形状を提示してもよい。場合によっては、画像全体にわたってマスクを設けて、個人情報を覆ってもよい。このマスクは、対応する形状及び／又はサイズを有してもよい。

[0154] したがって、記録及び／又は表示される任意のビデオは、患者の個人情報を匿名扱いにしてもよい。場合によっては、医療関係者の場所において（たとえば、手術室内で）表示されるビデオは、リアルタイムに、個人情報を編集することなく情報のすべてを示してもよい。或いは、医療関係者の場所において表示されるビデオは、取り除かれる個人情報を有する場合がある。

[0155] 場合によっては、医療関係者の場所の外部で（たとえば、手術室の外部又は医療施設の外部で）、１人又は複数人の個人にビデオを表示してもよい。場合によっては、遠隔で医療処置をサポートすることのできる、１人又は複数人の個人（たとえば、他の医療従事者、ベンダ担当者）にビデオを表示してもよい。場合によっては、処置を見ることのできる数多くの個人に、ビデオをブロードキャストしてもよい。こうした個人は、トレーニング又は評価の目的で、処置を見ていてもよい。１人又は複数人の個人にライブストリーミングされるビデオは、自動的にデータを匿名扱いにしてもよい。手術室の外部にいる個人が、その個人の任意の個人情報を見ることがないように、個人情報はリアルタイムに取り除かれてもよい。

[0156] 任意選択として、しばらく経ってから、ビデオを見て、再生してもよい。場合によっては、しばらく経ってビデオが提示されると、個人情報は、自動的に取り除かれてもよく、及び／又は匿名扱いにされてもよい。

[0157] ビデオ分析システムは、任意選択としてスマート翻訳を利用してもよい。スマート翻訳は、ドメイン特有の言語を用いて様々な言語翻訳を強化するのに使用できる、治療特有の言語モデルを構築してもよい。たとえば、特定のタイプの処置又は医療分野においては、様々な専門語が使用される場合がある。異なる医療関係者は、同じ意味に異なる用語を使用することがある。本明細書において提示されるシステム及び方法は、使用される様々な用語を認識し、言語を基準化することができてもよい。

[0158] これは、医療処置中に医療関係者が話す命令に適用されてもよい。医療関係者は、サポートを求めてもよく、又は口頭による他の命令を発してもよい。医療コンソール又は他の装置は、スマート翻訳を使用してもよい。これにより、言語が標準でない場合でも、医療関係者の発する命令を、医療コンソール及び他の装置が認識するのに役立つ場合がある。

[0159] 場合によっては、処置の筆記録が形成されてもよい。オーディオ・エンハンスメント・モジュールなど、１つ又は複数のマイクロホンを使用して、オーディオを収集してもよい。医療チームの１人又は複数人のメンバが、処置中に話す場合がある。場合によっては、これは、処置に関連する言語を含むことがある。スマート翻訳は、医療行為に適合するのに使用される専門用語の翻訳を自動的に含んでもよい。たとえば、ある特定の処置において、ある標準の用語が使用される場合がある。医療関係者が異なる用語を使用している場合でも、筆記録は標準的な専門用語を参照してもよい。実施形態によっては、この筆記録は、原語並びに翻訳の両方を含んでもよい。

[0160] 場合によっては、１つ又は複数の通信装置を介して個人が互いに話しているとき、スマート翻訳は、必要に応じて標準的な専門用語を自動的に提示してもよい。あるユーザが別のユーザとの間で話したり、タイプ入力したりして、標準外の専門用語を利用している場合、スマート翻訳は、言語を標準的な専門用語に自動的に適合させてもよい。場合によっては、各医療分野又は医療専門性が、それ自体の１組の標準的な専門用語を有してもよい。標準的な専門用語は、実施される処置の前後関係の範囲内で提示されてもよい。

[0161] 任意選択として、本明細書において提示されるシステム及び方法は、複数の言語をサポートしてもよい。たとえば、手術室が米国内にあって、医療関係者が英語を話す場合がある。遠隔サポートを提供する個人は、ドイツにいる場合があり、ドイツ語を話してもよい。本明細書において提示されるシステム及び方法は、様々な言語間で翻訳することができる。各言語において標準的な専門用語が使用されるように、スマート翻訳を利用してもよい。各個人によって様々な単語又は言い回しが使用されている場合でも、スマート技術によって、翻訳される単語が、医療処置について各言語での標準的な専門用語に適合することが確認できる。

[0162] スマート翻訳は、医療コンソールにおいてローカルにサポートされてもよい。スマート翻訳は、医療コンソール上で行われてもよい。或いは、スマート翻訳は、１つ又は複数の遠隔サーバにおいて行われてもよい。スマート翻訳は、クラウド・コンピューティングのインフラストラクチャを介して実装されてもよい。たとえば、スマート翻訳は、クラウド内で行われ、関連するコンソールに戻されてもよい。

[0163] 図１０には、本発明の実施形態による、医療関係者の能力を評価するのに使用できる要因の例を示す。実施形態によっては、処置が完了した後に、医療関係者の能力を評価することが望ましい場合がある。これは、医療関係者へのフィードバックとして役に立つ場合がある。これにより、医療関係者は、必要に応じて分野での改善に集中できるようになる場合がある。医療関係者は、自分の強み及び弱みを知りたいと考えることがある。医療関係者は、自分自身の有効性及び効率を改善するためのやり方を見つけたいと考えることがある。

[0164] 実施形態によっては、医療関係者の能力を、他の個人が評価することが望ましい場合がある。たとえば、医療施設の管理者、又は医療関係者の同僚若しくは監督者は、医療関係者の能力を評価したいと考えることがある。実施形態によっては、医療関係者の能力評価は、個々の医療関係者を評価するのに役立つ場合があり、又は個々のメンバの集合体として、特定のグループ若しくは部門を評価する場合もある。同様に、医療施設又は医療行為が、個々のメンバの集合体として評価される場合がある。

[0165] 医療関係者は、どんなやり方で評価されてもよい。一例では、特定の医療処置について、医療関係者にスコア（１０３０）が与えられる場合がある。このスコアは、数値、レター・グレード、定性的評価、定量的評価、又は医療関係者の能力についての他の任意のタイプの測定値でもよい。スコアの本明細書でのいかなる説明も、他の任意のタイプの評価に適用してもよい。

[0166] 医療従事者のスコアは、１つ又は複数の要因に基づいている場合がある。たとえば、医療従事者の能力を評価する際の要因として、タイミング（１０００）が提示される場合がある。たとえば、医療関係者が、医療処置又は医療処置のある特定のステップを実行するのに、予想よりもはるかに長い時間がかかっている場合、このことにより、この医療関係者の評価に不利に反映される場合がある。医療関係者が、医療処置を完了するまでの予想時間から大幅に又は著しくずれている場合、このことは、この医療関係者のスコアに悪影響を及ぼすことがある。同様に、医療関係者が医療処置、又は医療処置のある特定のステップを実行するのにかかる時間が予想される時間よりも短い場合、このことは、医療関係者の評価にプラスの影響を与える場合がある。場合によっては、ずれが医療関係者のスコアにプラス又はマイナスの影響を及ぼすのに十分なほど著しくなる前に、閾値値が提示されてもよい。場合によっては、ずれが大きくなるほど、そのタイミングが医療関係者のスコアに及ぼす影響は大きくなる。たとえば、処置を完了すための医療関係者の時間が、予想時間を３０分超過する場合、このことにより、処置を完了するための医療関係者の時間が、予想時間を１０分超過する場合よりも、この医療関係者のスコアに及ぼす影響が相対的にマイナスになる場合がある。同様に、医療関係者が処置を３０分早く完了する場合、このことにより、処置を完了するための医療関係者の時間が、予想時間を５分下回る場合よりも、この医療関係者のスコアに及ぼす影響が相対的にプラスになる場合がある。

[0167] 医療関係者の能力を評価するために、他の要因を使用してもよい。たとえば、処置の有効性（１０１０）又は成果は、医療関係者の評価に影響を及ぼす要因となり得る。面倒な問題が生じる場合、又は医療関係者がミスを犯す場合、このことにより、医療関係者のスコアに悪影響を及ぼす場合がある。同様に、医療関係者の処置が面倒でない場合、このことにより、医療関係者のスコアに及ぼす影響はプラスになる場合がある。場合によっては、医療関係者の能力を評価するとき、患者の回復を考慮に入れてもよい。

[0168] 考慮に入れてもよい別の要因はコストである。たとえば、医療関係者が、予想を超える多くの医療品又は医療装置を使用する場合、これによってコストが増加し、医療関係者の評価に悪影響を及ぼす場合がある。たとえば、医療関係者が、定期的に物を落とす場合、このことにより、この医療関係者の評価に不利に反映される場合がある。同様に、医療関係者が予想を超える多くのリソース（たとえば、装置、製品、薬物、器具など）を使用する場合、コストが上昇する場合がある。同様に、処置に予想を超える時間がかかると、対応するコストも上昇する場合がある。

[0169] 本明細書において提示されるシステム及び方法は、大規模なデータ・セットにアクセスする場合がある。これにより、大規模な個人の集団と、医療関係者の能力とを比較できることになる場合がある。これにより、医療関係者が改善できるところをさらに正確に知らしめ、又は医療関係者の強みの分野を特定することができる。ビデオ分析システムは、数多くの医療施設からの情報にアクセスして、ステップ及び／若しくはタイミング、又は処置の成果を予測することができてもよい。医療関係者の能力は、データが収集される集団全体に対して評価されてもよい。任意選択として、医療関係者の能力は、医療施設の残り、医療関係者のグループ又は部門に対して評価されてもよい。

[0170] 医療関係者のスコア付けは、状況認知の様々な要素を考慮に入れてもよい。たとえば、分析済みのビデオは、医療関係者が処置を実行している際の事情及び環境についての情報を含んでもよい。医療関係者のスコアを決定するとき、この事情及び環境を考慮に入れてもよい。たとえば、建物内で緊急事態が発生し、医療関係者がステップを実行するのに比較的長い時間がかかった場合、医療関係者が作業していた事情においては、時間が比較的長くても医療関係者のスコアに悪影響を及ぼすことがなくてもよい。本明細書において他で記載されている機械学習の技法を使用して、状況認知を提示し、医療関係者の能力を評価するのに役立ててもよい。機械学習の技法は、どんな環境が医療関係者の制御外にあるのか、又どんな環境が医療関係者の制御内にあるかに基づいて、事情を分析できてもよい。このような様々なタイプの環境は、互いに区別されてもよい。

[0171] 実施形態によっては、医療関係者は、処置中に１人又は複数人の遠く離れた個人と通信してもよい。場合によっては、遠く離れた個人は、ベンダ担当者、別の医療従事者、ソーシャルワーカー、又は他の任意の個人でもよい。

[0172] 医療関係者は、ベンダ担当者がサポートする医療品を使用してもよい。ビデオ分析システムにより、ベンダは、医療処置中に遠隔のテレプレゼンスを実現し、必要に応じて医療品をサポートできるようになってもよい。医療関係者は、１人又は複数人の追加の医療従事者と協議してもよい。たとえば、ビデオ分析システムにより、医療従事者は、医療処置中に遠隔のテレプレゼンスを実現できるようになってもよい。遠く離れた個人の本明細書でのいかなる説明も、医療関係者が連絡を取り合うことのできる任意のタイプの個人に適用してもよい。

[0173] 遠く離れた個人の本明細書でのいかなる説明も、医療処置中にサポートすることのできる、他の任意のタイプの個人に適用してもよい。たとえば、遠く離れた個人の本明細書でのいかなる説明もまた、ベンダ担当者、外部の医療専門家すなわち専門家、コンサルタント、技能者、製造業者、財政支援者、ソーシャルワーカー、又は他の任意の個人に適用してもよい。

[0174] 医療品は、１つ又は複数のベンダから提供されてもよい。通常、ベンダは、医療品を提供するために医療施設と提携してもよい。ベンダは、医療品を製造及び／又は販売する企業などの団体でもよい。ベンダには、医療装置を使用する職員にサポートを提供できることがある担当者がいてもよい。ベンダ担当者（製品専門家又は装置担当者として知られている場合もある）は、１つ又は複数の特定の医療品について精通していてもよい。ベンダ担当者は、医療品について抱くことのあるいかなる疑問についても、医療関係者（たとえば、外科医、外科助手、医師、看護師）を支援することができる。ベンダ担当者は、特定の医療品のサイジング又は様々なモデルの選択に役立つことができる。ベンダ担当者は、医療品の機能に役立つことができる。ベンダ担当者は、医療関係者が製品を使用する手助け、又は生じる場合のある任意の問題にトラブル対応する手助けをすることができる。こうした疑問は、医療関係者が製品を使用しているときに、リアルタイムで生じる場合がある。たとえば、外科医が手術室で外科手術を行っている間に、医療品についての疑問が生じる場合がある。従来、医療担当者は、医療関係者がいる第１の場所に配置されてきた。しかし、医療処置の場所に医療担当者が出向く必要が生じるので、これには時間のかかる場合がある。次に、医療担当者は同席していてもよく、ただし、この医療担当者の助けが必ずしも必要とは限らないか、又は非常に限られた時間しか必要とされないこともある。この場合、医療担当者は、別の場所に移動しなければならない場合もある。医療担当者が、第１の場所で必要に応じて遠隔で職員と通信することができると有利になることがある。

[0175] 図１１には、本発明の実施形態による、複数の遠く離れた個人が、複数の医療施設と通信できてもよいシステムの一例が示してある。

[0176] 様々な医療施設１１１０ａ、１１１０ｂ、１１１０ｃが設けられてもよい。この医療施設は、同じタイプでもよく、又は異なるタイプでもよい。たとえば、この医療施設には病院が含まれ得る。

[0177] １つ又は複数のベンダが、様々な医療施設に医療品を提供してもよい。たとえば、第１のベンダ企業が、第１の医療施設及び第２の医療施設に、１つ又は複数のタイプの医療品を提供してもよい。第２のベンダ企業が、第１の医療施設及び第２の医療施設に、１つ又は複数のタイプの医療品を提供してもよい。ベンダ企業は、様々な医療品のサポートを提供できる、１人又は複数人のベンダ担当者１１２０ａ、１１２０ｂ、１１２０ｃを提供してもよい。ベンダ担当者は、１つ以上、複数の医療施設にサポートを提供してもよい。ベンダ担当者は、それぞれの遠隔通信装置１１３０ａ、１１３０ｂ、１１３０ｃを利用してもよい。ベンダ担当者の本明細書でのいかなる説明も、他の任意のタイプの遠く離れた個人に適用してもよい。医療品の本明細書でのいかなる説明も、サポート及びコンサルティングのサービスなど、遠く離れた個人が提供する任意のタイプのサービスに適用してもよい。

[0178] 図に示すように、様々な遠く離れた個人１１２０ａ、１１２０ｂ、１１２０ｃは、様々な医療施設１１１０ａ、１１１０ｂ、１１１０ｃをサポートしてもよい。このようなサポートは、他の遠く離れた個人と重複していてもよく、又は重複していなくてもよい。このようなサポートは、同様の製品若しくは異なる製品、又は同様の医療処置若しくは異なる医療処置について重複する場合がある。図に示すように、遠く離れた個人が複数の様々な医療施設をサポートしているとき、遠く離れた個人が遠隔でサポートできるようにすることにより、有利には、この遠く離れた個人の時間が大幅に節約できる。

[0179] 遠く離れた個人が適切な医療関係者と通信し、サポートすることをさらに効率よく容易に改善するために、通信を容易にするシステム及び方法が本明細書に提示される。医療施設及び遠く離れた個人は、本明細書において提示される通信システム及び通信方法を利用して、遠く離れた個人の遠隔サポートを実現可能にする、容易になった通信を利用することができる。

[0180] 図１２には、本発明の実施形態による、所与の実体における様々な装置間での通信の一例が示してある。前述の通り、１つ又は複数の担当者用遠隔通信装置１２１０ａ、１２１０ｂ、１２１０ｃは、１つ又は複数のローカル通信装置１２２０ａ、１２２０ｂ、１２２０ｃと通信してもよい。遠隔通信装置を遠く離れた個人が利用してもよい。ローカル通信装置は、医療処置の現場（たとえば、病院の手術室）において、任意選択により医療関係者が利用してもよい。

[0181] 実体１２３０は、遠隔通信装置とローカル通信装置の間の通信を容易にすることができる。実体は、遠く離れた個人及び／又は医療施設とは異なる第三者でもよい。実体は、通信システムを実行又は運用してもよい。通信簡易化実体は、任意選択により、通信を容易にするためのプラットフォーム及び／又はインフラストラクチャを設けてもよい。場合によっては、通信簡易化実体は、通信サービスを提供するためにクラウド・コンピューティング・インフラストラクチャを利用してもよい。この実体は、任意選択により、通信を容易にすることができるソフトウェア及び／又はアプリケーションを提供してもよい。この実体は、ローカル通信装置及び遠隔通信装置が、それを介して接続できるポータルを提供してもよい。遠隔通信装置とローカル通信装置の間の通信を容易にすることができる、コード、論理、又は命令を含む、有形で非一時的なコンピュータ読取り可能媒体が提供されてもよい。

[0182] 通信は、１つ又は複数のローカル通信装置によって開始されてもよい。たとえば、１つ又は複数のローカル通信装置は、１つ又は複数の遠隔通信装置との通話又は通信を開始してもよい。遠隔通信装置は、この通信を受け入れたり、拒否したり、及び／又は無視したりすることができてもよい。さらに、及び／又は代替的に、１つ又は複数の遠隔通信装置によって通信が開始されてもよい。たとえば、１つ又は複数の遠隔通信装置は、１つ又は複数のローカル通信装置との通話又は通信を開始してもよい。ローカル通信装置は、この通信を受け入れたり、拒否したり、及び／又は無視したりすることができてもよい。

[0183] 本明細書に記載の通り、実体は、ビデオ分析システムを操作してもよい。この実体は、様々な場所での１つ又は複数のカメラからビデオを受け取ってもよい。本明細書において規定されるように、ビデオ分析システムは、１つ又は複数のビデオ分析ステップを実行してもよい。

[0184] 実施形態によっては、複数の遠隔ユーザが仮想セッション又は仮想ワークスペースに参加して、外科的処置の１つ又は複数のビデオをまとめて見て、この１つ又は複数のビデオに基づいて互いに協働してもよい。本明細書において他で記載されているように、この１つ又は複数のビデオは、ハイライト・ビデオを含んでもよい。このような協働は、たとえば、第１の遠隔の専門家が、１つ又は複数のビデオの一部分を記録すること、１つ又は複数のビデオの記録済み部分の上にテレストレーションすること、及び１つ又は複数のテレストレーションを含む記録済み部分を、第２の遠隔の専門家又は少なくとも１人の他の個人にストリーミング又はブロードキャストすることを含んでもよい。少なくとも１人の他の個人は、たとえば、（ａ）外科的処置が実施されている医療施設から離れている誰か、又は（ｂ）外科的処置が実施されている医療施設内若しくはその近くにいる誰かでもよい。本明細書では、テレストレーションすることは、画像、ビデオ、又はこれまでにストリーミングされたか、若しくは、現在ライブでストリーミングされているビデオの記録に、１つ又は複数の注釈又はマーキングを付け加えることを指してもよい。本明細書では、テレストレーションは、（たとえば、指、スタイラス、ペン、タッチスクリーン、コンピュータ表示装置、又はタブレット表示装置を使用して）、画像、ビデオ、又はビデオの記録に付け加えるか、又は重ね合わせることのできる、１つ又は複数の注釈又はマーキングを指してもよい。テレストレーションは、物理的な入力に基づいて付け加えられてもよく、又はテレストレーションを付け加えるユーザによる、１つ若しくは複数の動き若しくはジェスチャの光検出に基づいて付け加えられてもよい。

[0185] 場合によっては、ライブでの外科的処置の１つ又は複数のビデオがストリーミングされている間に、複数の専門家は、仮想セッションに参加して、進行中の外科的処置の様々な部分を記録し、各専門家によってそれぞれ取り込まれた記録にテレストレーションを行い、（ｉ）仮想セッション内の他の専門家、又は（ｉｉ）外科的処置が実行されている医療施設内、若しくはその近くにいる個人（たとえば、外科的処置を実行する医者若しくは外科医）に対して、テレストレーションを含む記録を同時にストリーミングして戻すことができる。このような同時のストリーミング及びテレストレーションを含む記録の共有により、様々な遠隔の専門家は、ステップが正しく実行されているかどうか、及び処置を実行する外科医が、効率を高め、又はリスクを最小限に抑えるための任意の調整又は改善を行うことができるかどうかを含め、外科的処置の自身の解釈及び評価を、比較及び対比することができるようになる。

[0186] 場合によっては、仮想セッションによって、複数の専門家は、自分の画面を同時に共有できるようになってもよい。こうした場合、第１の専門家は、この第１の専門家が１つ又は複数のビデオに付け加えているライブのテレストレーションを、第２の専門家に示すことができ、第２の専門家も、この第２の専門家が１つ又は複数のビデオに付け加えているテレストレーションを、別の専門家（たとえば、第１の専門家及び／又は別の第３の専門家）に示す。場合によっては、仮想セッションによって、複数の専門家は、１つ又は複数のビデオのうち個々の記録を同時に共有できるようになってもよい。このような１つ又は複数の個々の記録は、１つ又は複数のビデオの様々な部分に対応する場合があり、長さが異なる場合がある。このような個々の記録は、外科的処置の１つ又は複数のビデオを取り込むのに使用される、様々なカメラ又はイメージング・センサから得られてもよい。このような個々の記録は、この記録を開始し、又は取り込んだ専門家によって付け加えられる、１つ又は複数のテレストレーション、注釈、又はマーキングを含んでも含まなくてもよい。たとえば、第１の専門家は、１つ又は複数のビデオの第１の部分に対応する第１の記録を共有し、第２の専門家は、１つ又は複数のビデオの第２の部分に対応する第２の記録を共有してもよい。１つ又は複数のビデオの第１の部分及び第２の部分は、外科的処置の特定の段階又はステップにおける専門家の関心又は専門知識に基づいて、専門家によって選択されてもよい。個々の記録をこのように同時に共有している間、第１の専門家は、この第１の専門家が１つ又は複数の記録済みビデオに付け加えているライブのテレストレーションを、第２の専門家に示すことができ、第２の専門家も、この第２の専門家が１つ又は複数の記録済みビデオに付け加えているテレストレーションを、別の専門家（たとえば、第１の専門家及び／又は別の第３の専門家）に示す。記録及びテレストレーションをこのように同時に共有することにより、専門家は、様々な異なる方式又はやり方で外科的処置を実行することの利益、利点、及び／又は欠点を、比較及び対比できるようにすることができる。

[0187] 場合によっては、ビデオ録画及びライブのテレストレーションを同時にストリーミング及び共有することにより、第１の遠隔の専門家は、第２及び第３の遠隔の専門家によって同時に付け加えられるテレストレーションを見ることができるようになってもよい。場合によっては、第２の遠隔の専門家は、外科的処置を実行する第１の方法に対応するテレストレーションの第１のセットを付け加えることができ、第３の遠隔の専門家は、外科的処置を実行する第２の方法に対応するテレストレーションの第２のセットを付け加えることができる。第１の遠隔の専門家は、テレストレーションの第１のセットと第２のセットの両方を見て、外科的処置を実行する第１の方法と第２の方法を比較することができる。第１の遠隔の専門家は、テレストレーションの第１のセットと第２のセットの両方を使用して、それぞれの遠隔の専門家によって付け加えられるテレストレーションによって提案又は概説される様々な方法によって、外科的処置が実行される場合に、（たとえば、外科手術の成果、患者の安全、又は手術者の効率の観点から）得ることのできる改善を評価することができる。

[0188] 場合によっては、ビデオ録画及びライブのテレストレーションを同時にストリーミング及び共有することにより、第１のユーザ（たとえば、医者、又は外科的処置を実行する外科医）は、第２及び第３のユーザによって同時に付け加えられるテレストレーションを見ることができるようになってもよい。場合によっては、第２のユーザは、外科的処置を実行する第１の方法に対応するテレストレーションの第１のセットを付け加えることができ、第３のユーザは、外科的処置を実行する第２の方法に対応するテレストレーションの第２のセットを付け加えることができる。第１のユーザは、テレストレーションの第１のセットと第２のセットの両方を見て、外科的処置を実行する第１の方法と第２の方法を比較することができる。第１のユーザは、テレストレーションの第１のセットと第２のセットの両方を使用して、その他のユーザのそれぞれによって付け加えられるテレストレーションによって提案又は概説される様々な方法によって、外科的処置が実行される場合に、（たとえば、外科手術の成果、患者の安全、又は手術者の効率の観点から）得ることのできる改善を評価することができる。第２のユーザ及び第３のユーザは、たとえば、第１のユーザが外科的処置を実行している間、第１のユーザを支援するためのフィードバック、解説、案内、又は追加情報を提示して、第１のユーザが外科的処置の１つ又は複数のステップを完了した後に、この第１のユーザに追加トレーニングを提供し、又は外科的処置の１つ又は複数のステップを完了した後に、この第１のユーザの能力を評価することのできる、遠隔の専門家でもよい。

[0189] 場合によっては、第１のユーザ（たとえば、第１の医者若しくは外科医、又は専門医）は、テレストレーションを付け加え、それを共有して、どのようにして処置を完了すべきかを示すことができる。場合によっては、第２のユーザ（たとえば、第２の医者若しくは外科医、又は専門医）は、別々のテレストレーション（たとえば、別々の記録又は別々のストリーム／ブロードキャスト・チャンネルに付け加えられるテレストレーション）を付け加えて、第３のユーザ（たとえば、第３の医者若しくは外科医、又は専門医）が、様々なテレストレーションを比較及び対比できるようにすることができる。他の場合では、第２のユーザ（たとえば、第２の医者若しくは外科医、又は専門医）は、第１のユーザのテレストレーションの上にテレストレーションを付け加えて、第３のユーザ（たとえば、第３の医者若しくは外科医、又は専門医）が、単一の記録、ストリーム、又はブロードキャストにおいて様々なテレストレーションを比較及び対比できるようにすることができる。

[0190] 実施形態によっては、コンテンツ（たとえば、ビデオ録画又はテレストレーション）を、その他のユーザ又は専門家と共有しているユーザ又は遠隔の専門家は、ダウンロード若しくはダウンロード可能なファイルとして、又はサーバを介してこのようなコンテンツにアクセスすることによって、このようなコンテンツを共有することができる。このようなサーバは、たとえばクラウド・サーバでもよい。

[0191] 場合によっては、複数のユーザは、同時にビデオをテレストレーションすることができ、又、追加データを追加することによって、又はビデオに関連付けられたデータの一部を変更すること（たとえば、オーディオを削除すること、又はビデオを後処理すること）によって、ビデオのコンテンツを変更することができる。複数のユーザは、ビデオに追加データを追加し、及び／又はビデオに関連付けられたデータの一部を変更した後、変更又は修正されたコンテンツを含むビデオを、他のユーザ（たとえば、他の遠隔の専門家、又は外科的処置を支援する他の個人）に再ブロードキャストすることができる。場合によっては、複数のユーザは、他のユーザが付け加える様々なテレストレーションを含む、再ブロードキャストされたビデオの上に、さらに注釈又はテレストレーションを付け加え、このような追加の注釈又はテレストレーションを、その他のユーザと共有することができる。場合によっては、各ユーザが、（ｉ）外科手術のビデオの同じ部分若しくは記録、（ｉｉ）外科手術のビデオの様々な異なる部分若しくは記録、又は（ｉｉｉ）外科手術のビデオの同じ部分又は記録の異なるビューに対応する、他のユーザからの複数のテレストレーションを見るように、仮想セッションでの各ユーザは、自分自身のテレストレーションを並列に付け加え、このテレストレーションを同時に共有してもよい。複数のユーザは、同時にテレストレーションし、及び／又は様々なユーザが同時に付け加えるテレストレーションを修正することができる。このテレストレーションを、外科的処置のライブ・ビデオ・ストリーム、又は外科的処置の記録（たとえば、ビデオ録画）に付け加えてもよい。複数のユーザによる複数の同時テレストレーションを、同じライブ・ビデオ・ストリーム又は同じ記録に対して付け加えてもよく、この場合、この複数のテレストレーションを、互いに重ねて付け加えてもよい。或いは、複数のユーザによる複数の同時テレストレーションを、様々なビデオ又は記録に対して付け加えてもよい。

[0192] 場合によっては、外科手術のビデオ又はその記録内の、対象となる様々な部分又は区画に対応するハイライト・ビデオに、テレストレーションを付け加えてもよい。たとえば、第１のユーザは、外科手術のビデオ内の対象となる、１つ又は複数の部分又は区画に関連付けられたテレストレーションの第１のセットを付け加えてもよい。テレストレーションは、他のユーザに共有、ストリーミング、又はブロードキャストされてもよい。場合によっては、複数のユーザは、テレストレーションの複数のセット（たとえば、別々の記録への別々のテレストレーション、又は互いに重なり合うようになされた複数のテレストレーション）を並列に付け加えてもよい。テレストレーションのこのような複数のセットは、仮想セッション内の様々なユーザに同時にストリーミングされ、このユーザによって見ることができるようになって、複数のユーザによって付け加えられる様々なテレストレーションによって提案又は概説される、様々な方法及び案内を比較及び対比してもよい。場合によっては、テレストレーションのこのような複数のセットは、仮想セッション内の様々なユーザに同時にストリーミングされ、このユーザによって見ることができるようになって、様々な結果（たとえば、様々な外科手術の成果、又は手術者の効率若しくはリスク軽減での差）を得るために、外科的処置の１つ又は複数のステップを実行するための様々な方式を評価してもよい。場合によっては、テレストレーションのこのような複数のセットは、仮想セッション内の様々なユーザに同時にストリーミングされ、このユーザによって見ることができるようになってもよく、その結果、様々なユーザが付け加える様々なテレストレーションによる様々なやり方で、外科的処置を実行することによって得られる１つ又は複数の改善を、この様々なユーザは目にすることができる。

[0193] 実施形態によっては、対象となる第１の時点及び対象となる第２の時点において、テレストレーションを付け加えてもよい。対象となる第１の時点及び／又は対象となる第２の時点は、外科的処置における１つ又は複数の重要なステップに対応する場合がある。複数のユーザは、対象となる第１の時点及び／又は対象となる第２の時点において、複数のテレストレーションを付け加えてもよい。ユーザは、複数のテレストレーションを同時に見て、対象となる第１の時点で行われる様々な動作に基づいて、対象となる第２の時点での成果又は結果がどのように変化するのかを理解してもよい。場合によっては、様々なハイライト・ビデオに対して、複数のテレストレーションを付け加えてもよく、その結果、１人のユーザは、外科的処置のどのステップ又は時点が、外科手術の成果に影響を及ぼす場合があるのかを理解し、そのような時点でこうしたステップを実行して外科手術の成果を改善するための様々な方法を比較又は対比することができる。本明細書では、外科手術の成果は、外科的処置の最終結果、外科的処置の成功のレベル、外科手術の成果の成績に関連付けられたリスクのレベル、又は外科的処置を実行する手術者の効率に対応してもよい。

[0194] 実施形態によっては、ユーザ（たとえば、専門家）は、１つ又は複数のビデオ又は記録の上にテレストレーションするとき、他のユーザ（たとえば、他の専門家）と１つ又は複数のビデオを同時に共有することができる。さらに、ユーザは、このユーザが付け加えるテレストレーションを有する、１つ又は複数のビデオ又は記録とともに、複数のアプリケーション又はウィンドウを同時に共有してもよい。これにより、他のユーザ又は専門家は、（ｉ）テレストレーションを有する１つ又は複数のビデオ又は記録、及び（ｉｉ）外科的処置に関連付けられた追加の情報又はコンテンツを含む、１つ又は複数のアプリケーション又はウィンドウを、並列又は同時に見ることができるようになる。このような追加の情報又はコンテンツは、たとえば、医療又は外科手術のデータ、外科的処置の能力、若しくは、１つ若しくは複数のツールの使用に関する参考資料、又は外科的処置の様々なビデオ若しくは記録に付け加えられる、追加の注釈若しくはテレストレーションを含んでもよい。ユーザ又は専門家が、１つ又は複数のビデオ、アプリケーション、及び／又はウィンドウを、他のユーザ又は専門家と同時に共有できるようにすることにより、その他のユーザ又は専門家は、追加の情報又はコンテンツを参照して、１つ又は複数のテレストレーションを含む共有されたビデオ又は記録を見て、解釈し、分析できるようになる。このような追加の情報又はコンテンツは、共有されたビデオ若しくは記録、及び／又は共有されたビデオ若しくは記録に付け加えられたテレストレーションを理解し、解釈し、分析するための、追加の背景又は事情を提示することができる。

[0195] コンピュータ制御システム
[0196] 本開示は、本開示の方法を実施するようにプログラムされたコンピュータ制御システムを提供する。図１３には、ベンダ担当者と、ベンダ担当者のサポートを必要とすることのある医療関係者との間の通信を容易にするようにプログラムされた、又は他の方法で構成された、コンピュータ・システム１３０１が示してある。このコンピュータ・システムは、担当者用通信装置とローカル通信装置との間の通信を容易にすることができる。コンピュータ・システムは、１つ又は複数の医療施設の１つ又は複数のスケジューリング・システムと自動的にインターフェースしてもよい。コンピュータ・システムは、１人又は複数人のベンダ担当者など、１つ又は複数のベンダについての情報にアクセスしてもよい。コンピュータ・システムは、医療品を利用する医療処置にサポートを提供するのに適している場合がある、１人又は複数人のベンダ担当者を自動的に決定してもよい。任意選択により、コンピュータ・システムは、ベンダ担当者が医療関係者と容易に接続できるようにする、１つ又は複数の視覚領域を提示してもよい。コンピュータ・システムは、担当者用通信装置及び／又はローカル通信装置を備えてもよい。コンピュータ・システムは、担当者用通信装置及び／又はローカル通信装置とは別の、１つ又は複数の装置を備えてもよく、又はそれと通信してもよい。コンピュータ・システムは、ユーザの電子装置、又はこの電子装置に対して遠隔に配置されたコンピュータ・システムとすることができる。この電子装置は、モバイル電子装置とすることができる。

[0197] コンピュータ・システム１３０１は、中央処理装置（ＣＰＵ、本明細書では「プロセッサ」及び「コンピュータ・プロセッサ」とも呼ぶ）１３０５を備えてもよく、これは、シングル・コア・プロセッサ若しくはマルチ・コア・プロセッサ、又は並列処理用の複数のプロセッサとすることができる。コンピュータ・システムはまた、メモリすなわち記憶場所１３１０（たとえば、ランダムアクセス・メモリ、リードオンリ・メモリ、フラッシュ・メモリ）、電子記憶ユニット１３１５（たとえば、ハード・ディスク）、１つ又は複数の他のシステムと通信するための通信インターフェース１３２０（たとえば、ネットワーク・アダプタ）、並びに、キャッシュ、他のメモリ、データ記憶装置、及び／又は電子表示アダプタなどの周辺装置１３２５を備える。メモリ１３１０、記憶ユニット１３１５、インターフェース１３２０、周辺装置１３２５は、マザーボードなどのコミュニケーション・バス（実線）を介して、ＣＰＵ１３０５と通信する。記憶ユニット１３１５は、データを記憶するためのデータ記憶ユニット（又は、データ・リポジトリ）とすることができる。コンピュータ・システム１３０１は、通信インターフェース１３２０を用いて、コンピュータ・ネットワーク（「ネットワーク」）１３３０に、適切に動作するよう結合することができる。ネットワーク１３３０は、インターネット、相互接続ネットワーク及び／又はエクストラネット、又はインターネットと通信するイントラネット及び／又はエクストラネットとすることができる。

[0198] 場合によっては、ネットワーク１３３０は、遠隔通信ネットワーク及び／又はデータ・ネットワークである。ネットワークは、１つ又は複数のコンピュータ・サーバを備えることができ、これにより、クラウド・コンピューティングなどの分散コンピューティングを可能にすることができる。たとえば、１つ又は複数のコンピュータ・サーバは、ネットワーク上のクラウド・コンピューティング（「クラウド」）が、たとえば、１つ又は複数の実験環境の構成を取り込むこと、１つ又は複数の時点のそれぞれでの実験環境をレジストリに記憶すること、実験環境を活用する１つ又は複数の実験的実行を実行すること、この環境を活用する実験的実行の出力を提供すること、この実験環境と実験的実行との間の複数のリンクを生成すること、１つ又は複数の時点における実験環境に対応する１つ又は複数の実行状態を生成することなど、本開示の分析、計算、及び生成の様々な態様を実行できるようにしてもよい。このようなクラウド・コンピューティングは、たとえば、Amazon Web Services（ＡＷＳ）、Microsoft Azure、Google Cloud Platform、及びIBMクラウドなど、クラウド・コンピューティング・プラットフォームによって提供されてもよい。場合によっては、ネットワークは、コンピュータ・システム１３０１を用いて、ピアツーピア・ネットワークを実装することができ、これにより、コンピュータ・システムに結合された装置が、クライアント又はサーバとして動作することができてもよい。

[0199] ＣＰＵ１３０５は、一連の機械読取り可能な命令を実行することができ、この命令は、プログラム又はソフトウェアで実施することができる。この命令は、メモリ１３１０などの記憶場所に記憶されてもよい。命令は、ＣＰＵを対象とすることができ、続いて、ＣＰＵをプログラムするか、又は他の方法で構成して、本開示の方法を実装することができる。ＣＰＵが実行する演算の例には、フェッチ、復号、実行、及びライトバックが含まれ得る。

[0200] ＣＰＵ１３０５は、集積回路などの回路の一部分とすることができる。システムの１つ又は複数の他の構成部品を、この回路内に含むことができる。場合によっては、この回路は、特定用途向け集積回路（ＡＳＩＣ）である。

[0201] 記憶ユニット１３１５は、ドライバ、ライブラリ、保存済みプログラムなどのファイルを記憶することができる。この記憶ユニットは、ユーザ・データ、たとえば、ユーザの好み及びユーザ・プログラムを記憶することができる。場合によっては、コンピュータ・システム１３０１は、イントラネット又はインターネットを介してこのコンピュータ・システムと通信する遠隔サーバに配置されているような、コンピュータ・システムの外部の１つ又は複数の追加のデータ記憶ユニットを備えることができる。

[0202] コンピュータ・システム１３０１は、ネットワーク１３３０を介して、１つ又は複数の遠隔コンピュータ・システムと通信することができる。たとえば、このコンピュータ・システムは、ユーザ（たとえば、実験環境のユーザ）の遠隔コンピュータ・システムと通信することができる。遠隔コンピュータ・システムの例には、パーソナル・コンピュータ（たとえば、ポータブルＰＣ）、スレートＰＣ若しくはタブレットＰＣ（たとえば、Apple（登録商標）iPad、Samsung（登録商標）Galaxy Tab）、電話、スマートフォン（たとえば、Apple（登録商標）iPhone、アンドロイド対応装置、Blackberry（登録商標））、又は携帯型情報端末が含まれる。ユーザは、ネットワークを介してコンピュータ・システムにアクセスすることができる。

[0203] 本明細書に記載の方法は、たとえば、メモリ１３１０又は電子記憶ユニット１３１５など、コンピュータ・システム１３０１の電子記憶場所に記憶される、機械（たとえば、コンピュータ・プロセッサ）実行可能コードによって実施することができる。この機械実行可能コード又は機械読取り可能なコードは、ソフトウェアの形で提供することができる。使用中、プロセッサ１３０５によって、このコードを実行することができる。場合によっては、このコードを、記憶ユニットから取り出し、プロセッサが素早くアクセスできるよう、メモリに記憶することができる。状況によっては、電子記憶ユニットを除外することができ、機械実行可能命令がメモリに記憶される。

[0204] コードを、事前コンパイルし、このコードを実行するようになされたプロセッサを有する機械とともに使用するように構成することができ、又はランタイム中にコンパイルすることもできる。コードは、事前コンパイル又はアズコンパイルされた形でこのコードを実行できるように選択することができる、プログラミング言語に入れ込むことができる。

[0205] コンピュータ・システム１３０１など、本明細書に提示されるシステム及び方法の各態様は、プログラミングで実施することができる。この技術の様々な態様は、典型的には、機械（又はプロセッサ）実行可能なコード、及び／又はあるタイプの機械読取り可能な媒体で搬送若しくは実施される関連データの形での「製品」又は「製造品」と考えてもよい。機械実行可能コードは、メモリ（たとえば、リードオンリ・メモリ、ランダムアクセス・メモリ、フラッシュ・メモリ）又はハード・ディスクなどの電子記憶ユニットに記憶することができる。「記憶」タイプの媒体には、コンピュータ、プロセッサなどの有形メモリ、又はその関連モジュール、たとえば、様々な半導体メモリ、テープ・ドライブ、ディスク・ドライブなどの一部又は全部を含むことができ、これらはソフトウェア・プログラミング用に非一時的な記憶装置をいつでも提供することができる。ソフトウェアの全部又は一部は、時として、インターネット又は他の様々な通信ネットワークを介して伝達されてもよい。たとえば、このような通信により、あるコンピュータ又はプロセッサから別のコンピュータ又はプロセッサに、たとえば管理サーバ又はホスト・コンピュータからアプリケーション・サーバのコンピュータ・プラットフォームに、ソフトウェアをロードすることが可能になってもよい。したがって、ソフトウェア要素を搭載してもよい別のタイプの媒体には、ローカルデバイス間の物理的インターフェース、有線及び光学的な陸上通信ネットワーク、並びに様々な空中リンクなどを介して使用される、光波、電波、及び電磁波が含まれる。有線リンク又は無線リンク、光リンクなど、このような波を運ぶ物理的要素も、ソフトウェアを搭載する媒体とみなしてもよい。本明細書では、非一時的で有形の「記憶」媒体に限定されない限り、コンピュータ又は機械の「読取り可能な媒体」などの用語は、実行するためプロセッサに命令を提供するのに関与する任意の媒体を指す。

[0206] したがって、コンピュータ実行可能コードなどの機械読取り可能な媒体は、有形の記憶媒体、搬送波媒体、又は物理的な伝送媒体を含む数多くの形態をとってもよいが、これらに限定されることはない。不揮発性の記憶媒体には、たとえば、各図面に示すデータベースなどを実施するのに使用されてもよいような、任意のコンピュータなどでの任意の記憶装置など、光ディスク又は磁気ディスクが含まれる。揮発性の記憶媒体には、このようなコンピュータ・プラットフォームの主記憶装置などのダイナミック・メモリが含まれる。有形の伝送媒体には、コンピュータ・システム内のバスを備えるワイヤを含め、同軸ケーブル、銅線、及び光ファイバが含まれる。搬送波伝送媒体は、無線周波数（ＲＦ）及び赤外線（ＩＲ）のデータ通信中に生成されるような、電気信号若しくは電磁信号、又は音波若しくは光波の形をとってもよい。したがって、コンピュータ読取り可能な媒体の共通の形態には、たとえば、フロッピー・ディスク、フレキシブル・ディスク、ハード・ディスク、磁気テープ、他の任意の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤ若しくはＤＶＤ－ＲＯＭ、他の任意の光媒体、せん孔カード用紙テープ、孔のパターンを有する他の任意の物理記憶媒体、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、及びＥＰＲＯＭ、フラッシュＥＰＲＯＭ、他の任意のメモリ・チップ若しくはカートリッジ、データ若しくは命令を搬送する搬送波、このような搬送波を搬送するケーブル若しくはリンク、又はコンピュータがプログラミング・コード及び／又はデータを読み取ることができる他の任意の媒体が含まれる。こうした形態のうち多くのコンピュータ読取り可能な媒体は、１つ又は複数の命令の１つ又は複数のシーケンスを、実行するためにプロセッサに搬送する働きをしてもよい。

[0207] コンピュータ・システム１３０１は、たとえば、環境、環境の構成要素、又は環境の時点の選択を提示するユーザ・インターフェース（ＵＩ）１３４０を含む、電子表示装置１０３５を備えるか、又はそれと通信することができる。ＵＩの例には、グラフィカル・ユーザ・インターフェース（ＧＵＩ）及びウェブ・ベースのユーザ・インターフェースが含まれるが、それだけに限定されることはない。

[0208] 本開示の方法及びシステムは、１つ又は複数のアルゴリズムによって実装することができる。アルゴリズムは、中央処理装置１３０５によって実行されると、ソフトウェアによって実施することができる。このアルゴリズムは、たとえば、１つ又は複数の実験環境の構成を取り込み、１つ又は複数の時点のそれぞれでの実験環境をレジストリに記憶し、実験環境を活用する１つ又は複数の実験的実行を実行し、この環境を活用する実験的実行の出力を提供し、この実験環境と実験的実行との間の複数のリンクを生成し、１つ又は複数の時点における実験環境に対応する１つ又は複数の実行状態を生成することができる。

[0209] 前述の説明から、特定の実装形態が図示され、説明されてきたが、それに様々な修正を加えることが可能であり、本明細書において企図されることを理解されたい。本発明が、本明細書内に提示される具体例によって限定されることも意図されない。前述の明細書を参照して本発明を説明してきたが、本明細書における好ましい実施形態の説明及び例示は、限定的な意味で解釈されるものではない。さらに、本発明のあらゆる態様は、様々な条件及び変動要因に依存する、本明細書に記載の特定の描写、構成、又は相対的比率に限定されないことを理解されたい。本発明の実施形態の形式及び詳細における様々な修正が、当業者には明らかとなろう。したがって、本発明は、いずれのそのような修正形態、変形形態、及び均等物をも包含するものであると企図される。

Claims (33)

1. 医療処置のハイライト・ビデオを作成する方法であって、
   前記医療処置の場所で取り込まれたビデオ又はオーディオのデータに基づいて、前記医療処置内で実行される１つ又は複数のステップを認識することと、
   前記医療処置内で実行される前記１つ又は複数のステップのそれぞれを実行するための時間を評価することと、
   前記１つ又は複数のステップのそれぞれを実行するための予測される時間に対して、前記１つ又は複数のステップのそれぞれを実行するための前記時間を比較することと、
   前記１つ又は複数のステップのそれぞれを実行するための前記時間が、閾値を超える分だけ前記予測される時間から逸脱する、前記１つ又は複数のステップのビデオを含む、前記医療処置のハイライト・ビデオを作成することと
   を含む、方法。
2. 医療関係者が前記医療処置を実行するのを支援するために、空間分析及び時間分析を用いて、予測される医療処置状態の前記医療処置の前に、オーディオ付きのモデル・ビデオを作成することをさらに含む、請求項１に記載の方法。
3. 前記医療処置の前記場所で取り込まれた前記ビデオ又はオーディオのデータに基づく状況検出を使用して、自動化された文書及び筆記録を作成することをさらに含む、請求項１に記載の方法。
4. 前記医療処置のための案内を提示するために前記医療処置中の後続ステップを予測することと、
   アクティブな医療処置中に現在のステップ及び次のステップを示すことと、
   前記医療処置中に実行されるステップに基づいて、成功率又は確度率に基づいて、後続のステップを修正することと
   をさらに含む、請求項１に記載の方法。
5. 前記ハイライト・ビデオが、前記医療処置中に作成又は表示される、請求項１に記載の方法。
6. 前記ハイライト・ビデオが、前記医療処置の完了後に作成又は表示される、請求項１に記載の方法。
7. 前記ハイライト・ビデオは、前記１つ又は複数のステップのそれぞれを実行するための前記時間が、閾値を超える分だけ前記予測される時間を上回るときに、前記ハイライト・ビデオでの前記ステップのうちの１つ又は複数のステップをどのようにして改善することができるのかの分析を含む、請求項１に記載の方法。
8. 前記ハイライト・ビデオは、前記１つ又は複数のステップのそれぞれを実行するための前記時間が、閾値を超える分だけ前記予測される時間を下回るときに、前記ハイライト・ビデオでの前記ステップのうち１つ又は複数のステップがどの程度、前記医療処置を実行する医療従事者にとって強みの分野であり得るのかの分析を含む、請求項１に記載の方法。
9. ビデオ・データが、遠隔装置と通信することのできる医療コンソールの助けを借りて取り込まれ、前記医療コンソールが、可動アームによって支持された少なくとも１つのカメラを備える、請求項１に記載の方法。
10. 前記１つ又は複数のステップのそれぞれを実行するための前記予測される時間が、前記医療処置の被験者の解剖学的タイプに依存する、請求項１に記載の方法。
11. 機械学習を利用して、前記医療処置において実行される前記１つ又は複数のステップ及び対応するタイミングを認識することをさらに含む、請求項１に記載の方法。
12. 機械学習を利用して、前記１つ又は複数のステップのそれぞれを実行するための予測される時間を決定することをさらに含む、請求項１に記載の方法。
13. 前記医療処置を受けている被験者に関係する選択されたデータが、前記ハイライト・ビデオにおいて自動的に匿名扱いにされる、請求項１に記載の方法。
14. 医療処置のハイライト・ビデオを作成するシステムであって、共同で又は個別に、
    前記医療処置の場所で取り込まれたビデオ又はオーディオのデータに基づいて、前記医療処置内で実行される１つ又は複数のステップを認識し、
    前記医療処置内で実行される前記１つ又は複数のステップのそれぞれを実行するための時間を評価し、
    前記１つ又は複数のステップのそれぞれを実行するための予測される時間に対して、前記１つ又は複数のステップのそれぞれを実行するための前記時間を比較し、
    前記１つ又は複数のステップのそれぞれを実行するための前記時間が、閾値を超える分だけ前記予測される時間から逸脱する、前記１つ又は複数のステップのビデオを含む、前記医療処置のハイライト・ビデオを作成する
    ように構成された１つ又は複数のプロセッサを備える、システム。
15. 前記ビデオ又はオーディオのデータを取り込むように構成された１つ又は複数のカメラ又はマイクロホンをさらに備える、請求項１４に記載のシステム。
16. 前記１つ又は複数のカメラが、遠隔装置と通信するように構成された医療コンソールによって支持される、請求項１５に記載のシステム。
17. 医療処置中の潜在事象を識別する方法であって、
    前記医療処置の場所で取り込まれたビデオ又はオーディオのデータに基づいて、前記医療処置内で実行される１つ又は複数のステップを認識することと、
    前記医療処置内で実行される前記１つ又は複数のステップのそれぞれを実行するための時間を評価することと、
    前記１つ又は複数のステップのそれぞれを実行するための予測される時間に対して、前記１つ又は複数のステップのそれぞれを実行するための前記時間を比較することであって、前記予測される時間が前記医療処置の被験者の解剖学的タイプに依存する、比較することと、
    前記１つ又は複数のステップのそれぞれを実行するための前記時間が、閾値を超える分だけ前記予測される時間から逸脱する、１つ又は複数のステップの通知を提示することと
    を含む、方法。
18. 前記通知が、前記医療処置を実行する医療従事者へリアルタイムに提示される、請求項１７に記載の方法。
19. 前記通知が、前記閾値を超える分だけ前記予測される時間から逸脱する、前記１つ又は複数のステップに関する案内を含む、請求項１８に記載の方法。
20. 前記通知が、前記医療処置が完了した後で提示される、請求項１７に記載の方法。
21. 前記通知は、ステップを実行する前記時間が、前記閾値を超える分だけ前記予測される時間よりも短いときに、前記ステップの推奨を修正することを含む、請求項１７に記載の方法。
22. ビデオ・コラボレーション用の方法であって、
    （ａ）外科的処置の１つ又は複数のビデオを複数のユーザに提供することであって、前記１つ又は複数のビデオが、少なくとも１つのハイライト・ビデオを含む、提供することと、
    （ｂ）前記１つ又は複数のビデオに基づいて前記複数のユーザが共同作業するための仮想ワークスペースを提供することであって、前記仮想ワークスペースは、前記複数のユーザのそれぞれが、（ｉ）前記１つ又は複数のビデオを視聴するか、又は前記１つ若しくは複数のビデオの１つ若しくは複数の記録を取り込み、（ｉｉ）前記１つ又は複数のビデオ又は記録に、１つ又は複数のテレストレーションを付け加え、（ｉｉｉ）前記１つ又は複数のテレストレーションを含む前記１つ又は複数のビデオ又は記録を、前記複数のユーザに配信することを可能にする、提供することと
    を含む、方法。
23. 前記仮想ワークスペースにより、前記複数のユーザが、前記１つ又は複数のビデオを同時にストリーミングし、前記１つ又は複数のテレストレーションを含む、前記１つ又は複数のビデオ又は記録を前記複数のユーザに配信できるようになる、請求項２２に記載の方法。
24. 前記仮想ワークスペースにより、第１のユーザが、テレストレーションの第１のセットを付け加えることができるようになり、第２のユーザが、同時にテレストレーションの第２のセットを付け加えることができるようになる、請求項２３に記載の方法。
25. 前記仮想ワークスペースにより、第３のユーザが、テレストレーションの前記第１のセット及びテレストレーションの前記第２のセットを同時に見て、前記第１のユーザ及び前記第２のユーザが付け加える入力又は案内を、比較又は対比することができるようになる、請求項２４に記載の方法。
26. テレストレーションの前記第１のセット及びテレストレーションの前記第２のセットが、同じビデオ、同じ記録、又はビデオ若しくは記録の同じ部分に対応する、請求項２４に記載の方法。
27. テレストレーションの前記第１のセット及びテレストレーションの前記第２のセットが、異なるビデオ、異なる記録、又は同じビデオ若しくは記録の異なる部分に対応する、請求項２４に記載の方法。
28. 前記少なくとも１つのハイライト・ビデオが、前記外科的処置の対象となる１つ又は複数の部分、ステージ、又はステップの選択を含む、請求項２２に記載の方法。
29. 前記第１のユーザ及び前記第２のユーザが取り込む様々なビデオ又は記録について、テレストレーションの前記第１のセット及びテレストレーションの前記第２のセットが付け加えられる、請求項２４に記載の方法。
30. 前記第１のユーザ又は前記第２のユーザのいずれかが取り込む同じビデオ又は記録について、テレストレーションの前記第１のセット及びテレストレーションの前記第２のセットが付け加えられ、又は互いに重なり合う、請求項２４に記載の方法。
31. 前記仮想ワークスペースにより、前記複数のユーザのそれぞれが、前記複数のユーザと同時に、１つ又は複数のアプリケーション又はウィンドウを共有できるようになる、請求項２２に記載の方法。
32. 前記仮想ワークスペースにより、前記複数のユーザが、テレストレーションを同時に付け加え、又は前記複数のユーザのうち１人又は複数人のユーザが同時に付け加える前記テレストレーションを修正することができるようになる、請求項２２に記載の方法。
33. 前記テレストレーションが、前記外科的処置のライブ・ビデオ・ストリーム上に、又は前記外科的処置の記録上に付け加えられる、請求項３２に記載の方法。
    

Images