JP7265543B2 - 外科用ビデオをセグメント化するためのシステムおよび方法 - Google Patents

Description

本開示は、概して、手術を実行するためのシステムに関し、特に、しかし排他的ではなく、外科用ビデオをセグメント化するためのシステムおよび方法に関する。

ロボットまたはコンピュータ支援手術は、ロボットシステムを使用して、外科手技を支援する。ロボット手術は、既存の外科手技の制限（例えば、外科医の手と関連付けられた空間的制約、人間の動きの固有の揺れ、および人間の作業生成物の不一致など）を克服するための方法として開発された。近年では、切開のサイズを制限し、かつ患者の回復時間を短縮するために、その分野が大きく進歩している。

切開手術の場合、ロボット的に制御された器具が従来のツールと取り替えられて、外科的動作を実行する場合がある。フィードバック制御された動作により、人間が行うよりもスムーズな外科的ステップが可能になり得る。例えば、肋骨拡張などのステップに外科用ロボットを使用すると、そのステップが外科医の手で行われた場合よりも患者の組織への損傷が少なくなる可能性がある。追加的に、外科用ロボットは、手技を完了するために必要なステップが少なくなるため、手術室での時間を短縮することができる。

しかしながら、ロボット手術は、従来の手術と関連付けられた制限に依然として悩まされている可能性がある。例えば、外科医は、手術に慣れるために、依然として外科用ビデオを確認する必要がある場合がある。そして、外科医が特定のタイプの手術に熟練するために十分な映像を見るまでに、数日または数週間かかる場合がある。

外科用ビデオをセグメント化するためのシステムおよび方法について、様々な実施例が説明される。外科用ビデオをセグメント化するための１つの例示的な方法は、コンピューティングデバイスのプロセッサによって、外科用ビデオを受信することであって、外科用ビデオが外科手技の少なくとも連続的なビデオフレームを含む、受信することと、ビデオフレームの識別を受信することに応答して、プロセッサによって、ビデオフレームに基づいてブックマークを生成することと、プロセッサによって、ブックマークをビデオフレームと関連付けることと、プロセッサによって、ブックマークを非一時的コンピュータ可読媒体に保存することと、を含む。

外科用ビデオをセグメント化するための別の例示的な方法は、外科用ビデオおよび少なくとも１つのブックマークを受信することであって、各ブックマークが、外科用ビデオ内の異なるビデオフレームを識別する、受信することと、第１のブックマークの識別を受信することと、外科用ビデオの一部分を抽出するための指示を受信することと、外科用ビデオの部分を抽出することであって、外科用ビデオの部分が、第１のブックマークで開始する、抽出することと、外科用ビデオの部分を、非一時的コンピュータ可読媒体に保存することと、を含む。

外科用ビデオをセグメント化するためのさらなる例示的な方法は、検索パラメータを含む検索コマンドを受信することであって、検索パラメータが、（ｉ）外科手技のステップ、（ｉｉ）外科手技のサブステップ、または（ｉｉｉ）外科手技のイベントのうちの１つを含む、受信することと、複数の外科用ビデオのブックマーク情報にアクセスすることと、検索パラメータを使用して、複数のブックマークを識別することであって、複数のブックマークの各ブックマークが、外科用ビデオのうちの１つと関連付けられている、識別することと、検索コマンドに応答して、複数のブックマークのサブセットを提供することと、を含む。

外科用ビデオをセグメント化するための１つの例示的なシステムは、非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体と通信するプロセッサであって、プロセッサが、非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、外科用ビデオを受信することであって、外科用ビデオが、外科手技の少なくとも連続的なビデオフレームを含む、受信することと、ビデオフレームの識別を受信することに応答して、ビデオフレームに基づいてブックマークを生成することと、ブックマークをビデオフレームと関連付けることと、ブックマークを保存することと、を行うように構成されている、プロセッサと、を含む。

外科用ビデオをセグメント化するための別の例示的なシステムは、非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体と通信するプロセッサであって、非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、外科用ビデオ、および外科用ビデオ内の異なるビデオフレームを識別する複数のブックマークを受信することと、複数のブックマークのうちの第１のブックマークの識別を受信することと、外科用ビデオの一部分を抽出するためのコマンドを受信することと、外科用ビデオの部分を抽出することであって、外科用ビデオの部分が、ビデオフレームで開始する、抽出することと、外科用ビデオの部分を、非一時的コンピュータ可読媒体に保存することと、を行うように構成されている、プロセッサと、を含む。

外科用ビデオをセグメント化するためのさらなる例示的なシステムは、非一時的コンピュータ可読媒体と、非一時的コンピュータ可読媒体と通信するプロセッサであって、プロセッサ実行可能命令を実行して、検索パラメータを含む検索コマンドを受信することであって、検索パラメータが、（ｉ）外科手技のステップ、（ｉｉ）外科手技のサブステップ、または（ｉｉｉ）外科手技のイベントのうちの１つを含む、受信することと、複数の外科用ビデオのブックマーク情報にアクセスすることと、検索パラメータを使用して、複数のブックマークを識別することであって、複数のブックマークの各ブックマークが、外科用ビデオのうちの１つと関連付けられている、識別することと、検索コマンドに応答して、複数のブックマークのサブセットを提供することと、を行うように構成されている、プロセッサと、を含む。

外科用ビデオをセグメント化するための１つの例示的な非一時的コンピュータ可読媒体は、プロセッサに、外科用ビデオを受信することであって、外科用ビデオが、外科手技の少なくとも連続的なビデオフレームを含む、受信することと、ビデオフレームの識別を受信することに応答して、ビデオフレームに基づいてブックマークを生成することと、ブックマークをビデオフレームと関連付けることと、ブックマークを保存することと、を行わせるように構成されている、プロセッサ実行可能命令を含む。

外科用ビデオをセグメント化するための別の例示的な非一時的コンピュータ可読媒体は、プロセッサに、外科用ビデオ、および外科用ビデオ内の異なるビデオフレームを識別する複数のブックマークを受信することと、複数のブックマークのうちの第１のブックマークの識別を受信することと、外科用ビデオの一部分を抽出するためのコマンドを受信することと、外科用ビデオの部分を抽出することであって、外科用ビデオの部分が、ビデオフレームで開始する、抽出することと、外科用ビデオの部分を、非一時的コンピュータ可読媒体に保存することと、を行わせるように構成されている、プロセッサ実行可能命令を含む。

外科用ビデオをセグメント化するためのさらなる例示的な非一時的コンピュータ可読媒体は、検索パラメータを含む検索コマンドを受信することであって、検索パラメータが、（ｉ）外科手技のステップ、（ｉｉ）外科手技のサブステップ、または（ｉｉｉ）外科手技のイベントのうちの１つを含む、受信することと、複数の外科用ビデオのブックマーク情報にアクセスすることと、検索パラメータを使用して、複数のブックマークを識別することであって、複数のブックマークの各ブックマークが、外科用ビデオのうちの１つと関連付けられている、識別することと、検索コマンドに応答して、複数のブックマークのサブセットを提供することと、を含む。

これらの実例は、この開示の範囲を限定または定義するためではなく、その理解を助けるための実施例を提供するために言及されている。実例は、さらなる説明を提供する発明を実施するための形態で議論される。様々な実施例によって提供される利点は、本明細書を検討することでさらに理解することができる。

本明細書に組み込まれ、かつその一部を構成する添付の図面は、１つ以上の特定の実施例を示し、実施例の説明とともに、特定の実施例の原理および実装を説明するのに役立つ。

外科用ビデオをセグメント化するための例示的なシステムを示している。 外科用ビデオをセグメント化するための例示的なシステムを示している。 外科用ビデオをセグメント化するための例示的なシステムを示している。 外科用ビデオをセグメント化するための例示的なシステムを示している。 外科用ビデオをセグメント化するための例示的なグラフィックユーザインターフェースを示している。 外科用ビデオをセグメント化するための例示的なグラフィックユーザインターフェースを示している。 外科用ビデオをセグメント化するための例示的なメタデータを示している。 外科用ビデオをセグメント化するための例示的な階層的なブックマーク情報を示している。 外科用ビデオをセグメント化するための例示的なグラフィックユーザインターフェースを示している。 外科用ビデオをセグメント化するための例示的なグラフィックユーザインターフェースを示している。 外科用ビデオをセグメント化するための例示的なグラフィックユーザインターフェースを示している。 外科用ビデオをセグメント化するための例示的なグラフィックユーザインターフェースを示している。 外科用ビデオをセグメント化するための例示的なグラフィックユーザインターフェースを示している。 外科用ビデオをセグメント化するための例示的なシステムを示している。 外科用ビデオを検索するための例示的なグラフィックユーザインターフェースを示している。 外科用ビデオを検索するための例示的なグラフィックユーザインターフェースを示している。 外科用ビデオをセグメント化するための例示的な方法を示している。 外科用ビデオをセグメント化するための例示的な方法を示している。 外科用ビデオセグメントを検索するための例示的な方法を示している。 本開示によるシステムおよび方法での使用に適した例示的なコンピューティングデバイスを示している。

本明細書では、外科用ビデオをセグメント化するためのシステムおよび方法との関連において実施例を説明する。当業者は、以下の説明は例示にすぎず、決して限定することを意図するものではないことを認識するであろう。ここで、添付の図面に示されているような実施例の実装形態を詳細に参照する。同じ参照インジケータは、図面および以下の説明全体を通して、同じまたは同様のアイテムを指すために使用される。

明確にするために、本明細書で説明される実施例の日常的な特徴のすべてが示され、説明されるわけではない。もちろん、そのような実際の実装形態の開発では、アプリケーションやビジネス関連の制約の順守など、開発者固有の目標を達成するために、実装固有の多数の決定を行う必要があり、これらの固有の目標は、実装形態ごと、開発者ごとに異なることを認識されたい。

ほとんどの外科手技は完了するまでに数時間かかり、かつ対応するビデオは非常に長いため、それら全体をもう一度見ることはほとんどない。さらに、そのようなビデオを確認することは、技術を学習したり、予期しないイベントを確認したり、または手技中に発生した間違いを評価したりするための貴重な方法であり得るが、関連する情報を単一のビデオで検索するのは面倒であり、一般に「スクラビング」と称される、手動での早送りまたは巻き戻しを行う必要がある。関心のあるビデオが識別されると、開始点および終了点を手動で選択すること、ならびにツールを使用してビデオのセクションを抽出することによるなど、従来のビデオ編集ツールを使用して、ビデオ全体からそのビデオを手動で抽出することができる。しかしながら、ビデオの複数のセグメントが特定の手技の対象として同じ元のビデオから抽出された場合、複数の異なるファイルを個別に管理および維持する必要がある（例えば、ファイルシステム上のフォルダにおいて）。また外科医が後で元のビデオのこれらの異なる部分を表示したい場合は、各個別のビデオを手動で選択し、かつ互いに独立してそれらを見る必要がある。同様に、ビデオを他のユーザと共有するには、抽出したビデオを電子メールまたは一括ファイル転送で送信すること、またはビデオのオンラインコピーへのリンクを提供することのいずれかを行う必要がある。

他の方法では自分のビデオまたは彼らがアクセスする他の外科用ビデオを手動で処理する必要がある外科医の負担を軽減するために、例示的なシステムは、外科医または機械学習（「ＭＬ」）技術が、外科用ビデオ内のポイントを迅速にブックマークし、それらのブックマークを共有し、そのブックマークを使用してすべてのビデオからビデオ（複数可）を抜粋して、外科手技のタイプ、および外科手技内の関心のあるステップ、サブステップ、またはイベントを識別することを可能にする、様々な技術を容易にする。そのような技術により、外科医は、より効率的に外科用ビデオを検討し、手術技術を改善し、エラーおよび是正措置もしくは訓練の必要性を評価し、または特定のタイプの外科手技の特定のステップ、もしくは１つ以上の外科手技中に発生したイベントなどの外科用ビデオの特定の部分についてのビデオのコーパスを検索することが可能になり得る。

この実施例のこの例示的なシステムは、１つ以上のロボット手術システム（それぞれ「ＲＳＳ」）などからの外科用ビデオへのアクセスを有するビデオ処理サーバを含む。ＲＳＳは、様々な外科手技の経過の間に１つ以上の内視鏡カメラからのビデオを記録し、ビデオをローカルに保存して、後でそれらをリモートストレージデバイスに転送するか、またはそれぞれの外科手技中にそれらをリモートストレージにストリーミングすることができる。

ビデオ処理サーバは、様々なタイプの外科手技を認識できるいくつかの訓練されたＭＬ技術を含み、新しい外科用ビデオが提示されると、さらに処理するためにビデオを分類することができる。ＭＬ技術はまた、そのような外科手技で採用され得る外科的ステップを識別することができる。この実施例では、外科手技のタイプが識別された後、次いで、その外科手技のタイプ用に訓練された第２のＭＬ技術が、ビデオ内で行われた様々なステップを識別するために使用される。この第２の訓練されたＭＬ技術は、手技の様々なステップがいつ開始および終了したかを表すタイムスタンプを出力する。第２の訓練されたＭＬ技術からこの情報を受信した後、ビデオ処理サーバは、ブックマークを生成し、それらをメタデータとしてビデオファイル内に挿入する。各ブックマークには、外科手技のそれぞれのステップの名前、およびそれぞれのステップの開始を示すタイムスタンプが含まれている。

外科用ビデオがブックマークされると、そのビデオは処理され、レビューに利用できることを、手技に関与する外科医（または複数の外科医）に通知し得る。このとき、外科医は、ウェブポータルインターフェースを介して処理されたビデオにアクセスすることができる。ウェブポータルは、過去の外科手技からのビデオを外科医に提供し、また医療センター、病院ネットワークなどで利用可能な他の外科用ビデオへのアクセスを与えることができる。

外科医が新しくブックマークされたビデオに最初にアクセスすると、画面の一部をビデオ自体に割り当てるインターフェースが表示される。さらに、インターフェースは、ビデオをスクラブするために使用され得るビデオのタイムラインを提供する。タイムラインはまた、ビデオ処理サーバによって適用されたブックマークの各々を示すマーカーも含む外科医は、ブックマークを選択して、ビデオの対応する部分にジャンプし、かつブックマークされたビデオセグメントを見ることができる。マーカーにはデフォルトでラベルが付いていないが、外科医がカーソルをマーカーの上でホバリングする場合に、関連付けられた外科的ステップが表示される。外科医はまた、ビデオ内のブックマークのリスト、ならびに外科的ステップの名前およびビデオ内で開始するタイムスタンプなどの対応する情報を表示するオプションを有する。

ブックマークは、関心のあるビデオセグメントに直接的にナビゲートするだけでなく、ビデオをさらに操作するためにも使用することができる。例えば、外科医がビデオのセグメントを同僚と共有したい場合、外科医は、ブックマークまたは複数のブックマークを選択し、かつ「共有」オプションを選択して、ビデオおよびブックマークへの参照を含む、同僚へのメッセージを生成することができる。次いで、メッセージにより、受信者はビデオ内のブックマークされた場所にジャンプすることができる。

代替的に、外科医は、対応するブックマークを選択し、かつビデオのセグメント（複数可）を抽出するためにオプションを選択することにより、ビデオのうちの１つ以上のセグメントを選択することができる。セグメントは、次いで、ソーシャルメディアまたはマルチメディアメッセージングサービスを介して電子メールまたはダイレクトメッセージに添付するなどして、個別に（または共同で）同僚と共有したり、セグメントを保存して、各々をソースビデオと関連付けることなどによって、外科医（または他の人）が検討することができるようにサーバ上で簡単に維持したりすることができる。さらに、ビデオセグメントはまた、それらのソースビデオ、各々と関連付けられたブックマーク情報（例えば、ステップ、サブステップ、イベントなど）、および外科手技を実行した外科医（複数可）に基づいて検索するために索引付けされ得る。

この実例は、外科用ビデオの作成および使用に多くの利点をもたらす。例えば、この例示的なシステムは、特定のタイプの外科手技に関する訓練、ならびに発生した問題もしくは論点の術後分析を取得し、または医学生、居住者などの外科医のパフォーマンスを評価することをしたい外科医を助けることができる。さらに、ＭＬ技術を採用して、外科用ビデオの前処理を実行することにより、ビデオは、外科医に負担をかけることなく、何時間もの外科用ビデオを手動で検討して、関心のあるイベントもしくは外科手技の異なるステップを見つけ、またはそのビデオを同僚もしくは学生と一緒に抽出および共有するのに有用であることができる。

この実例は、本明細書で論じられる一般的な主題を読者に紹介するために与えられており、開示はこの実施例に限定されない。以下のセクションでは、様々な追加の非限定的な実施例、および外科用ビデオをセグメント化するためのシステムおよび方法の実施例について説明する。

ここで、図１を参照すると、図１は、外科用ビデオをセグメント化するための例示的なシステム１００を示す。システム１００は、外科用ロボット１２１（１つ以上のアーム１４１を含む）と、カメラ１０１と、光源１０３と、コンピューティングデバイス１０７と、ディスプレイ１１１と、ネットワーク１３１（１つ以上のネットワークを表す）と、マイクロフォン１１２と、外科手技中に収集されたビデオ、音声、およびその他のデータを保存するための１つ以上の非一時的コンピュータ可読媒体を含む、データストア１３３と、を含む。示されるように、外科用ロボット１２１は、外科用器具を保持し（例えば、各アーム１４１がアームの遠位端部で器具を保持し得る）、手術を実行し、疾患を診断し、生検を行い、または医師もしくは外科医が実施し得る他の任意の手技を行うために使用され得る。外科用器具は、メス、鉗子、（例えば、組織を焼灼するための）エネルギーツール、カメラ（例えば、カメラ１０１）などを含み得る。この例示的な外科用ロボット１２１は３つのアーム１４１しか有さないが、外科用ロボット１２１は、単なる代表的な図解であり、外科用ロボット１２１は、実行される手術のタイプなどに応じて、任意の数の形状を取り、任意の数のアームまたはツールなどを含み得ることを理解されたい。外科用ロボット１２１は、有線または無線のいずれかによって、コンピューティングデバイス１０７、ネットワーク１３１、および／またはデータストア１３３に連結され得る。さらに、外科用ロボット１２１は、（無線または有線接続によって）ユーザ入力デバイスに連結されて、外科医または医師からの命令を受信することができる。適切なユーザ入力デバイスは、タッチセンシティブスクリーン、ジョイスティック、フットペダル、ハンドヘルドデバイスまたはコントローラなどを含み、外科用ロボット１２１のうちの１つ以上の外科用ツールを制御するために、または例えば、タッチセンシティブディスプレイを介したコンピューティングデバイス１０７と対話するために使用される、任意の入力デバイスを含み得る。

コンピューティングデバイス１０７、およびコンピューティングデバイス１０７のユーザは、外科用ロボット１２１および患者の非常に近くに（例えば、同じ部屋内に）位置され得るか、または遠隔作業の場合のように、何マイルも離れて位置され得る。したがって、外科用ロボット１２１は、専門家が患者から何マイルも離れた場所で手術を行うために使用され得、外科医からの命令は、インターネットまたはネットワーク１３１などの別のネットワーク（例えば、安全なネットワーク）を介して送信される。代替的に、外科医は、局所的であってもよく、かつペダル、ジョイスティックなどの１つ以上の入力デバイスを使用して、外科用ロボット１２１を手動で制御してもよい。

図示の実施形態では、データストア１３３は、一般に「クラウド」サーバまたは「クラウド」ストレージと称される、インターネットに接続された１つ以上のサーバに含まれ得る。代替的に、データストア１３３は、手術室または外科センターに位置する、例えば、ハードドライブ、ソリッドステートメモリなどのローカルストレージであってもよい。データストア１３３は、インターネットまたはローカルエリアネットワークを含み得るネットワーク１３１に連結され得る。データストア１３３およびネットワーク１３１は、コンピューティングデバイス１０７の部分と見なされ得ることが認識されよう。したがって、コンピューティングデバイス１０７は、いくつかの実施例では分散システムであり得る。ネットワーク１３１およびデータストア１３３は、コンピューティングデバイス１０７によって実行されると、システム１００に様々な動作を実行させるロジックを、コンピューティングデバイス１０７に提供することができる。代替的または追加的に、コンピューティングデバイス１０７は、汎用コンピュータのプロセッサおよびメモリを含み得る。

図示の実施形態では、１つ以上のディスプレイ１１１およびマイクロフォン１１２を備えたコンピューティングデバイス１０７が、外科用ロボット１２１に連結されている。示されるように、カメラ１０１は、外科用ビデオをキャプチャするために連結される。外科用ビデオは、１つが外科用ロボット１２１で実行されるような外科手技中にキャプチャされたビデオを含む。コンピューティングデバイス１０７は、カメラにおいて、またはカメラによって生成されたいくつかの関連付けられたメタデータを含む、ビデオ信号をカメラから受信し、かつそのビデオ信号を、コンピューティングデバイス１０７でローカルに、またはクラウドストレージなどのリモートサーバにストリーミングしてビデオファイルに保存する。さらに、この実施例では、コンピューティングデバイス１０７は、ディスプレイ（複数可）１１１にビデオ信号を提供し、ディスプレイ（複数可）１１１は、外科医が外科用ロボット１２１によって行われたアクションを見ることができるようにするなど、外科手技の実行中にビデオを表示する。いくつかの実施例では、ディスプレイ（複数可）１１１は、タッチ入力を受信し、かつタッチ入力信号をコンピューティングデバイス１０７に提供することができる１つ以上のタッチセンシティブディスプレイを含み得、これを採用して、タッチセンシティブディスプレイ上のオプションを選択するか、またはタッチセンシティブディスプレイ上でジェスチャ（マルチタッチジェスチャを含む）を実行することができる。

リアルタイム、またはビデオ全体がキャプチャされた後のいずれかで、外科用ビデオを受信した後、コンピューティングデバイス１０７は、次いで、外科用ビデオまたは関連付けられたメタデータのうちの少なくとも１つを分析することによって外科用ビデオ内のセグメントを識別し、コンピューティングデバイス１０７は、外科用ビデオに注釈を付けて、セグメントの各々を識別する。この実施例では、コンピューティングデバイス１０７は、ＭＬ技術を採用して、外科手技を認識し、かつ外科手技のセグメントまたはステップを識別する。畳み込みニューラルネットワーク（「ＣＮＮ」）、長短期メモリ（「ＬＳＴＭ」）技術、動的タイムワーピング（「ＤＴＷ」）技術、隠れマルコフモデル（「ＨＭＭ」）、またはそのような技術（例えば、ＣＮＮ－ＬＳＴＭ、ＣＮＮ－ＨＭＭ、またはＭＣＮＮ（マルチスケール畳み込みニューラルネットワーク））のうちの１つ以上の組み合わせなどの、任意の適切なＭＬ技術を訓練して、様々な外科手技を認識することができる。次いで、外科用ビデオを注釈付きでディスプレイ１１１に出力することができる。これにより、外科用ビデオの視聴者は、ビデオの関連部分を迅速に識別して見ることができる。さらに、１つ以上のＭＬ技術をさらに訓練するために使用され得る、注釈付きビデオフィードを提供することもできる。

次に図２を参照すると、図２は、外科用ビデオをセグメント化するための例示的なシステム２００を示している。この実施例では、システム２００は、内視鏡２５１（カメラ２０１を含む）と、コンピューティングデバイス２０７と、ディスプレイ２１１と、ネットワーク２３１と、およびストレージ２３３と、を含む。図示されるように、カメラ２０１は、内視鏡２５１の遠位端部（近位端部の反対側）に配置される。照明源はまた、遠位端部から光を放出するように配置され得る。内視鏡２５１は、コンピューティングデバイス２０７に連結されて、外科用ビデオ２６５をコンピューティングデバイス２０７に出力する。図１に示される例示的なシステム１００と同様に、コンピューティングデバイス２０７は、ネットワーク２３１およびストレージ２３３に連結される。コンピューティングデバイス２０７はまた、ディスプレイ２１１に連結されて、時間的にセグメント化され、かつ注釈が付けられたビデオフィード（ビデオ２６５の再生バー上のラベル１～６で示される）を出力する。

この実施例では、内視鏡２５１は、患者の肺の手術からのビデオを含むビデオ２６５などのビデオを、内視鏡手術などの間に（したがって、いくつかの実施例では「外科用ツール」と見なすことができる）キャプチャすることができる。コンピューティングデバイス２０７は、手術中にカメラ２０１からビデオ信号を受信し、ここで、ビデオ信号はビデオのフレームを表し、受信したビデオを１つ以上のＭＬ技術を使用して時間的にセグメント化し、かつ注釈を付ける。この実施例では、ビデオ信号が受信されると、セグメント化および注釈付けが実質的にリアルタイムで実行される。しかしながら、いくつかの実施例では、ビデオは、コンピューティングデバイス１０７でローカルに、またはストレージ２３３でリモートで、非一時的コンピュータ可読媒体に受信および保存され得、外科手技が完了した後、ビデオは、１つ以上のＭＬ技術によって処理され得る。リアルタイムでのビデオの処理は計算コストが高く、キャプチャされたビデオの解像度とともに増加する可能性があるため、計算負荷の一部を軽減するために、コンピューティングデバイス１０７は、受信したビデオのすべてのフレームを処理するのではなく、代わりに、定期的にビデオフレームをサンプリングし得ることを認識されたい。例えば、コンピューティングデバイス２０７は、毎秒１フレームをサンプリングし、フレームをＭＬ技術に提供して処理することができる。他の実施例では、コンピューティングデバイス２０７は、より高いレートで、またはすべてのフレームで初期前処理を実行して、フレームに興味深い特徴が存在するかどうかを決定し、そうである場合、すべてのフレームの処理を開始するか、またはビデオフィードからのサンプリングレートを、例えば、１フレーム／秒から１０フレーム秒に増やしたり、または受信したすべてのビデオフレームを処理することさえも行うことができる。

例えば、コンピューティングデバイス２０７は、１つ以上のビデオフレームを前処理することなどの初期前処理を実行して、カメラ２０１によってキャプチャされたシーンが最後に処理されたフレームから実質的に変化したかどうかを決定することができる。例えば、外科医が患者の記録を確認する、同僚と相談する、または外科用ロボットのツールを変更するために外科手技を一時停止した場合、コンピューティングデバイス２０７は、２つの連続して処理されるビデオフレームが実質的に同じであること、すなわち、フレーム内の外科用ツールの位置または配向が変更していないことを検出することができる。連続するフレーム間でビデオに変化が生じていない可能性が高いことを示す他の入力が受信される場合がある。例えば、２つのフレーム間で外科用ロボットコントロールから入力が受信されなかった場合（例えば、ペダルが押されておらず、ハンドヘルドコントローラの入力が検出されなかった場合）、外科医は、ＵＩビューを内視鏡ビデオから患者情報などに変更し、コンピューティングデバイス２０７は、シーンが変化していない可能性が高いと決定し得、したがって、サンプリングされたビデオフレームのさらなる処理に従事しない可能性がある。このような前処理により、コンピューティングデバイス２０７上の計算負荷が軽減され得、外科手技から以前にキャプチャされたビデオをセグメント化または注釈付けするなど、他の機能を採用できるようになる可能性がある。代替的に、ＭＬ技術は、ビデオフレーム内の興味深い特徴を検出することができ、それにより、ビデオフレームに対してさらなる処理が実行されるか、または１つ以上のＭＬ技術による処理のためにビデオフレームがサンプリングされるレートが増加され得る。興味深い特徴には、ＭＬ技術によって、外科手技の新しいステップ、外科手技の新しいサブステップ、または外科手技内の認識されたイベントを示すものとして認識されるビデオフレームが含まれる場合がある。

例えば、出血イベントが検出された場合、コンピューティングデバイス２０７は、サンプリングレートを増加して、出血イベントおよび外科医からイベントへの任意の応答をキャプチャする可能性が高いより多くのフレームを処理することができる。これらのフレームは、他のイベントまたはイベント中に発生するサブステップを潜在的にキャプチャするために処理される場合がある。代替的に、そのようなフレームをリアルタイムで処理するのではなく、コンピューティングデバイスは、外科手技が完了した後にフレームを処理すべきであることを示すメタデータで１つ以上のフレームに注釈を付けることができる。そのような注釈は、検出された興味深い特徴に先行するフレーム上の注釈を含み得る。なぜなら、興味深い特徴は、それが検出されたフレームの前に開始しているかもしれないからである。したがって、コンピューティングデバイスは、潜在的なイベントの周囲にリアルタイムで注釈付きウィンドウを生成することができるが、外科手技が完了するまで、計算に費用のかかる処理を節約することができる。

ビデオサンプリングまたはリアルタイム処理を手術中に発生するイベントに適合させることに加えて、そのような検出されたイベントはまた、外科医のための追加情報としてディスプレイ２１１上にリアルタイムで示されてもよい。例えば、出血イベントは、例えば、テキスト表示または検出された出血へのグラフィックオーバーレイ、出血を指す矢印などで視覚的に示されてもよい。いくつかの実施例では、外科手技の検出されたステップが、情報提供の目的で、ディスプレイ上の外科医に提示されてもよい。さらに、いくつかの実施例では、外科医は、検出されたステップが実際に発生していることを確認する１つ以上の入力を提供し得、または検出されたステップが正しくないことを示す入力を提供し得る。そのような情報を使用して、ビデオに注釈を付けたり、またはコンピューティングデバイス２０７もしくはクラウドサーバに常駐するＭＬ技術などの１つ以上のＭＬ技術をさらに訓練したりすることができる。

上述の例示的なシステム２００は、手術室内にローカルに存在するコンピューティングデバイス２０７を含むが、１つ以上のクラウドサーバなどのリモートサーバを採用する他の構成がいくつかの実施例で適切であり得ることを理解されたい。例えば、外科用ビデオは、カメラ２０１からネットワーク２３１を介して、処理および貯蔵のためにリモートサーバに、または上述の機能の特定の態様が実行され得るリモート遠隔手術ステーションにストリーミングされ得る。

次に図３Ａおよび図３Ｂを参照すると、図３Ａは、外科用ビデオをセグメント化するための例示的なシステム３００を示している。例示的なシステム３００は、機能コンポーネントを示すブロック図を含む。システムは、外科用ロボット（図示せず）の部分であるカメラ３１０を含む。カメラ３１０は、１つ以上のＭＬ技術３２２ａ～３２２ｎ（ｎはＭＬ技術の数であり、任意の正の整数であり得る）を有するコンピューティングデバイス３２０に接続される。コンピューティングデバイスは、カメラ３１０からビデオ信号を受信し、かつ１つ以上のサンプリングされたビデオのフレームを、ＭＬ技術３２２ａ～３２２ｎのうちの１つ以上に提供する。例えば、コンピューティングデバイス３２０は、すべてのビデオ信号を１つ以上のＭＬ技術３２２ａ～３２２ｎに方向付けることができ、その後、それを処理のために別個のフレームを個別にサンプリングし得、またはコンピューティングデバイス３２０は、ビデオ信号をサンプリングし、かつ処理のために特定のフレームをＭＬ技術（複数可）３２２ａ～３２２ｎに提供することができる。コンピューティングデバイス３２０はまた、ビデオ情報をデータストア３３０に保存し、データストア３３０は、未処理もしくは注釈付けされていないビデオを含み得、またはＭＬ技術３２２ａ～３２２ｎのうちの１つ以上によって処理もしくは注釈付けされたビデオを含み得る。この実施例では、データストア３３０は、コンピューティングデバイス３２０に直接的に接続されているように示されているが、データストア３３０は、クラウドデータストア、またはリモートサーバに接続されたデータストアであってもよいことは理解されるべきである。

図３Ｂは、図３Ａに示されるシステム３００の変形例である例示的なシステム３５０を示している。この実施例では、コンピューティングデバイス３２０は、ＭＬ技術３２２ａ～３２２ｎを有さないが、代わりに、カメラからビデオ信号を受信し、かつ１つ以上のネットワーク３７０を介してリモートコンピューティングデバイス３６０にビデオ情報を送信する。リモートコンピューティングデバイス３６０は、ＭＬ技術３２２ａ～３２２ｎを採用して、本明細書でより詳細に論じられるようにビデオ情報を処理または注釈付けし、次いで、そのビデオ情報はデータストア３３０に保存される。したがって、いくつかの実施例では、カメラ３１０によってキャプチャされたビデオは、外科手技から遠隔的に処理される。さらに別の例示的な構成を採用することができる。例えば、カメラ３１０は、ローカルコンピューティングデバイス３２０を使用せずに、１つ以上のネットワーク３７０を介してリモートコンピューティングデバイス３６０にビデオ信号を送信することができる。

ここで、図４を参照すると、図４は、外科用ビデオをセグメント化するための例示的なシステムによる例示的なグラフィックユーザインターフェース（「ＧＵＩ」）４００を示している。この例示的なＧＵＩ４００は、図１に示される例示的なシステム１００に関して説明されるが、本開示による任意の適切なシステムが採用されてもよいことを認識されたい。

図４に示されるＧＵＩ４００は、コンピューティングデバイス１０７によって実行されるアプリケーションによって提供される。しかしながら、いくつかの実施例では、ＧＵＩ４００は、図１１に関して以下で論じられるシステム１１００内のサーバ１１４０などのリモートコンピューティングデバイスによってウェブポータルとして提供されてもよい。いくつかの実施例では、ＧＵＩ４００は、図１１に示されるユーザデバイス１１１０、１１２０またはモバイルデバイス１１３０などのコンピューティングデバイス上で実行されるネイティブアプリケーションによって提供され得る。ウェブポータルベースのＧＵＩ４００は、リモートユーザ端末、例えば、ユーザ端末１１１０～１１２０またはモバイルデバイス１１３０でのユーザが、例示的なＧＵＩ４００（ならびに本明細書で論じられる他の例示的なＧＵＩ）と対話することを可能にし得る。この例示的なＧＵＩ４００は、表示画面４１１上に表示され、かつユーザが外科用ビデオ４７１と対話するためのインターフェースを提供する。ＧＵＩ４００は、ビデオ４７１を再生／一時停止する４１６ｂための再生コントロール４１６ａ～４１６ｃを含むビデオウィンドウ４１０と、セグメントスキップ前方向／後方向ボタン４１６ａ、４１６ｃと、を含む。ビデオタイムライン４１２は、ビデオ４７１を通じてスクラブするために使用され得る、タイムラインにおけるビデオ４７１の現在のフレームを示すカーソル４１４とともに示されている。さらに、５つのブックマーク４２２ａ～４２２ｅは、ビデオ４７１のフレームに対応する場所でタイムライン４１２上に位置付けられる。ブックマークを使用して、ビデオ４７１の特定のフレームに迅速にジャンプすることができる。さらに、前方向／後方向スキップボタン４１６ａ、４１６ｃを使用して、ビデオ４７１の異なるセグメントを示す、連続するブックマーク間をジャンプすることができる。

外科用ビデオ４７１の再生を可能にすることに加えて、ＧＵＩ４００はまた、タイトル、主任外科医、ならびに手術の日付および時間を含む、ビデオに関する書誌情報４２０を提供する。さらに、患者情報、外科用ロボット情報（例えば、ツール構成、製造業者、モデルなど）、医療センター情報などを含む、他の任意の適切な書誌情報も同様に含めることができる。さらに、ＧＵＩ４００は、ブックマークを編集し４３０、１つ以上のビデオセグメントを抽出し４４０、ビデオセグメントを共有し４５０、またはビデオを視聴する４６０ためのオプションを提供する。最後に、ＧＵＩ４００は、他の外科用ビデオを検索する４７０ためのオプションを提供する。そのような特徴は、ＧＵＩ内のボタンとして示されているが、代わりに（またはさらに）、ビデオウィンドウ４１０内の文脈依存メニュー４１６内に提示され得る。そのような文脈依存メニュー４１６は、例えば、ビデオ内で右クリックすることによって、またはタイムライン上の１つ以上のブックマーク４２２ａ～４２２ｅを右クリックすることによってアクセスされ得る。これらの特徴の各々は、本開示の以下のセクションでより詳細に説明される。

ここで、図５を参照すると、図５は、外科用ビデオをセグメント化するための例示的なシステムによる例示的なＧＵＩ５００を示している。この例示的なＧＵＩ５００は、図１に示される例示的なシステム１００に関して説明されるが、本開示による任意の適切なシステムが採用されてもよいことを認識されたい。

この実施例のＧＵＩ５００は、外科用ビデオをセグメント化するための機能を提供する。ＧＵＩは、外科用ビデオ４７１を示すためのビデオウィンドウ５１０を含む、いくつかのユーザインターフェース（「ＵＩ」）コンポーネントを含む。ビデオウィンドウ４１０は、ビデオ４７１を手動でスクラブするために使用され得るビデオタイムライン４１２およびカーソル４１４を含む。一時停止、前方向へのセグメントスキップ、および後方向へのセグメントスキップを含むビデオコントロール４１６ａ～４１６ｃも提供される。さらに、ブックマークの変更を元に戻すまたはやり直すために、「元に戻す」および「やり直す」編集コントロール５１８ａ～５１８ｂがまた提供される。見て分かるように、ビデオタイムライン４１２は、外科用ビデオ４７１を処理したＭＬ技術によって適用された５つのブックマーク４２２ａ～４２２ｅを含む。

ビデオウィンドウ４１０に示されるブックマーク４２２ａ～４２２ｅの各々はまた、ビデオウィンドウ４１０の左側のブックマークエディタウィンドウ５２０に複製される。ブックマークエディタウィンドウ５２０により、ユーザは、各ブックマークに関する詳細情報を表示し、各ブックマークの１つ以上のプロパティを編集することができる。この実施例では、ＧＵＩ５００は、ユーザが各ブックマーク４２２ａ～４２２ｅの名前を供給したり、ビデオ内の各ブックマーク４２２ａ～４２２ｅの位置を編集したり、各ブックマークと関連付けられた正確なタイムスタンプを確認したり、ブックマークを追加もしくは削除したり、または外科手技のタイプを指定する５２４ことを可能にする。さらに、ＧＵＩ５００は、ユーザが前のＧＵＩ画面に戻って、異なる機能を選択することを可能にする。

上述のように、ビデオがコンピューティングデバイス１０７によって受信された後、１つ以上のフレームがＭＬ技術に供給されて、外科手技タイプを決定するか、または外科手技内のステップ、サブステップ、もしくはイベントを識別する。したがって、ＭＬ技術（複数可）は、ブックマークなどの１つ以上の注釈をビデオに適用することができる。したがって、ユーザが最初にＧＵＩ５００を使用して外科用ビデオにアクセスすると、ブックマーク（ブックマーク４２２ａ～４２２ｅなど）は、事前に入力され、かつユーザによるカスタマイズまたは使用のためにすぐに利用することができる。この実施例では、ＭＬ技術は、４つのブックマーク４２２ａ～４２２ｄを作成し、ビデオ４７１を胃バイパス手術として認識した。さらに、ＭＬ技術は、４つのブックマーク４２２ａ～４２２ｄの各々に対応するステップを認識し、各々に挿入されたステップ名をブックマークエディタウィンドウ５２０に表示する。ユーザはまた、新しいブックマークを追加するオプションも選択し、かつ新しいブックマーク４２２ｅも作成した。次いで、ＧＵＩ４００は、新しいブックマーク４２２ｅに対応するステップ、サブステップ、またはイベントの名前を入力するオプションをユーザに提示し、ユーザは、ステップ名を「腸間膜欠損を閉じる」として入力する（図８に示すように）。ユーザはまた、対応するタイムスタンプを選択して新しい時間を入力することにより、ブックマークのいずれかに対応する時間を編集することができる。

一方で、ＧＵＩ５００は、ユーザがブックマークを作成、削除、および変更できるようにするブックマークエディタウィンドウ５２０を提供する。ユーザはまた、この詳細な説明に関して説明された例示的なＧＵＩのいずれかにおいて、ビデオウィンドウ４１０内のブックマーク４２２ａ～４２２ｅと直接的に対話することができる。例えば、ユーザは、ブックマークをタッチするか、またはマウスカーソルをブックマークの上に移動してボタンをクリックすることなどによって、ブックマークを選択して、ビデオ４７１のブックマークされたフレームにジャンプすることができる。ユーザはまた、ブックマークを選択し、タイムライン４１２に沿って新しい場所にドラッグすることにより、ブックマークの位置を編集することができる。いくつかの実施例では、ブックマークをドラッグすることでまたビデオをスクラブすることによって、ユーザはブックマークの動きに対して即座にフィードバックを受信するが、そのような機能は、いくつかの実施例では採用されない場合がある（またはユーザがオプションで有効もしくは無効にする場合がある）。ユーザがブックマークの編集を完了すると、ユーザは、図４に示すＧＵＩ４００に戻って、リビジョンを保存することができる。

この実施例では、システム１００は、ブックマークを、外科用ビデオファイル（複数可）と関連付けられたメタデータとして保存する。ブックマークの保存は、「保存」ボタンを押すなどの明示的なユーザコマンドによって開始され得る。または、システム１００は、ユーザが不要な編集を元に戻しながら、ユーザがそれらを編集するときに既存のブックマークへの変更を自動保存することができる。

ここで、図６を参照すると、図６は、図４～図５に示されている外科用ビデオ４７１と関連付けられた例示的なメタデータ６００を示している。メタデータ６００は、外科用ビデオファイルのうちの１つ以上内に保存されてもよく、または外科用ビデオファイルと関連付けられた別個のファイルとして保存されてもよい。関連付けは、例えば、関連付けられたビデオファイルと同じファイル名を使用するが、拡張子が異なるコンパニオンメタデータファイルのファイル名によって生成または維持され得る。例えば、外科用ビデオのビデオファイルがｓｕｒｇａｇｅ＿ｖｉｄｅｏ．ｍｐ４と呼ばれる場合、メタデータファイルは、ファイルがブックマークファイルであることを示すために、ｓｕｒｇｅｒｙ＿ｖｉｄｅｏ．ｂｏｏｋという名前にすることができる。いくつかの実施例では、関連付けは、例えば、図６に示すように、関連付けられたビデオファイル（複数可）の名前をメタデータ自体に含めることによって生成または維持され得る。

この実施例では、メタデータ６００は、マークアップ言語を使用して作成されている。注釈は、「ｖｉｄｅｏ＿ａｎｎｏｔａｔｉｏｎｓ」というタグ内に設定され、かつ関連付けられたメタデータを有するいくつかの異なるタグを含む。注釈と関連付けられたビデオは、＜ｖｉｄｅｏ＞タグ６１０によって識別される。この場合、関連付けられた動画はファイル名で識別される。しかしながら、いくつかの実施例では、それは、フルパスおよびファイル名によって、または例えば、ユニフォームリソースロケータ（「ＵＲＬ」）、識別番号などの他の識別情報によって識別される場合がある。

関連付けられたビデオファイルに加えて、メタデータ６００は、ビデオ６１２のタイプおよびサブタイプを識別する情報、ならびに例えば、ビデオのタイトル、外科医（複数可）の名前（複数可）、手術の日付および時間などのその他の特定の情報を含む。そのような情報は、後で検索するためにビデオファイルにインデックスを付けるために、または図４～図５に示すＧＵＩ４００、ＧＵＩ５００などでビデオが再生されるときにビデオに関する情報として提示するために使用され得る。例えば、再び図４を参照すると、書誌情報４２０は、タイトル、外科医の名前、手術の日付、および手術の時間を含む、メタデータから抽出された情報のうちのいくつかを提供する。残りのメタデータは取り込まれたが、明示的に表示されない可能性がある。例えば、タイプおよびサブタイプ情報６１２は、解析および取り込まれており、ＧＵＩ４００内には表示されないが、ユーザが他の外科用ビデオの検索を実行することを選択した場合、１つ以上の検索フィールドを自動入力するために使用され得る。

再び図６を参照すると、上記の情報に加えて、メタデータ６００は、図４および図５に示される例示的なＧＵＩ４００、ＧＵＩ５００に示されるブックマーク４２２ａ～４２２ｅに対応する５つのブックマーク６２２ａ～６２２ｅを記述するメタデータを含む。図示した通り、各ブックマークは、＜ｂｏｏｋｍａｒｋ＞＜／ｂｏｏｋｍａｒｋ＞タグのペアによって確立されている。各ブックマークには、それぞれのブックマークを定義する情報が含まれている。例えば、ブックマーク６２２ａは、４つのタグ：「ステップ」タグ６２４、「名前」タグ６２５、「開始」タグ６２６、および「終了」タグ６２７を含む。

「ステップ」タグ６２４は、この実施例では、ビデオに示されている外科手技のステップを表す。「ステップ」タグ自体には、胃バイパスタイプの手術の特定のステップに対して定義されたプリセットの標準化された値がある。したがって、システム１００は、例えば、Ｂｙｐａｓｓ＿Ｐｏｕｃｈ＿Ｃｒｅａｔｅなどの標準化されたステップと関連付けられている、Ｇａｓｔｒｉｃ＿Ｂｙｐａｓｓなどの異なる標準化された手術タイプを含む。したがって、Ｇａｓｔｒｉｃ＿Ｂｙｐａｓｓ外科用ビデオのために新しいブックマークが作成されると、ユーザまたはシステム１００は、ブックマークと関連付けられる標準化されたステップのうちの１つを選択することができる。このような標準化により、外科用ビデオおよび外科用ビデオ内のステップの一貫した識別が可能になり、かつ一貫した検索結果が可能になる場合がある。

「ステップ」タグは、ブックマークメタデータ内のオプションのタグであることを理解されたい。ブックマークは、ビデオの任意の時点で任意に作成され得、特定のステップに関連付ける必要はないが、いくつかの実施例では、ブックマークを標準化されたステップ、サブステップ、またはイベントのみに制限することが望ましい場合がある。さらに、上述のように、＜サブステップ＞または＜イベント＞タグなどの他のタイプのタグを採用することができる。そのようなタグは、「ステップ」タグの代わりに使用して、それぞれのブックマークと関連付けられたサブステップまたはイベントを識別することができる。また、この実施例では、システム１００は標準化された手術のタイプならびにサブタイプ、ステップ、サブステップ、およびイベントを採用するが、いくつかの実施例では、これらのタグのいずれかまたはすべてに、一部またはすべてのユーザでは標準化されている可能性がある、または標準化されていない可能性があるユーザ定義情報が含まれている場合がある。

ブックマーク６２２ａを再び参照すると、ブックマーク６２２ａはまた、ブックマーク６２２ａに関するさらなる情報を含む「名前」、「開始」、および「終了」タグを含む。この実施例の「名前」タグには、ＧＵＩ４００、ＧＵＩ５００に表示され得るブックマークの名前が保存されている。例えば、ユーザは、ブックマーク４２２ａの上にカーソルをホバリングし得るか、またはブックマーク４２２ａを押し続け得ると、そのことによって、ＧＵＩ４００、ＧＵＩ５００に、「名前」タグに保存された情報を表示させることができる。代替的に、ユーザは、表示された各ブックマークのそれぞれの名前を含み得る、外科用ビデオ内で利用可能なブックマークのリストを提示され得る。

「開始」および「終了」タグは、ビデオ内のタイムスタンプを含み、ブックマークと関連付けられたビデオ４７１内の特定のフレームを識別するために使用され得る。「開始」タグ６２６は、ビデオ４７１内のブックマーク６２２ａの場所、およびビデオタイムライン４１２上にブックマーク４２２ａの視覚的インジケータを表示する場所を示す。したがって、ユーザがブックマークの場所を調整すると、「開始」タグによって保存された値が変更される可能性がある。この実施例の開始タグは分と秒を使用してビデオフレームを指定しているが、他の形式を使用することもできる。例えば、開始タグは、（時間）：分：秒．フレームを使用してフレーム番号を指定することができる。例えば、ビデオが２４フレーム／秒で記録される場合、「開始」タグは、３：０２．１４として表され得、これはビデオの３：０２マークの後の１５^番目のフレームを示し、ここで、フレームには０～２３の番号が付けられる。異なる実施例によれば、さらに他のフレーム番号付け規則を採用することができる。

「終了」タグは、ブックマーク６２２ａと関連付けられたビデオセグメントの終了を表す。したがって、いくつかの実施例によれば、ブックマークは単一のフレームまたはビデオのセグメントを表すことができる。ブックマークにさらにブックマークが埋め込まれている場合は、「終了」タグを採用することができる。例えば、ブックマークは、ステップ、ステップのうちの１つ以上のサブステップ、またはステップ中に発生する１つ以上のイベントを識別するためなど、階層内に確立され得る。したがって、「終了」タグはステップの終了を明示的に示すことができ、一方で追加の子ブックマークは、ブックマークによって確立されたビデオセグメント内で定義され得る。代替的に、いくつかの実施例では、同じ階層レベルでの別のブックマークに到達すると、デフォルトで１つのビデオセグメントが終了する場合がある。

ここで、図７を参照すると、図７は、一実施例による、外科用ビデオの例示的なブックマーク階層７００を示している。この実施例では、階層は、４つのステップ７１０～ステップ７４０を持つ外科用ビデオから開始する。ステップ１（７１０）は、２つのサブステップ７１２、サブステップ７１４およびイベント７１６を有する。さらに、サブステップ２（７１４）は、２つのさらなるサブステップ７１４．１～サブステップ７１４．２を有する。同様に、ステップ２（７２０）は、関連付けられたイベント７２２を有する。ステップ３～ステップ４（７３０～７４０）には、サブステップはない。このようなサブステップおよびイベントは、以下の抜粋と同様のメタデータを使用して表され得る。
＜ｂｏｏｋｍａｒｋ＞
＜ｓｔｅｐ＞Ｓｔｅｐ １＜／ｓｔｅｐ＞
＜ｂｅｇｉｎ＞１０：００＜／ｂｅｇｉｎ＞
＜ｅｎｄ＞３０：００＜／ｅｎｄ＞
＜ｂｏｏｋｍａｒｋ＞
＜ｓｔｅｐ＞Ｓｕｂ－Ｓｔｅｐ １＜／ｓｔｅｐ＞
＜ｂｅｇｉｎ＞１１：１５＜／ｂｅｇｉｎ＞
＜ｅｎｄ＞１３：３０＜／ｅｎｄ＞
＜／ｂｏｏｋｍａｒｋ＞
＜ｂｏｏｋｍａｒｋ＞
＜ｓｔｅｐ＞Ｓｕｂ－Ｓｔｅｐ ２＜／ｓｔｅｐ＞
＜ｂｅｇｉｎ＞１３：３０＜／ｂｅｇｉｎ＞
＜ｅｎｄ＞１６：００＜／ｅｎｄ＞
＜ｂｏｏｋｍａｒｋ＞
＜ｓｔｅｐ＞Ｓｕｂ－Ｓｔｅｐ Ａ＜／ｓｔｅｐ＞
＜ｂｅｇｉｎ＞１４：００＜／ｂｅｇｉｎ＞
＜ｅｎｄ＞１５：００＜／ｅｎｄ＞
＜／ｂｏｏｋｍａｒｋ＞
＜ｂｏｏｋｍａｒｋ＞
＜ｓｔｅｐ＞Ｓｕｂ－Ｓｔｅｐ Ｂ＜／ｓｔｅｐ＞
＜ｂｅｇｉｎ＞１５：００＜／ｂｅｇｉｎ＞
＜ｅｎｄ＞１６：００＜／ｅｎｄ＞
＜／ｂｏｏｋｍａｒｋ＞
＜／ｂｏｏｋｍａｒｋ＞
＜ｂｏｏｋｍａｒｋ＞
＜ｓｔｅｐ＞Ｅｖｅｎｔ １＜／ｓｔｅｐ＞
＜ｂｅｇｉｎ＞１７：４５＜／ｂｅｇｉｎ＞
＜／ｂｏｏｋｍａｒｋ＞
＜／ｂｏｏｋｍａｒｋ＞

そのような階層的なブックマークを採用することで、外科用ビデオのより豊富な注釈、およびビデオ内の関心のあるセグメントへのより簡単なナビゲーションが可能になり得る。さらに、階層的なブックマークは、ビデオのタイムライン上またはコンパニオンナビゲーションウィンドウ内のブックマークの縮小および展開を可能にする場合がある。

例えば、図８を参照すると、図８は、外科用ビデオをセグメント化するための例示的なＧＵＩ８００を示している。この実施例では、ＧＵＩ８００は、外科用ビデオについての再生機能を提供する。ＧＵＩ８００は、再生コントロール４１６ａ～４１６ｃを有する、図４に示したビデオウィンドウ４１０を提供する。さらに、図４に示される例示的なＧＵＩ４００のように、ビデオタイムライン４１２は、ユーザがビデオ４７１の特定のフレームにすぐにジャンプすることを選択することができる複数のブックマーク４２２ａ～４２２ｅ、８２０を含む。例えば、ユーザは、（タッチセンシティブ入力デバイスを使用して）タッチするか、またはカーソルを移動してブックマークアイコン４２２ａ～４２２ｅ（各々が数字または文字のある円）のうちの１つを選択して、再生カーソル４１４をブックマークに対応するビデオフレームにすぐにジャンプすることができる。

代替的に、ユーザは、ビデオウィンドウ４１０の左側に示されるブックマークのリストからブックマークのうちの１つ以上を選択することができる。この実施例では、各ブックマーク４２２ａ～４２２ｅは、リスト化され、かつブックマークの対応する説明、ならびにビデオ内の対応するタイムスタンプを含む。ユーザは、リスト内のブックマークのいずれかを選択して、ビデオ４７１の対応するフレームにジャンプすることができる。代替的に、ユーザは、ＣＴＲＬを押しながらブックマークを選択するなどして複数のブックマークを選択することができ、次いで、最初の（一時的な）ブックマークから開始して継続的に外科用ビデオを再生し、次に、ビデオのセグメントをスキップする場合であったとしても、次のブックマークにシームレスに進むことができる。例えば、ユーザがブックマーク１、ブックマーク３、およびブックマーク４（４２２ａ、４２２ｃ、４２２ｄ）を選択し、「再生」を押した場合、ビデオウィンドウ４１０は、ブックマーク１（４２２ａ）に対応するフレームから開始するビデオを表示し得、ブックマーク２（４２２ｂ）に到達すると、ブックマーク３（４２２ｃ）にスキップし得、ブックマーク４（４２２ｄ）の最後まで再生を続けると、ビデオが停止し得るか、ブックマーク１（４２２ａ）で再び再開し得る。

さらに、ブックマーク４２２ｂはネストされたブックマーク「Ａ」（８２０）を有するので、ＧＵＩ８００は、ブックマークリストを展開または縮小して、そのようなネストされたブックマークを表示または非表示にするオプション８１０を提供する。ブックマークリスト、またはブックマークリストの部分が縮小されている場合、対応するオプション８１０とともに、トップレベルのブックマーク４２２ａ～４２２ｅのみがリスト内およびタイムライン上に示され、それぞれのトップレベルのブックマーク４２２ａ～４２２ｅのネストされたブックマーク８２０を展開する。トップレベルのブックマーク４２２ａ～４２２ｅのいずれかまたはすべてが階層に従ってネストされたブックマークを有することができ、その各々が独立して展開または縮小（またはいくつかの実施例では、全体的に展開または縮小）され得ることを認識されたい。代替的に、ユーザは、特定のブックマーク、例えば、ブックマーク４２２ｂのタイムライン上の展開／縮小オプションにアクセスして、そのネストされたブックマーク、例えば、ブックマーク８２０を表示または非表示にすることができる。例えば、ユーザはブックマークを押し続けて、そのようなオプションにアクセスすることができ、またはユーザは、ブックマークを右クリックして、そのようなオプションを含む文脈依存メニューを取得することができる。したがって、ブックマーク階層は、図７に示すようにメタデータによって表され得、図８の例示的なＧＵＩ８００に示すようにブックマーク一覧の展開／縮小を使用するなどを含むいくつかの異なる方法でアクセスされ得る。

再び図６を参照すると、値を欠くタグは、ブックマーク６２２ｅのように、メタデータ内に表されていない。ブックマーク６２２ｅは、「開始」タグのみを含み、他のブックマーク６２２ａ～６２２ｄ内に存在するような対応する「ステップ」、「名前」、または「終了」タグを含まない。この実施例では、システム１００はメタデータを読み取り、「開始」タイムスタンプが１：０２：５６であるものとしてブックマークを取り込むが、対応する標準化されたステップまたはブックマークと関連付けられた名前は識別していない。いくつかの実施例では、そのようなフィールドごとにデータを入力するオプションがユーザに提示される場合があり、その後、それは適切なタグを使用してメタデータに保存される場合がある。しかしながら、いくつかの実施例では、値のないタグが、依然としてメタデータ内に存在する可能性があるが、データはない。例えば、ブックマーク６２２ｅは、いくつかの実施例では以下のように表され得る：
＜ｂｏｏｋｍａｒｋ＞
＜ｓｔｅｐ＞＜／ｓｔｅｐ＞
＜ｎａｍｅ＞＜／ｎａｍｅ＞
＜ｂｅｇｉｎ＞１：０２：５６＜／ｂｅｇｉｎ＞
＜ｅｎｄ＞＜／ｅｎｄ＞
＜／ｂｏｏｋｍａｒｋ＞

図６には特定のタイプのメタデータのみが示されているが、異なる実施例によれば、任意の適切なメタデータを採用することができることを理解されたい。例えば、ユーザ提供の注釈、例えば、メモ、コメント、スコアリング情報などの他の情報は、メタデータに保存されてもよい。再び図５を参照すると、ユーザは、「新しいブックマークの追加」オプションを選択して、ビデオのある時点で新しいブックマークを追加し、「メモ」フィールド内のブックマークにコメントまたはフィードバックを入力することができる。このような情報は、次いで、ブックマークと関連付けられた＜ｎｏｔｅ＞＜／ｎｏｔｅ＞または＜ｃｏｍｍｅｎｔ＞＜／ｃｏｍｍｅｎｔ＞タグ内のメタデータに保存され得る。別のビデオ（またはビデオブックマーク）へのハイパーリンク（例えば、＜ｌｉｎｋ＞＜／ｌｉｎｋ＞タグ）などのさらなる他のタイプの情報は、外科手技のステップの特に良い実施例または悪い実施例などの表示されたビデオ４７１との比較を提供することができる。さらに他のタイプの情報は、異なる実施例または設計パラメータに従ってメタデータに保存されてもよい。

ここで、図９Ａを参照すると、図９Ａは、ユーザが外科用ビデオから１つ以上のビデオセグメントを抽出することができるようにする例示的なＧＵＩ９００を示している。この例示的なＧＵＩ９００は、図４に関して上記で説明したビデオウィンドウ４００を含み、外科用ビデオ４７１と関連付けられたブックマークのリストを提供する。上述したように、リストされたブックマーク４２２ａ～４２２ｅの各々について、識別子がビデオタイムライン４１２上に位置付けられる。

上述したように、外科用ビデオは数時間かかる場合がある。したがって、ビデオ４７１の特定の部分のみを検討するために、ユーザは、ビデオを手動でスクラブして、ビデオの興味深い部分を見つけ得る。このようなプロセスは、面倒であり、かつそのような外科用ビデオの有用性を制限する可能性がある。この問題に対処するのを助けるために、本開示によるシステムおよび方法は、ユーザが、外科用ビデオ４７１と関連付けられたブックマークを使用することによって、特定のビデオセグメントを効率的に抽出することを可能にする。上述のように、ブックマークは、最初に、手術のタイプおよび手術の個々のステップの認識に基づいて、１つ以上のＭＬ技術によって作成され得、ユーザは、後でブックマークを調整したり、新しいブックマークを追加したり、または既存のブックマークを削除したりすることができる。ブックマーク４２２ａ～４２２ｅが確立され、かつビデオ４７１と関連付けられると、ＧＵＩ９００は、ユーザがブックマークを採用して、ビデオセグメントを選択し、それらのセグメントを別個の外科用ビデオとして抽出することを可能にする。この例示的なＧＵＩ９００を使用して１つ以上のビデオセグメントを抽出するために、ユーザは、１つ以上のブックマーク４２２ａ～４２２ｅを選択し、「個々のビデオセグメントを抽出する」９１０または「［ａ］単一のビデオを抽出する」９２０のいずれかのオプションを選択する。

この例示的なＧＵＩ９００はブックマークの使用を具体的に示しているが、いくつかの実施例では、ブックマークを使用して、ビデオの１つ以上のセグメントを確立する必要がない場合があることを認識されたい。むしろ、いくつかの実施例では、ユーザがブックマークを選択せず、ビデオセグメントを抽出するオプションを選択することができる場合がある。次いで、ユーザはビデオ内の任意の開始点および終了点を指定して、ビデオセグメントを作成することができる。次いで、コンピューティングデバイスは、供給された開始点および終了点に基づいて、ビデオセグメントを抽出することができる。ユーザが複数の開始点および終了点を指定した場合、コンピューティングデバイスは、次いで、開始点および終了点の各ペアについてのビデオセグメントを抽出し得る。さらに、いずれかの開始点はまた、前のセグメントの終了点として機能する場合がある。同様に、いずれかの終了点はまた、次のセグメントの開始点として機能する場合がある。コンピューティングデバイスはさらに、ユーザがソースビデオへのブックマークとして開始点および終了点のいずれかまたは両方を確立することも可能にすることができる。

ここで、図９Ｂを参照すると、図９Ｂは、ユーザが３つのブックマーク４２２ｂ～４２２ｄを選択したＧＵＩ９００を示している。ブックマークを選択した後、ユーザは２つの抽出オプション９１０、９２０のうちの１つを選択して、１つ以上のビデオセグメントを抽出する。代替的に、ユーザは、例えば、タイムライン４１２内のブックマーク４２２ｂを右クリックするか、またはブックマーク４２２ｂをタッチして保持することにより、文脈依存メニュー９３０を開き、そのメニューから所望のオプション９１０、９２０を選択することができる。この実施例では、ユーザが「個々のビデオセグメントを抽出する」オプション９１０を選択した場合、システム１００は、２つの新しいビデオファイルを生成する。第１のビデオファイルには、ブックマーク２（４２２ｂ）で開始し、かつブックマーク３（４２２ｃ）で終了するビデオフレームが含まれ、一方で、第２のビデオファイルには、ブックマーク３（４２２ｃ）で開始し、かつブックマーク４（４２２ｄ）で終了するビデオフレームが含まれる。新しい各ビデオファイルには、外科用ビデオ４７１の名前に基づいて、ビデオの開始を示すブックマークの名前を含むデフォルトのファイル名が与えられる。例えば、外科用ビデオ４７１のファイル名は、「ＧａｓｔｒｉｃＢｙｐａｓｓ＿ＤｒＳａｍＢｒｏｗｎ＿１４１１２０１７１６３０．ｍｐ４」である。したがって、第１のビデオファイルには、「ｇａｓｔｒｏｊｅｊｕｎａｌ＿ａｎａｓｔｏｍｏｓｉｓ＿ＧａｓｔｒｉｃＢｙｐａｓｓ＿ＤｒＳａｍＢｒｏｗｎ＿１４１１２０１７１６３０．ｍｐ４」というファイル名を割り当てることができる。第２のビデオファイルには、同じ規則に従ってファイル名を割り当てることができる。

この実施例では、ビデオの抽出には、抽出されたビデオファイルのメタデータを生成することも含まれており、これには、新しいメタデータの作成、または外科用ビデオのメタデータから対応するメタデータのコピー、および新しいメタデータと抽出されたビデオとの関連付けなどが含まれ得る。例えば、第１のビデオファイルには、＜ｔｙｐｅ＞、＜ｓｕｂｔｙｐｅ＞、＜ｓｕｒｇｅｏｎ＞、＜ｄａｔｅ＞、および＜ｔｉｍｅ＞タグなどの図６に示すメタデータ６００からコピーされた情報を含めることができるが、＜ｖｉｄｅｏ＞タグには、それぞれの抽出されたビデオファイルのファイル名を含めることができ、＜ｔｉｔｌｅ＞タグには、抽出されたビデオに基づく情報、例えば、初期ブックマーク４２２ｂ：＜ｔｉｔｌｅ＞Ｇａｓｔｒｏｊｅｊｕｎａｌ Ａｎａｓｔｏｍｏｓｉｓ－Ｇａｓｔｒｉｃ Ｂｙｐａｓｓ－Ｈｉｇｈ ＢＭＩ＜／ｔｉｔｌｅ＞の名前を含めることができる。コピーされたメタデータは、階層的なブックマーク方式に従って、ネストされたブックマークについてのブックマーク情報を含むことができる。このようなコピーは、外科用ビデオ４７１の抽出されたセグメント（複数可）内に埋め込まれたブックマークを保存することができる。

「個別のビデオセグメントを抽出する」オプション９１０を選択する代わりに、ユーザは、「単一のビデオを抽出する」オプション９２０を選択してもよい。この実施例では、そのような選択により、システム１００は、ブックマーク４２２ｂで開始し、かつブックマーク４２２ｄで終了するすべてのビデオフレームを含む単一のビデオファイルを生成する。連続していないブックマーク、例えば４２２ａ、４２２ｃ、４２２ｄが選択された場合、一部の例示的なシステムでは、ブックマーク４２２ａとブックマーク４２２ｂとの間、ならびに４２２ｃと４２２ｄとの間でビデオフレームを抽出し、それらを単一のビデオファイルに保存することができる。あるいは、いくつかの実施例では、選択された各ブックマークを選択されたセグメントとして扱うことができ、したがって、ブックマーク４２２ａ、４２２ｃ、および４２２ｄを選択すると、一部のシステムでブックマーク４２２ａ～４２２ｂ、４２２ｃ～４２２ｄ、および４２２ｄ～４２２ｅ間のすべてのフレームが抽出され得る。さらに別の変形例が、異なる実施例に従って採用されてもよい。次いで、システム１００はまた、ビデオフレームを単一のファイルに抽出し、また、「個別のビデオセグメントを抽出する」オプション９１０に関して一般的に上述したように、抽出されたビデオと関連付けられたメタデータを作成する。新たに作成されたビデオファイルは、上述のように、外科用ビデオ４７１のファイル名、ならびにビデオファイルを作成するために採用されたブックマークのインジケータを含み得る。

したがって、図９Ａおよび図９Ｂに示される実施例などの例示的なＧＵＩを採用すると、ユーザは、外科用ビデオ４７１から１つ以上のビデオセグメントを容易に抽出することができる。そのような機能は、外科医が外科用ビデオ４７１全体ではなく短いビデオクリップにすぐにアクセスすることができるため、後で手術を検討するときの外科医の負担を減らすことができる。さらに、外科医は、ビデオセグメントのコピーをより容易に取得または共有することが可能となり得、これは、すべての外科用ビデオ４７１よりもサイズがかなり小さい可能性が高い。

この実施例に従って説明される特定のＧＵＩ９００および技術は、異なるグラフィック機能またはインターフェース要素を用いて異なる方法で実装され得るが、しかしながら、このような実施例ではすべて、ユーザがビデオの関連部分を簡単に選択して、かつそれらを１つ以上のファイルに抽出することができることを認識されたい。

ここで、図１０Ａおよび図１０Ｂを参照すると、図１０Ａは、ユーザが外科用ビデオのセグメントを他の人と共有することを可能にする例示的なＧＵＩ１０００を示している。この実施例では、ＧＵＩ１０００は、図４に関して上述したように、外科用ビデオ４７１を示すビデオウィンドウ４１０をユーザに提示する。さらに、ＧＵＩ１０００は、ビデオに対して確立されたブックマーク４２２ａ～４２２ｅを示す。

１つ以上のビデオセグメントを共有するために、ユーザは、ビデオ内の１つ以上のブックマーク４２２ａ～４２２ｅを選択し、かつ「ビデオセグメントを共有する」ボタン１０１０を選択するか、またはユーザは、右クリック（または長押しなど）して、２つのオプションがある文脈依存メニュー開いて、ビデオセグメントのみを共有する、またはピンでビデオを共有することができる。この実施例では、ユーザはブックマーク４２２ｃを選択し、文脈依存メニュー１０２０を開いて、「ビデオセグメントのみを共有する」オプションを選択している。

次に図１０Ｂを参照すると、図１０Ｂは、ユーザがボタン１０１０を選択した後にダイアログウィンドウ１０３０を開いた例示的なＧＵＩ１０００を示している。ボタン１０１０または文脈依存メニュー１０２０のいずれかを介してアクセスされ得るダイアログウィンドウ１０３０は、ビデオセグメントを共有するためのオプションをユーザに提供する。この実施例では、ＧＵＩ１０００は、共有のタイプ１０３２を選択するためのオプション、ビデオセグメント（複数可）を共有する人１０３４を選択するためのオプション、およびビデオセグメント（複数可）を投稿するためのチャネル（複数可）１０３６を選択するためのオプションを提供する。

「共有タイプ」オプションは、文脈依存メニュー１０２０からのオプションを反映しており、文脈依存メニュー１０２０でのユーザの選択に基づいて、オプションが選択されている。ユーザが代わりにボタン１０１０を選択した場合、「共有タイプ」オプション１０３２は選択されていないものとして表示されるが、いくつかの実施例では、デフォルトで１つのオプションが選択され得る。

この実施例に示されている２つのオプションは、「ビデオセグメント（複数可）のみを共有する」および「ピンでビデオを共有する」である。「ビデオセグメント（複数可）のみを共有する」オプションは、図９Ａおよび図９Ｂに関して上述したビデオセグメント抽出機能の側面を採用している。ユーザがこのオプションを選択した場合、上述したように、選択したブックマークに基づいてビデオセグメントが抽出され、次いで、そのビデオセグメントは、以下で説明するように、選択した人またはチャネルと共有される。しかしながら、ユーザが「ピンでビデオを共有する」を選択した場合、ビデオ全体が、選択された人または連絡先と共有され、ビデオカーソル４１４が最初に受信者のビデオプレーヤーに設定されるインジケータが付けられる。次いで、受信者は、「ピン留めされた」場所から、例えば、特定のブックマークから、すぐにビデオの再生を開始することができる。

「人に送信する」セクションには、ユーザがビデオセグメント（複数可）を共有する１人以上の人を選択することができるドロップダウンメニューが提供される。例えば、ユーザは、名前のドロップダウンリストから１人以上の同僚、管理者などを選択することができる。この実施例の名前のリストには、システム１００に登録され、外科用ビデオを受信することを許可されたユーザが入力されている。ドロップダウンリスト内で、ユーザは、ビデオセグメント（複数可）を共有する各名前を選択することができる。いくつかの実施例では、ＧＵＩ１０００はまた、ユーザが電子メールアドレス、ユーザ名、またはユーザ識別番号などのユーザ情報を入力して、ビデオセグメント（複数可）を共有する人を識別することを可能にすることができる。そのようなフィールドはまた、ユーザがフィールド内に情報を入力するときにシステムが受信者オプションを提示することができるようにするオートコンプリート機能を提供し得る。

ビデオの人々を共有することに加えて、またはその代わりに、ＧＵＩ１０００は、ビデオセグメント（複数可）を１つ以上のチャネルに投稿するためのオプションを提供する。例えば、手術センターは、手術中にその外科医およびスタッフがアクセスすることができる１つ以上のオンラインチャネルを提供して、次の手術の前に情報を投稿または確認したり、コメントまたは質問を投稿したりすることができる。さらに、チャネルにより、ユーザはビデオコンテンツを投稿して、手術センターの他のユーザからのレビューまたはコメントを求めることが可能になり得る。代替的に、チャネルは、システム１００が直接アクセスして、１つ以上のビデオセグメントをアップロードすることができる、ＹｏｕＴｕｂｅ（登録商標）などのソーシャルメディアサイト上のビデオチャネルを含むことができる。チャネルは、使用可能なチャネルのドロップダウンリストでアクセスされ得る。また、いくつかの実施例では、ユーザは、例えば、ユーザのＹｏｕＴｕｂｅ（登録商標）チャネルのリストを提供するＹｏｕＴｕｂｅ（登録商標）アカウントなどのログイン情報を提供することなどによって、１つ以上のチャンルについてのアクセス情報を提供することができる。さらに他のタイプのチャネルは、異なる実施例に従って選択されてもよい。

「共有タイプ」オプション１０３２および１人以上の受信者を選択した後、人々またはチャネルに関係なく、ユーザは、「共有」ボタンを選択して、選択したビデオセグメント（複数可）を共有することができる。しかしながら、ユーザが気が変わった場合、ユーザは、共有操作を「キャンセル」して、図１０Ａに示すＧＵＩ１０００のメイン画面に戻ることができる。

ここで、図１１を参照すると、図１１は、外科用ビデオをセグメント化するための例示的なシステム１１００を示している。図１１に示されるシステム１１００は、図１０Ａおよび図１０Ｂに関して上述したようにビデオを共有することができるようにするのに適し得るが、本開示による任意の適切なシステムを採用することができる。システム１１００は、ネットワーク１１６０を介してサーバ１１４０と通信する、２つのユーザステーション１１００、１１２０およびモバイルデバイス１１３０を含む。この実施例では、ネットワーク１１６０は、インターネットであるが、異なる実施例によって任意の適切なネットワークまたはネットワークの組み合わせであってもよい。サーバ１１４０は、ローカルデータストア１１４２へのアクセスを有する。外科用ロボット１１７０は、ネットワーク１１６０を介してサーバ１１４０にも接続される。さらに、サーバ１１４０、ならびにユーザステーション１１１０、１１２０、モバイルデバイス１１３０、および外科用ロボット１１７０は、ネットワーク１１６０を介してクラウドストレージ１１５０にアクセスする。外科用ロボット１１７０は、外科手技中またはその後に、外科用ビデオをサーバ１１４０またはクラウドストレージ１１５０にアップロードすることができる。アップロードされた外科用ビデオは、最初のブックマークおよびメタデータを提供するために上述のようにサーバ１１４０で処理され、次いで、データストア１１４２に保存され得る。

新しい外科用ビデオが処理され、かつデータストア１１４２に保存された後、外科チームは、ビデオが処理され、かつアクセス可能であることを通知されてもよい。例えば、システム１１００は、外科チームの各メンバーに電子メールを送るか、または新しい外科用ビデオが利用可能であることを示すウェブポータルアプリケーションを介して利用可能なメッセージを生成することができる。後で、外科チームのメンバーのうちの１人は、ユーザステーション１１１０またはモバイルデバイス１１３０を使用して、本明細書で説明する例示的なＧＵＩのうちの１つ以上とやり取りすることなどによって、ポータル経由でビデオにアクセスすることができる。次いで、ユーザは、例えば、上述のように、ビデオにアクセスし、共有する１つ以上のビデオセグメントを選択し、別のユーザを選択して、ビデオを共有することができる。

共有コマンドは、ＧＵＩを介してサーバ１１４０に送信され得、サーバ１１４０は、選択されたビデオセグメントに基づいて、１つ以上の新しいビデオを生成し、そのオプションが選択された場合、それらをデータストア１１４２またはクラウドストレージ１１５０に保存し得る。そうでなければ、サーバ１１４０は、ビデオ（複数可）が彼または彼女と共有されたことを示す各識別された受信者へのメッセージを生成し、例えば、電子メールまたはウェブポータルアプリケーションのメッセージング機能を介してメッセージを送信し得る。代替的に、サーバ１１４０は、共有ビデオ（複数可）をユーザのウェブポータルアカウントの共有ビデオのリストに追加してもよい。次いで、受信者（複数可）は、別のユーザステーション、例えば、ユーザステーション１１２０を介してウェブポータルにアクセスし、共有ビデオにアクセスすることができる。したがって、ネットワーク化された例示的なシステム１１００は、システム１１００の様々なユーザ間で共有機能を提供することができ、また、外科用ロボット１１７０と対話して、随時新しい外科用ビデオを取得することができる。

ここで、図１２Ａを参照すると、図１２Ａは、外科用ビデオをセグメント化するためのシステムにおいてビデオを検索するための例示的なＧＵＩ１２００を示している。この例示的なＧＵＩ１２００により、ユーザは、ビデオと関連付けられたブックマークに基づいて１つ以上の外科用ビデオを検索することができる。この実施例では、ＧＵＩ１２００は、ユーザが１つ以上の外科手技タイプ１２１０、外科手技のうちの１つ以上のステップ１２２０、または１つ以上のイベント１２３０を選択することをできるようにする、ドロップダウンリスト１２１０～１２３０を提供する。ドロップダウンリスト１２１０～１２３０には、それぞれ標準化された外科手技名、ステップ、およびイベントが入力されるが、一部の実施例では、ユーザが作成したブックマークも提供され得る。例えば、ユーザが外科用ビデオにブックマークを追加し、かつ標準化されたステップまたはイベントではなくカスタマイズされた名前を入力した場合、システム１００は、必要に応じて検索されることがある、ステップのリスト１２２０またはイベントのリスト１２３０にカスタマイズされた名前を追加し得る。いくつかの実施例では、しかしながら、標準化されたステップまたはイベントは変更されない。代わりに、ユーザは、キーワード検索エリア１２４０を使用して、そのようなカスタマイズされた名前を検索することができる。代替的に、ユーザは、１つ以上の外科用ビデオと関連付けられたメタデータに一致する可能性がある１つ以上のキーワードを、キーワード検索エリア１２４０に入力することができる。そのようなキーワードには、ビデオのタイトル、外科医の名前、日付、時間、医療センター、患者識別番号などが含まれる。

ユーザが外科手技、外科的ステップ、イベント、またはキーワードなどの１つ以上の検索パラメータを入力した後、「ビデオを検索する」ボタン１２５０を有効にし、ユーザがそのボタンを押して、検索を開始することができる。次いで、検索結果は、ユーザが検討および選択するために検索ウィンドウ１２６０内に提示され得る。

ここで、図１２Ｂを参照すると、図１２Ｂは、ユーザが検索パラメータを入力し、「ビデオを検索する」ボタン１２５０を押した後の例示的なＧＵＩ１２００を示している。この実施例では、ユーザは手術のタイプとして「胃バイパス」を選択し、手術ステップとして「ＪＪ吻合の生成」を選択している。彼女は、イベントを選択したり、検索するキーワードを入力したりしていない。システム１００は、データストレージ１３３上で検索を実行して、「胃バイパス」を手術タイプとして示すメタデータ、および「ＪＪ吻合の生成」として識別された外科的ステップとを含む、任意の外科用ビデオを識別した。したがって、この実施例では、データストア１３３は、それらのそれぞれの関連付けられたメタデータに少なくとも部分的に基づいて、外科用ビデオに索引を付ける。次に、検索基準を満たす外科用ビデオ１２６２～１２６６が、検索ウィンドウ１２６０内に提示される。

この実施例の検索ウィンドウ１２６０は、識別された各ビデオの表現およびそれぞれに関するいくつかの書誌情報を提示する。この実施例では、書誌情報は、それぞれの外科用ビデオと関連付けられたメタデータから取得され、表示される書誌情報には、それぞれのビデオのタイトル、外科手技の主任外科医、および手術の日付が含まれる。他の例示的なシステム１００またはＧＵＩ１２００は、他の書誌情報を提供してもよく、または識別されたビデオの検索パラメータに対する関連性スコアを示す情報を提供してもよい。例えば、ビデオがすべてではないがいくつかの検索パラメータを満たしている場合、ビデオは、すべての検索パラメータを満たすものよりも低い関連性スコアを受信することがある。一実施例では、関連性スコアは、検索パラメータの総数を決定し、かつその値を、検索パラメータと一致する外科用ビデオの検索パラメータの数に分割することによって計算され得る。例えば、検索に４つの検索パラメータが含まれていて、かつ外科用ビデオが３つの検索パラメータに一致する場合、外科用ビデオの関連性スコアは７５％になる。１つ以上の検索パラメータに他の技術よりも多いまたは少ない重みを付けるさらに他の技術を採用することができる。

検索の結果が検索ウィンドウ１２６０に提示された後、ユーザは、閲覧するビデオのうちの１つ以上を選択することができる。例えば、ユーザは、ビデオをダブルクリックして、図４に示されるＧＵＩ４００に切り替えて、「ビデオを見る」オプション４６０を選択することによってビデオを見ることなど、ビューと対話することができる。次いで、ユーザは検索結果に戻り、別のビデオを選択するか、または新しい検索を実行することができる。

ここで、図１３を参照すると、図１３は、外科用ビデオをセグメント化するための例示的な方法１３００を示している。この例示的な方法１３００は、図１に示される例示的なシステム１００に関して説明される。しかしながら、図２、図３Ａ～図３Ｂ、または図１１に示されているシステムなど、任意の適切なシステムを採用することができることを認識されたい。

ブロック１３１０で、コンピューティングデバイス１０７は、外科手技の連続的なビデオフレームを含む外科用ロボット１２１から外科用ビデオを受信する。この実施例では、コンピューティングデバイス１０７は、カメラ１０１からビデオ信号を受信し、かつビデオ信号に基づいて、ビデオフレームをビデオファイルに保存する。ビデオファイルは、この実施例ではローカルデータストア１３３に保存されるが、いくつかの実施例では、ビデオファイルは、リモートサーバまたはクラウドストレージにストリーミングされてもよい。

上記の実施例は、外科用ロボット１２１からのビデオ信号の受信について説明しているが、いくつかの実施例では、コンピューティングデバイス１０７は、データストア１３３に保存されたビデオファイルにアクセスすることによって、外科用ビデオを受信することができる。例えば、手術が終了した後、コンピューティングデバイス１０７は、データストア１３３からビデオファイルを取得することができる。本明細書で論じられる別のシステム１１００に関して、外科用ビデオは、データストア１１４２またはクラウドストレージ１１５０から１つ以上のビデオファイルをダウンロードすることによって受信され得る。

ブロック１３２０で、コンピューティングデバイス１０７は、外科用ビデオ内のビデオフレームの識別を受信する。この実施例では、コンピューティングデバイス１０７は、受信した外科用ビデオを１つ以上のＭＬ技術に提供する。例えば、コンピューティングデバイス１０７は、ビデオのフレームに基づいて、外科手技のタイプを認識するように訓練されたＭＬ技術を実行している。コンピューティングデバイス１０７は、受信された外科用ビデオの一部またはすべてに、訓練されたＭＬ技術を提供することができ、次いで、外科用ビデオで実行される外科手技のタイプの指標を提供することができる。外科手技のタイプを受信した後、コンピューティングデバイス１０７は、次いで、外科用ビデオおよび外科手技のタイプを、第２のＭＬ技術に提供することができる。第２のＭＬ技術は、外科手技のタイプおよび受信された外科用ビデオに基づいて、１つ以上の外科手技のステップを認識するように訓練され得る。次いで、第２のＭＬ技術は、外科用ビデオを処理し、外科手技の異なるステップの開始と関連付けられたビデオのうちの１つ以上のフレームを識別することができる。

例えば、図８に示すＧＵＩ８００を参照すると、コンピューティングデバイス１０７は、外科用ロボット１２１から外科用ビデオ４７１を受信した後、第１のＭＬ技術を使用することにより、外科用ビデオ４７１が胃バイパスのものであることを決定する。次いで、コンピューティングデバイス１０７は、外科用ビデオが胃バイパス手術のものであることの表示とともに、外科用ビデオを第２のＭＬ技術に提供する。次いで、第２のＭＬ技術は、ビデオを処理し、外科用ビデオ４７１内の以下の５つのステップおよび１つのサブステップを認識する：（ステップ１）ポーチの作成、（ステップ２）胃空腸吻合、（サブステップＡ）正中切開の作成、（ステップ３）消化管の測定、（ステップ４）空腸－空腸吻合の作成、および（ステップ５）腸間膜欠損の閉鎖。次いで、コンピューティングデバイス１０７は、認識されたステップの各々の開始に対応するビデオ内の認識されたステップおよびフレームの指示を、第２のＭＬ技術から受信する。

上述したように、小数点に続く数字は、特定の秒内のどのフレームが指定されているかを示す。この外科用ビデオ４７１は、毎秒２４フレームのフレームレートを有するが、任意の適切なフレームレートが採用されてもよい。上記の実施例では、様々なＭＬ技術を採用して、外科手技のタイプおよび外科手技のステップを認識しているが、当然ながら、単一のＭＬ技術を訓練して、外科手技のタイプを認識し、かつ外科手技のステップのほかにサブステップまたはイベントを認識することができる。したがって、いくつかの実施例では、１つのＭＬ技術のみが採用され得るが、いくつかの実施例では、複数のＭＬ技術が使用され得る。

いくつかの実施例では、コンピューティングデバイス１０７は、ＧＵＩを介してユーザ入力からビデオの識別を受信することができる。例えば、図５を再び参照すると、例示的なＧＵＩ５００は、ユーザがビデオ内のブックマークを作成、削除、または編集できるようにする機能を提供する。ＧＵＩ５００を使用してビデオフレームを識別するために、ユーザは、ビデオコントロール４１６ａ～４１６ｃを使用して、外科用ビデオ４７１を手動でスクラブして、対象のステップ、サブステップ、またはイベントの開始かどうかによらず、対象の特定のフレームを識別し得る。次いで、ユーザは、「新しいブックマークを追加する」オプションを選択して、外科用ビデオ４７１内のビデオフレームの表示をコンピューティングデバイス１０７に提供することができる。

ビデオフレームは、ＭＬ技術またはユーザ入力を使用して識別され得るが、他の技術も同様に採用され得る。例えば、ビデオの外科手技のタイプが識別された後、コンピューティングデバイス１０７は、識別された外科手技と関連付けられたステップの数に基づいて、ビデオを等しい長さの複数のセグメントに分割し得る。例えば、外科用ビデオが２時間であり、かつビデオ内の外科手技が８ステップを有する場合、コンピューティングデバイス１０７は、次いで、外科用ビデオを８つの等しいセグメントに分割し、かつ８つのセグメントの各々の開始に対応するビデオフレームを識別し得る。例えば、コンピューティングデバイス１０７は、０：００．０、０：１５．０、０：３０．０、０：４５．０、１：００．０、１：１５．０、１：３０．０、および１：４５．０でビデオフレームを識別することができる。

別の実施例では、コンピューティングデバイス１０７は、特定の外科用ビデオのステップあたりの平均時間長を示す情報を採用して、ビデオのフレームを識別することができる。例えば、特定の外科手技が５つのステップを有し、ステップが平均して１２分、２０分、４５分、３０分、および６分かかる場合、コンピューティングデバイス１０７は、それらの持続時間に基づいて、またはビデオの持続時間に対する平均ステップ長の比率に基づいて、対応するフレームを識別することができる。例えば、１２分のステップは、手術時間の１０．６％を表す。したがって、外科用ビデオが２時間の長さである場合、コンピューティングデバイス１０７は、第２のステップの開始として、１２：４３．５（２４ｆｐｓの場合）のフレームを識別し得る。

他の技術も同様に採用することができる。例えば、ブックマークは、ツールの変更、検出されたイベントもしくは合併症、特定の技術の実行（例えば、特定のタイプの縫合の実行）、または特定のツール（例えば、焼灼ツール）の起動などの外科手技内で発生するイベントに基づいて、追加される場合がある。このようなイベントは、ＭＬ技術によって、またはロボット手術システムから受信した入力に基づいて、識別されてもよい。例えば、ツールが外科用ロボットから取り外されるか、または新しいツールが使用されるときに、外科用ロボットは、システム１００がメタデータで外科用ビデオに注釈を付けるか、または１つ以上のブックマークを作成するために使用することができる信号を生成し得る。

いくつかの実施例では、１つ以上のビデオフレームが、リアルタイムで決定され得る。例えば、外科手技の間、外科医は、外科手技の新しいステップの開始を識別することができる。この実施例では、外科医は、新しいステップが開始したことを示すために何かを言うかもしれない。外科医の声は、システムのマイクロフォン１１２によってキャプチャされ得、コンピューティングデバイス１０７は、音声認識技術を使用して、外科医の会話を認識し、そして外科手技における新しいステップのインジケータを認識し得る。例えば、外科医は、音声コマンド、例えば、「新しいステップを開始する」を話すことができ、または彼は、新しいステップの名前、例えば、「ＪＪ吻合を作成する」などを述べることができる。コンピューティングデバイス１０７は、そのような会話を、外科手技の新しいステップを示すものとして認識し、対応するビデオフレームを決定することができる。例えば、コンピューティングデバイス１０７は、外科医の会話入力が開始した時間、または外科医の会話入力が終了した時間に対応するビデオフレームを識別し得る。さらに、システム１００が会話を認識できない場合でも、そのような機能が呼び出されてもよい。例えば、システム１００は、検出されたが認識されていない会話の存在のみに基づいて、ビデオフレームを識別することができる。これは、口頭のコマンドが注目すべきコンテンツの存在を示すという前提で、ブックマークの識別を可能にし得る。

音声入力に加えて（またはその代わりに）、外科医は、外科手技の新しいステップが開始したことを示すジェスチャを実行することができる。例えば、外科医は、外科手技の特定のステップと関連付けられた外科用ロボットのためのユーザコントロールのうちの１つ以上を用いて動きを実行することができる。そのようなユーザコントロールは、異なる実施例によると、ハンドコントロール、フットペダルなどを含み得る。外科用ツールを係合解除することなどによって、コントローラで動作を実行する。あるいは、ユーザは、例えば、コンピューティングデバイスのタッチスクリーン１１１上でジェスチャを行うことによって、タッチセンシティブ入力デバイスを使用して、ジェスチャを入力することができる。例えば、ユーザは、２本の指で水平にスワイプして、新しいステップが開始したことを示すことができる。ジェスチャが検出された時間を使用して、対応するタイムスタンプを有するビデオのフレームを識別することができる。いくつかの実施例では、システムは、視線追跡を採用して、ユーザの視線方向または焦点を監視することができる。システムは、ビデオフレームをブックマークするために、ユーザインターフェースコンポーネントなどの所定の場所に向けられているとしてユーザの視線を検出することができる。上記の実施例は、１つ以上のビデオフレームを識別するための特定の技術を提供しているが、ビデオフレームを自律的に識別するためのさらに別のアプローチが採用され得る。

ステップ１３３０で、コンピューティングデバイス１０７は、識別されたビデオフレームに基づいて、ブックマークを生成する。この実施例では、コンピューティングデバイス１０７は、ブックマークを示し、かつブックマークに対応する識別されたビデオフレームの識別子を含む、メタデータを生成する。例えば、図６は、それぞれのブックマークに対応するビデオのフレームの識別子を含む、例示的なメタデータ６００を示している。図６を参照すると、ブックマーク６２２ａは、ブックマークの識別子を含み、これは、＜ｂｏｏｋｍａｒｋ＞および＜／ｂｏｏｋｍａｒｋ＞タグを含む。さらに、ブックマーク６２２ａは、外科用ビデオ内の特定のビデオフレーム３：１２．０を識別する、＜ｂｅｇｉｎ＞タグを含む。したがって、コンピューティングデバイス１０７は、識別されたビデオフレームに基づいて、ブックマークを生成している。

いくつかの実施例では、コンピューティングデバイス１０７は、ブックマークのビデオフレームを識別するだけよりも豊富なブックマークを生成することができる。例えば、上述のように、コンピューティングデバイス１０７は、１つ以上のＭＬ技術を採用して、外科用ビデオ４７１内の外科手技のタイプを認識し、かつ外科用ビデオ４７１内の関心のあるステップ、サブステップ、またはイベントを識別することができる。このような情報はまた、例えば、図６に示すように、ブックマーク内に含まれてもよい。上述のように、外科手技のタイプ、またはステップ、サブステップ、およびイベントに関する情報は、外科用ビデオのコーパス全体にわたって均一な識別子を提供するために標準化され得る。

自動技術を採用して、１つ以上のブックマーク内に含める外科用ビデオに関する情報を認識することに加えて、またはその代わりに、コンピューティングデバイス１０７は、ブックマークとともに含まれるようにユーザ入力を要求することができる。例えば、コンピューティングデバイス１０７は、ブックマークの名前を提供すること、外科手技のタイプを選択すること、１つ以上のステップ、サブステップまたはイベントを選択すること、他のユーザ固有の情報を入力することなどを行うように、ユーザに促すことができる。さらに、いくつかの実施例では、ＭＬ技術が外科手技のタイプ、またはステップ、サブステップ、もしくはイベントを認識できない場合、コンピューティングデバイス１０７は、不足している情報を提供するようにユーザに促すことができる。例えば、図５は、ブックマーク４２２ｅのステップ情報を入力するようにユーザが促される、例示的なＧＵＩ５００を示している。

いくつかの実施例では、ブックマーク情報は、複数の異なる時間に生成され、生成されたブックマークに後続の情報が追加され得る。例えば、手術中に、外科医は、上述のようにビデオのフレームを指定することができ、これにより、コンピューティングデバイス１０７に、ビデオフレームのブックマークを作成させることができる。後で、外科用ビデオを１つ以上のＭＬ技術に提供して、手術手技のタイプ、ならびに外科用ビデオ内のステップ、サブステップ、またはイベントを認識することができる。各ＭＬ技術は外科用ビデオを分析するので、各ＭＬ技術は、既存のブックマーク情報を更新し得るか、またはコンピューティングデバイス１０７が既存のブックマークに組み込むことができる情報を出力し得る（または対応するブックマークが存在しない場合は、必要に応じて新しいブックマークを作成する）。

ブロック１３４０で、コンピューティングデバイス１０７は、ブックマークをビデオフレームと関連付ける。この実施例では、コンピューティングデバイス１０７は、図６に示すように、ブックマークの定義内のビデオフレームを識別することによって、ブックマークをビデオフレームと関連付ける。例えば、ブックマーク６２２ａは、＜ｂｅｇｉｎ＞タグによってフレーム３：０２．０と関連付けられている。さらに、ブックマークは、ブックマーク６２２ａを定義するメタデータ６００と関連付けられたビデオを識別する、＜ｖｉｄｅｏ＞タグに基づいて、ビデオフレームと関連付けられる。したがって、この実施例では、ブックマークとビデオフレームとの間の関連付けが、識別されたビデオおよび識別されたビデオフレームに基づいて作成される。

図６に示す実施例では、外科用ビデオのビデオファイル（複数可）とは別のファイルに保存されたメタデータを採用しているが、上述のいくつかの実施例では、メタデータをビデオファイル自体に保存することができる。例えば、ビデオファイルは、ビデオ情報の前のファイルの開始の部分におけるメタデータを含み得る。そのような一実施例では、ブックマークは、図６に示すように、特定のビデオフレームを単に参照する場合がある。別の実施例では、外科用ビデオについてのメタデータは、ビデオフレーム自体とインターリーブされてもよい。したがって、ビデオプレーヤーがメタデータを有するフレームに遭遇すると、メタデータが抽出される。

ブロック１３５０で、コンピューティングデバイス１０７は、ブックマークを保存する。この実施例では、コンピューティングデバイス１０７は、ブックマークを含むメタデータを、ビデオファイル（複数可）とは別のファイルとしてデータストア１３３に保存するが、説明したように、いくつかの実施例では、メタデータは、ビデオファイル（複数可）自体内に保存されてもよい。さらに、他の実施例は、クラウドストレージ、例えば、図１１のシステム１１００を採用して、ブックマークを含むメタデータを保存することができる。

ブロック１３５０を完了した後、方法１３００はブロック１３６０に進むことができ、または方法１３００はブロック１３２０に戻って、ブックマーク用の別のビデオフレームを識別することができる。特定の外科用ビデオに対して任意の数のブックマークを作成することができ、したがって、方法１３００はブロック１３２０に何度でも戻ることができることを認識されたい。

ブロック１３６０で、コンピューティングデバイス１０７は、外科用ビデオの一部分を共有するためのユーザ入力を受信する。例えば、図１０Ａおよび図１０Ｂに示されるＧＵＩ１０００を参照すると、ユーザは、１つ以上のブックマーク４２２ａ～４２２ｅを選択し、共有ビデオセグメント（複数可）ボタン１０１０を選択すること、または文脈依存メニュー１０２０を呼び出すことのいずれかを行い、および共有オプションを選択することができる。

再び図１０Ｂを参照すると、ＧＵＩ１０００は、外科用ビデオ４７１の一部分を共有するためのユーザ入力を提供するためにユーザが選択することができるオプションを提供する。例えば、ユーザは、ビデオ（例えば、セグメント（複数可）のみ）を共有する方法、またはビデオ全体を選択したブックマーク（またはピン）と共有する方法を選択することができる。ユーザはまた、受信者リストまたはチャネル（複数可）を指定することができる。共有操作を開始するために、ユーザは、その際「共有」ボタンを選択し得る。

いくつかの実施例では、他の技術を使用して、共有するビデオセグメントを選択することができる。例えば、例示的なＧＵＩでは、ユーザが連絡先、連絡先のグループ、チャネルなどを、例えば、連絡先のドロップダウンリストから選択し、次いで、１つ以上のブックマークを連絡先上にドラッグして、選択した連絡先（または連絡先のグループ、チャネルなど）を有するブックマーク（複数可）を共有することを可能にする。

ブロック１３７０で、コンピューティングデバイス１０７は、選択された受信者（複数可）またはチャネルにメッセージを送信して、外科用ビデオの選択された部分を共有する。この実施例では、コンピューティングデバイス１０７は、完全な外科用ビデオから抽出された外科用ビデオの選択された部分を有する添付ファイルを含む電子メールを生成し、かつ送信する。しかしながら、いくつかの実施例では、コンピューティングデバイス１０７は、外科用ビデオの部分の保存されたコピーへの参照を有するメッセージを送信することができる。例えば、コンピューティングデバイス１０７は、共有される外科用ビデオの部分を抽出し（図１４に関して以下で詳細に説明されるように）、外科用ビデオの抽出された部分の場所を識別する参照、例えば、ＵＲＬを生成することができる。さらに、いくつかの実施例では、コンピューティングデバイス１０７は、外科用ビデオ全体へのリンクと、共有される外科用ビデオの選択部分に対応するビデオカーソルの開始場所を示す情報と、を送信することができる。したがって、受信者がリンクにアクセスすると、外科用ビデオがアクセスされ、受信者には、外科用ビデオの共有部分に位置付けられたビデオカーソル４１４を用いて外科用ビデオが提示される。異なる実施例に従って、メッセージを送信するためのさらに別の技術を採用することができる。

ここで、図１４を参照すると、図１４は、外科用ビデオをセグメント化するための例示的な方法１４００を示している。この例示的な方法１４００は、図１に示される例示的なシステム１００に関して説明される。しかしながら、図２、図３Ａ～図３Ｂ、または図１１に示されているシステムなど、任意の適切なシステムを採用することができることを認識されたい。

ブロック１４１０で、コンピューティングデバイス１０７は、外科用ビデオおよび少なくとも１つのブックマークを受信する。コンピューティングデバイスは、概して、図１３のブロック１３１０に関して上記で論じられたように、外科用ビデオを受信する。この実施例では、コンピューティングデバイス１０７は、外科用ビデオとは別のファイルに保存されたメタデータとして少なくとも１つのブックマークを受信する。しかしながら、いくつかの実施例では、コンピューティングデバイス１０７は、外科用ビデオ内に埋め込まれたメタデータとして少なくとも１つのブックマークを受信することができる。いくつかの実施例では、コンピューティングデバイス１０７は、ブックマークなしで外科用ビデオを受信し、次いで、図１３の例示的な方法１３００など、本開示による別の方法を実行するユーザに基づいて、１つ以上のブックマークを受信することを認識されたい。したがって、ブロック１４１０は、図１３の方法１３００（または本開示による同様の方法）のブロック１３１０～１３５０を実行することによって実行され得る。

ブロック１４２０で、コンピューティングデバイス１４２０は、ブックマークの識別を受信する。この実施例では、ユーザは、図９Ａに示すＧＵＩ９００などのウェブポータルアプリケーションによって提供されるＧＵＩにアクセスする。しかしながら、いくつかの実施例では、ＧＵＩ９００は、コンピューティングデバイス１０７上でローカルに実行されるアプリケーションによって提供されてもよい。ＧＵＩ９００にアクセスした後、ユーザは、外科用ビデオ４７１で定義されたブックマーク４２２ａ～４２２ｅのうちの１つ以上などの、外科用ビデオについて定義された１つ以上のブックマークを選択する。例えば、ユーザは、タイムライン４１４またはブックマークのリスト上に表示されたブックマークインジケータ（複数可）に対応する場所でタッチセンシティブディスプレイに触れることによって、１つ以上のブックマークを選択し得るか、またはユーザは、マウスを使用して、ブックマーク４２２ａ～４２２ｅのうちの１つ以上を選択し得る。

いくつかの実施例では、ユーザ選択を受信するのではなく、コンピューティングデバイス１０７は、ビデオ内の１つ以上のステップ、サブステップ、またはイベントを識別したＭＬ技術によって出力されたブックマークを採用することができる。例えば、コンピューティングデバイス１０７は、図１３のブロック１３２０に関して一般的に上述したように、外科用ビデオ内のビデオフレームの識別を受信することができる。次いで、コンピューティングデバイス１０７は、識別されたビデオフレームのうちの１つ以上を、ブックマークの識別として識別することができる。例えば、コンピューティングデバイス１０７は、外科手技のステップのすべてのビデオフレームを識別し得るが、外科手技内のサブステップまたはイベントについてのビデオフレームを識別し得ない。しかしながら、いくつかの実施例では、コンピューティングデバイス１０７は、ステップ、サブステップ、またはイベントを示すものとしてＭＬ技術によって識別されたすべてのビデオフレームを識別することができる。

ブロック１４２０で識別されたブックマークが、外科用ビデオに対して以前に定義されたブックマークであることを意味する制限はない。例えば、ユーザは、受信したビデオ、例えば、ブックマークのないビデオをスクラブし、図１３の方法１３００に関して上記で説明したような１つ以上のブックマークを追加し、次いで、ブロック１４２０で、新しく作成されたブックマークのうちの１つを選択し得る。さらに、いくつかの実施例では、ユーザは、ビデオカーソル４１４を選択し、それを右クリックする（またはタッチスクリーンを押し続ける）ことなどによって、ビデオのセグメントを選択して、ビデオフレームの選択を開始することができ、カーソル４１４を新しい場所にドラッグして、ビデオフレームの目的の範囲を選択することができる。そのような選択の開始場所および終了場所は、少なくとも一時的に、外科用ビデオの選択された部分の抽出を可能にするために、１つ以上のブックマークとして確立され得る。

ブロック１４３０で、コンピューティングデバイス１０７は、外科用ビデオの一部分を抽出するための指示を受信する。ブックマークを選択した後、ＧＵＩは、１つ以上のビデオセグメントを抽出するためのオプションを表示し得る。例えば、図９Ｂに示されるように、ユーザはブックマーク４２２ｂを選択することができ、ＧＵＩ９００は、個々のビデオセグメントまたは単一のビデオを抽出するために選択可能なオプションを備えたブックマーク４２２ｂの近く（または近接）に文脈依存メニュー９３０を提示することができ、またはＧＵＩ９００は、静的ボタンオプション９１０、９２０のうちの１つを選択することができる。

しかしながら、上述のように、いくつかの実施例では、コンピューティングデバイス１０７は、１つ以上のＭＬ技術によって識別されたビデオフレームに基づいて、１つ以上のブックマークを識別することができる。ビデオフレームの識別を受信した後、コンピューティングデバイス１０７は、１つ以上のビデオセグメントの抽出を開始することができる。したがって、コンピューティングデバイス１０７は、１つ以上のＭＬ技術から１つ以上の識別されたビデオフレームを受信することに基づいて、外科用ビデオの一部分を抽出するための指示を受信することができる。

ブロック１４４０で、コンピューティングデバイス１０７は、選択されたブックマークで開始する外科用ビデオの一部分を抽出する。この実施例では、コンピューティングデバイス１０７は、選択されたブックマークに基づいて、個々のビデオセグメントを抽出する。ビデオセグメントを抽出するために、コンピューティングデバイス１０７は、選択された各ブックマークを識別し、次いで、外科用ビデオと関連付けられたブックマーク内の同じ階層レベルの外科用ビデオと関連付けられた次のブックマークを決定する。

図９Ａおよび図９Ｂに示す実施例では、ユーザがブックマーク４２２ｂを選択した場合、コンピューティングデバイス１０７は、この実施例ではブックマーク４２２ｃである、同じ階層レベルの次のブックマーク（「終了」ブックマーク）を決定する。しかしながら、図７に示す例示的な階層７００を参照すると、ユーザがステップ１（７１０）を選択した場合、コンピューティングデバイス１０７は、次のブックマークを、ステップ２（７２０）と同じ階層レベルで決定することができる。したがって、コンピューティングデバイス１０７は、選択されたブックマークならびにいくつかのネストされたブックマークと関連付けられたビデオフレームを選択する。同様に、ユーザがサブステップ２（７１４）を選択した場合、コンピューティングデバイスは、次のブックマークをイベント１（７１６）であると決定し、それによって選択内にサブステップＡおよびＢ（７１４．１－．２）を包含する。このようなアプローチにより、ユーザがビデオの特定のセグメント内のネストされた各ブックマークを個別に選択する必要なく、ユーザは、特定のレベルの粒度でビデオセグメントを簡単に選択することが可能となり得る。

選択されたブックマークと同じ階層レベルで次のブックマークを識別した後、コンピューティングデバイス１０７は、新しいビデオファイルを作成し、外科用ビデオ４７１を含むファイルにアクセスし、外科用ビデオ４７１からのビデオ情報を、選択されたブックマークに対応するビデオフレームで開始し、終了のブックマークの前の最後のフレームで終わり、かつすべての介在するビデオフレームを含む、新しいビデオファイルにコピーすることができる。この実施例では、コンピューティングデバイス１０７はまた、コピーされたビデオフレームに対応するいくつかのメタデータをコピーする。例えば、メタデータが外科用ビデオ４７１とは別のファイルに保存される場合、コンピューティングデバイス１０７は、メタデータを保存する第２の新しいファイルを作成し、かつコピーされたビデオに対応するメタデータを第２の新しいファイルにコピーすることができる。

いくつかの実施例では、外科用ビデオは、音声情報、グラフィックオーバーレイ（例えば、コメント、解説、脈拍数、血圧などの患者情報）などの他の対応する情報を有している場合がある。このような情報はまた、コピーされたビデオに対応するすべての情報がまた新しいファイルまたはファイルセットにコピーされるように、新しいビデオファイル（または新しいビデオファイルとともに作成された対応する新しいファイル）にコピーされ得る。

この実施例では、新しいビデオファイルは、コンピューティングデバイス１０７で不揮発性にローカルに保存されるが、いくつかの実施例では、新しいビデオファイルは、後で不揮発性メモリに保存するために揮発性メモリに作成され得る。

上述の例示的な抽出は単一の選択されたブックマークに関するものであるが、例示的な方法１４００はまた、複数の選択されたブックマークと関連付けられたビデオ情報を抽出する。ユーザが複数のブックマークを選択した場合、コンピューティングデバイス１０７は、選択された各ブックマークについて上記で説明したようにブロック１４４０を実行することができる。ユーザは、図９Ａおよび図９Ｂの「個々のビデオセグメントを抽出する」オプション９１０のようなオプションを選択することにより、そのような機能を呼び出すことができる。

いくつかの実施例では、コンピューティングデバイス１０７は、選択されたブックマークのうちの２つ以上が同じ階層レベル（例えば、ステップ１（７１０）およびステップ２（７２０））で連続するブックマークであるかどうかを決定することができ、そうである場合、コンピューティングデバイスは、同じ階層レベルで連続する選択されたすべてのブックマークにまたがる単一のビデオを抽出することができる。例えば、ユーザが図７に示すステップ１～３（７１０～７３０）に対応するブックマークを選択した場合、コンピューティングデバイスは、ステップ１（７１０）についてのブックマークに対応するビデオフレームで開始し、かつステップ４（７４０）の前の最後のビデオフレームで終了する、ビデオフレームを含む単一のビデオを抽出することができる。このような機能は、ユーザが図９Ａおよび図９Ｂの「単一のビデオを抽出する」オプション９２０を選択した場合に呼び出され得る。

いくつかの実施例では、コンピューティングデバイス１０７は、１つ以上のＭＬ技術によって識別されたビデオフレームに基づいて、１つ以上のビデオセグメントを自動的に抽出することができる。例えば、ＭＬ技術は、外科用ビデオ内の異なるステップ、サブステップ、またはイベントと関連付けられたビデオフレームを識別することができる。次いで、コンピューティングデバイス１０７は、例えば、識別された各ステップに対応する各ビデオフレームを選択し、次いで、構成設定に基づいて、別個のビデオセグメントとして各ステップを抽出すること、または別のビデオセグメントとして各ステップ、サブステップ、およびイベントを抽出することのいずれかを行うことができる。後者の実施例では、コンピューティングデバイスは、例えば、図７のステップ１（７１０）で開始するビデオフレームから、ステップ２（７２０）の前のビデオフレームまでを抽出し、またサブステップ１（７１２）、サブステップ２（７１４）、イベント１（７１６）、サブステップＡ（７１４．１）、およびサブステップＢ（７１４．２）の各々についてビデオセグメントを抽出することができる。そのような実施例では、コンピューティングデバイス１０７は、それによって、これらのステップ、サブステップ、およびイベントの各々にまたがる７つの別々のビデオセグメントを作成することができる。次いで、異なるビデオにより、視聴者が、外科用ビデオの見るべき部分を正確に選択することができるようになり得る。同様に、いくつかの実施例では、これらのステップ、サブステップ、およびイベントに対応するブックマークの各々を選択し、かつ個々のビデオセグメントを抽出するオプションを選択することにより、そのような機能をユーザが呼び出すことができる。

ブロック１４５０で、コンピューティングデバイス１０７は、抽出されたビデオセグメント（複数可）を不揮発性ストレージに保存する。例えば、コンピューティングデバイス１０７は、抽出されたビデオセグメント（複数可）を、ハードドライブ、フラッシュドライブなどの不揮発性記憶媒体にローカルに保存することができる。いくつかの実施例では、コンピューティングデバイス１０７は、クラウドストレージなどのリモートストレージデバイス上、または図１１に示すデータストア１１４２もしくはクラウドストレージ１１５０などでのリモートサーバで抽出されたビデオのコピーを保存することができる。

上述の方法１４００は、特定の順序で特定のステップを有するものとして説明された。しかしながら、異なる実施例によれば、それらのステップは異なる順序で発生してもよく、または実質的に同時に発生してもよいことを認識されたい。例えば、ブロック１４４０および１４５０は、実質的に同時に起こり得る。さらに、コンピューティングデバイスは、ブロック１４４０でビデオを抽出している間に、ブロック１４２０でユーザが別のブックマークを選択することができる。

ここで、図１５を参照すると、図１５は、外科用ビデオセグメントを検索するための例示的な方法１５００を示している。この例示的な方法１４００は、図１１に示される例示的なシステム１１００に関して説明される。しかしながら、図１、図２、または図３Ａ～図３Ｂに示されているシステムなど、任意の適切なシステムを採用することができることを認識されたい。

ブロック１５１０で、サーバ１１４０は、少なくとも１つの検索パラメータを有する検索コマンドを受信する。例えば、ユーザは、図１２Ａに示されるＧＵＩ１２００と対話して、サーバ１１４０によって提供されるウェブポータルを介して１つ以上の検索パラメータを入力することができる。この実施例では、ユーザは、手技のドロップダウンリスト１２１０から手技を選択するか、またはそれぞれのドロップダウンリスト１２２０、１２３０からステップもしくはサブステップもしくはイベントを選択することができる。上述のように、これらのリストの各々には、標準化された手技、ステップ、およびイベント名のリストが含まれる場合がある。例えば、胃バイパス手技は、標準的な手技名「胃バイパス」で表され得る。したがって、ユーザは、ユーザ定義の手技またはステップ名と一致する場合と一致しない場合があるキーワードを入力する必要なく、目的の手技を単に選択することができる。上述したように、ブックマークは標準化された名前を使用して確立され得、次いで、これを使用して、例示的なＧＵＩ１２００に示される手技、ステップ、およびイベントリスト１２１０～１２３０を入力することができる。さらに、または代替的に、ユーザは、キーワードテキストフィールドエリア１２４０に１つ以上のキーワードを入力することができる。

ユーザが検索用語の各々を入力した後、彼女は「ビデオを検索する」ボタン１２５０を押して、検索コマンドをサーバ１１４０に送信することができる。サーバ１１４０は、ユーザによって入力されたものなどの検索コマンドおよび任意の検索パラメータを受信する。いくつかの実施例では、サーバ１１４０は、検索コマンドを、データベース管理システム（「ＤＢＭＳ」）を含み得るデータストア１１４２またはクラウドストレージ１１５０に転送することができる。しかしながら、いくつかの実施例では、サーバ１１４０自体が、検索パラメータを使用して、検索を実行することができる。

ブロック１５２０で、サーバ１１４０は、データストア１１４２またはクラウドストレージ１１５０に保存されている１つ以上の外科用ビデオと関連付けられたブックマーク情報にアクセスする。例えば、サーバ１１４０は、データストア１１４２またはクラウドストレージ１１５０にＤＢＭＳを提供することができる。ＤＢＭＳは、１つ以上の外科用ビデオおよび関連付けられたメタデータについての記録を有することができる。さらに、ＤＢＭＳは、メタデータ内に保存された１つ以上のブックマークに基づいて、外科用ビデオに索引を付けることができる。したがって、ＤＢＭＳは、そのようなインデックスまたは他のＤＢＭＳデータベース構造体を介してブックマーク情報にアクセスすることができる。

ブロック１５３０で、サーバ１１４０は、ＤＢＭＳを使用して、識別された外科手技、ステップ、またはイベントに基づいて、受信された検索パラメータに基づいて、１つ以上のブックマークを識別する。例えば、サーバ１１４０は、ＤＢＭＳを使用して、識別された外科手技（存在する場合）に一致するすべてのビデオを識別し、かつ検索パラメータ内で識別されたステップ、サブステップ、またはイベントに一致するそのようなビデオと関連付けられた１つ以上のブックマークを識別し得る。いくつかの実施例では、検索パラメータは、外科用ツール、医師、日付範囲などの、外科用ビデオと関連付けられたメタデータ注釈またはブックマークに保存され得る他の情報を含むことができる。

ブロック１５４０で、サーバ１１４０は、ウェブポータルを介して１つ以上のブックマークをユーザに提供する。再び図１２Ｂを参照すると、ＧＵＩ１２００は、検索結果が表示される検索結果ウィンドウ１２６０を提供することができる。図１２Ｂの例示的なＧＵＩ１２００は、簡潔な書誌情報を伴うアイコンによって表される３つの検索結果１２６２～１２６６を示している。検索結果１２６２～１２６６には、検索パラメータで指定された「ＪＪ吻合を作成する」ステップで開始するためにキューに入れられたすべての外科用ビデオが含まれる場合があるか、または図１４（または本開示による任意の適切な方法）に関して、上述のプロセスなどによってすべての外科用ビデオから抽出されたビデオセグメントが含まれる場合がある。したがって、ユーザは、外科用ビデオ、特に、それらの検索基準に一致する外科用ビデオの特定の部分を迅速かつ効率的に識別して、ユーザが以前に定義されたブックマーク（例えば、本明細書に記載されている様々なシステムおよび方法に従って作成されたブックマーク）に基づいて、関連するビデオまたはビデオの部分を迅速に見つけることをできるようにし得る。

図１５による例示的な方法を実行した後、次いで、システムは、ユーザが図１３または図１４による方法を含む、検索から返されたビデオに対して、本開示による１つ以上の方法を実行することを可能にし得ることを認識されたい。例えば、検索結果を取得した後、ユーザは、１つ以上のブックマークを選択して、ビデオを再生したり、別のユーザと共有したり、または１つ以上のビデオセグメントを抽出したりすることができる。さらに、図１３～図１５の方法は、他の方法で組み合わせることもできることを認識されたい。例えば、ユーザは、図１４による方法を実行して、ビデオセグメントを抽出することができ、次いで、図１３によるステップ１３６０および１３７０を実行して、抽出されたビデオセグメントを共有することができる。したがって、本方法は、本開示による様々なシステムによって可能になる特定の個別の機能を示すが、これらの方法の各々は、利用可能な機能の単なる側面であり、かつ外科用ビデオについて注釈を付け、ブックマークし、抽出し、共有し、または検索するためのシステムまたは方法を提供するために組み合わされ得る。

ここで、図１６を参照すると、図１６は、本開示による、外科用ビデオをセグメント化するための例示的なシステムまたは方法での使用に適した例示的なコンピューティングデバイス１６００を示している。適切なコンピューティングデバイスは、デスクトップまたはラップトップコンピュータ、タブレット、スマートフォン、ファブレット、ウェアラブルデバイス、拡張または仮想現実デバイス、シンクライアントなどを含み、またはその形態をとることができる。例示的なコンピューティングデバイス１６００は、１つ以上の通信バス１６０２を使用してメモリ１６２０およびコンピューティングデバイス１６００の他の構成要素と通信するプロセッサ１６１０を含む。プロセッサ１６１０は、メモリ１６２０に保存されたプロセッサ実行可能命令を実行して、図１３～図１５に関して上述した例示的な方法１３００～１５００の部分またはすべてなどの異なる実施例に従って外科用ビデオをセグメント化するための１つ以上の方法を実行するように構成されている。この実施例では、コンピューティングデバイスはまた、例えば、キーボード、マウス、タッチスクリーン、マイクロフォンなどのユーザ入力を受け入れるための、１つ以上のユーザ入力デバイス１６５０を含む。コンピューティングデバイス１６００はまた、ユーザに視覚的出力を提供するためのディスプレイ１６４０を含む。

コンピューティングデバイス１６００はまた、通信インターフェース１６４０を含む。いくつかの実施例では、通信インターフェース１６３０は、ローカルエリアネットワーク（「ＬＡＮ」）、インターネットなどの広域ネットワーク（「ＷＡＮ」）、メトロポリタンエリアネットワーク（「ＭＡＮ」）、ポイントツーポイントまたはピアツーピア接続などを含む、１つ以上のネットワークを使用した通信を可能にすることができる。他のデバイスとの通信は、任意の適切なネットワークプロトコルを使用して達成され得る。例えば、１つの適切なネットワークプロトコルは、インターネットプロトコル（「ＩＰ」）、伝送制御プロトコル（「ＴＣＰ」）、ユーザデータグラムプロトコル（「ＵＤＰ」）、またはＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどのそれらの組み合わせを含み得る。

本明細書の方法およびシステムのいくつかの実施例は、様々なマシンで実行されるソフトウェアの観点から説明されているが、方法およびシステムはまた、本開示による様々な方法を具体的に実行するために、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの具体的に構成されたハードウェアとして実装されてもよい。例えば、実施例は、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、もしくはそれらの組み合わせで実装され得る。一実施例では、デバイスは、１つ以上のプロセッサを含み得る。プロセッサは、プロセッサに連結されたランダムアクセスメモリ（ＲＡＭ）などのコンピュータ可読媒体を含む。プロセッサは、１つ以上のコンピュータプログラムを実行するなど、メモリに保存されたコンピュータ実行可能プログラム命令を実行する。そのようなプロセッサは、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、およびステートマシンを含み得る。そのようなプロセッサは、ＰＬＣ、プログラマブル割り込みコントローラ（ＰＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、電子的プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはＥＥＰＲＯＭ）、または他の同様のデバイスなどのプログラマブル電子デバイスをさらに含み得る。

そのようなプロセッサは、プロセッサによって実行されたときに、プロセッサに、プロセッサによって実行される、または支援されるような本開示による方法を実行させることができる、プロセッサ実行可能命令を保存することができる、媒体、例えば、１つ以上の非一時的コンピュータ可読媒体を含むことができるか、またはそれと通信することができる。非一時的コンピュータ可読媒体の実施例には、ウェブサーバ内のプロセッサなどのプロセッサにプロセッサ実行可能命令を提供することができる電子、光学、磁気、または他のストレージデバイスが含まれ得るが、これらに限定されない。非一時的コンピュータ可読メディアの他の実施例には、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成済みプロセッサ、すべての光メディア、すべての磁気テープもしくはその他の磁気媒体、またはコンピュータプロセッサが読み取ることができるいくつかのその他の媒体が含まれるが、これらに限定されない。説明されるプロセッサおよび処理は、１つ以上の構造体内にあってもよく、１つ以上の構造体全体に分散されてもよい。プロセッサは、本開示による方法（または方法の部分）を実行するためのコードを含み得る。

いくつかの実施例の前述の説明は、例示および説明の目的でのみ提示されており、かつ網羅的であること、または開示された正確な形態に開示を限定することは意図されていない。本開示の趣旨および範囲から逸脱することなく、その多数の修正および適合が当業者には明らかであろう。

本明細書における実施例または実装形態への言及は、実施例に関連して説明される特定の特徴、構造体、動作、または他の特性が、本開示の少なくとも１つの実装形態に含まれ得ることを意味する。本開示は、そのように説明された特定の実施例または実装形態に限定されない。「１つの実施例において」、「一実施例において」、「１つの実装形態において」、または「一実装形態において」という語句の出現、または明細書の様々な場所でのそれらの変形は、必ずしも同じ実施例または実装形態を参照しているわけではない。１つの実施例または実装形態に関して本明細書で説明されるいくつかの特定の特徴、構造体、動作、または他の特性は、他の実施例または実装形態に関して説明される他の機能、構造体、動作、または他の特性と組み合わせることができる。

本明細書における「または」という語の使用は、包括的および排他的なＯＲ条件を網羅することを意図している。言い換えると、ＡまたはＢまたはＣには、特定の使用法に応じて、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢのみ、ＡおよびＣのみ、ＢおよびＣのみ、ならびにＡおよびＢおよびＣの代替の組み合わせのうちのいずれかまたはすべてが含まれる。

Claims (42)

1. コンピューティングデバイスのプロセッサによって、外科手技の少なくとも一連のビデオフレームを含む外科用ビデオを受信することと、
   第１の訓練された機械学習（「ＭＬ」）技術を使用して、前記プロセッサによって、前記外科用ビデオで実行される前記外科手技のタイプを認識することと、
   前記外科手技の前記タイプを認識した後に、第２の訓練されたＭＬ技術を使用して、前記プロセッサによって、前記外科用ビデオのうちの１つ以上のステップを認識することと、
   前記認識されたステップに対応する前記外科用ビデオの１つ以上のビデオフレームを識別することと、
   前記１つ以上のビデオフレームの識別に応答して、前記外科用ビデオの前記１つ以上のステップおよび前記１つ以上のビデオフレームに基づいて１つ以上のブックマークを生成することと、
   前記プロセッサによって、前記１つ以上のブックマークを前記１つ以上のビデオフレームのそれぞれと関連付けることと、
   前記プロセッサによって、前記１つ以上のブックマークを保存することと、を含む、方法。
2. 前記プロセッサによって、マイクロフォンから音声情報を受信することと、
   前記音声情報に基づいて、前記ビデオフレームの前記識別を決定することと、をさらに含む、請求項１に記載の方法。
3. 会話認識技術を使用して、前記プロセッサによって、前記音声情報から１つ以上の発話された単語を認識することと、
   前記１つ以上の発話された単語に基づいて、前記ビデオフレームの前記識別を決定することと、をさらに含む、請求項２に記載の方法。
4. 前記音声情報が、外科手技中に受信され、前記ビデオフレームの前記識別を決定することが、前記外科手技中にリアルタイムで行われる、請求項３に記載の方法。
5. 前記プロセッサによって、入力デバイスから入力情報を受信することと、
   前記プロセッサによって、前記入力情報に基づいて、ジェスチャを検出することと、
   前記ジェスチャに基づいて、前記ビデオフレームの前記識別を決定することと、をさらに含む、請求項１に記載の方法。
6. 前記入力デバイスが、外科用ロボットの外科用ツールのためのコントロールデバイスを含む、請求項５に記載の方法。
7. 前記入力デバイスが、タッチセンシティブ入力デバイスを含む、請求項５に記載の方法。
8. 前記プロセッサによって、グラフィックユーザインターフェース（「ＧＵＩ」）内の外科手技の選択を受信することと、
   前記プロセッサによって、前記ＧＵＩ内の前記外科手技のステップの選択を受信することと、
   前記外科手技の前記選択および前記外科手技の前記ステップの前記選択の後に、前記ビデオフレームの前記識別を受信することと、をさらに含み、
   前記ブックマークを生成することが、
   前記プロセッサによって、前記外科手技および前記外科手技の前記ステップに基づいて、識別子を生成することと、
   前記プロセッサによって、前記識別子に基づいて、メタデータを生成することと、を含み、
   前記ブックマークを保存することが、前記メタデータを保存することを含む、請求項１に記載の方法。
9. 前記ブックマークを保存することが、前記外科用ビデオ内にメタデータを挿入することを含む、請求項１に記載の方法。
10. ブックマークを前記ビデオフレームと関連付けることが、前記ビデオフレームを識別するメタデータを生成することを含み、前記ブックマークを保存することが、前記メタデータを、前記外科用ビデオとは別個のファイルに保存することを含む、請求項１に記載の方法。
11. 前記第１の訓練されたＭＬ技術が、前記第２の訓練されたＭＬ技術と同じ訓練されたＭＬ技術である、請求項１に記載の方法。
12. 前記ブックマークが、第１のブックマークであり、
    外科的ステップの識別を受信することと、
    前記外科的ステップのサブステップまたは前記外科的ステップと関連付けられたイベントと関連付けられた第２のビデオフレームの識別を受信することと、
    前記サブステップまたは前記イベントの識別を受信することと、
    前記第２のビデオフレームおよび前記サブステップまたは前記イベントに基づいて、第２のブックマークを生成することと、
    前記第２のブックマークを前記第１のブックマークおよび前記第２のビデオフレームと関連付けることであって、前記関連付けることが、ブックマーク階層情報を生成することと、前記第２のブックマークを前記第１のブックマークの子ブックマークとして関連付けることと、を含む、前記第２のブックマークを前記第１のブックマークおよび前記第２のビデオフレームと関連付けることと、
    前記第２のブックマークおよび前記ブックマーク階層情報を保存することと、をさらに含む、請求項１に記載の方法。
13. 前記第１のブックマークが、前記外科的ステップを識別するメタデータを含み、
    前記第２のブックマークが、前記サブステップまたは前記イベントを識別するメタデータを含む、請求項１２に記載の方法。
14. （ｉ）前記外科用ビデオの識別、および（ｉｉ）前記ブックマークを含む、メッセージを生成することと、
    前記メッセージを受信者に送信することと、をさらに含む、請求項１に記載の方法。
15. システムであって、
    非一時的コンピュータ可読媒体と、
    前記非一時的コンピュータ可読媒体と通信するプロセッサであって、前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    外科手技の少なくとも一連のビデオフレームを含む外科用ビデオを受信することと、
    第１の訓練された機械学習（「ＭＬ」）技術を使用して、前記外科用ビデオで実行される前記外科手技のタイプを認識することと、
    前記外科手技の前記タイプを認識した後に、第２の訓練されたＭＬ技術を使用して、前記外科用ビデオのうちの１つ以上のステップを認識することと、
    前記認識されたステップに対応する前記外科用ビデオの１つ以上のビデオフレームを識別することと、
    前記１つ以上のビデオフレームの識別に応答して、前記外科用ビデオの前記１つ以上のステップおよび前記１つ以上のビデオフレームに基づいて１つ以上のブックマークを生成することと、
    前記１つ以上のブックマークを前記１つ以上のビデオフレームのそれぞれと関連付けることと、
    前記ブックマークを保存することと、を行うように構成されている、プロセッサと、を含む、システム。
16. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    マイクロフォンから音声情報を受信することと、
    前記音声情報に基づいて、前記ビデオフレームの前記識別を決定することと、を行うようにさらに構成されている、請求項１５に記載のシステム。
17. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    会話認識技術を使用して、前記プロセッサによって、前記音声情報から１つ以上の発話された単語を認識することと、
    前記１つ以上の発話された単語に基づいて、前記ビデオフレームの前記識別を決定することと、を行うようにさらに構成されている、請求項１６に記載のシステム。
18. 外科用ロボットシステムおよび前記マイクロフォンをさらに含み、前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、外科手技中に前記音声情報を受信することと、前記外科手技中にリアルタイムで行われる前記ビデオフレームの前記識別を決定することと、を行うようにさらに構成されている、請求項１７に記載のシステム。
19. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    入力デバイスから入力情報を受信することと、
    前記入力情報に基づいて、ジェスチャを検出することと、
    前記ジェスチャに基づいて、前記ビデオフレームの前記識別を決定することと、を行うようにさらに構成されている、請求項１５に記載のシステム。
20. 前記入力デバイスが、外科用ロボットの外科用ツールのためのコントロールデバイスを含む、請求項１９に記載のシステム。
21. 前記入力デバイスが、タッチセンシティブ入力デバイスを含む、請求項１９に記載のシステム。
22. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    グラフィックユーザインターフェース（「ＧＵＩ」）内の外科手技の選択を受信することと、
    前記ＧＵＩ内の前記外科手技のステップの選択を受信することと、
    前記外科手技の前記選択および前記外科手技の前記ステップの前記選択の後に、前記ビデオフレームの前記識別を受信することと、
    前記外科手技および前記外科手技の前記ステップに基づいて、識別子を生成することと、
    前記識別子に基づいて、メタデータを生成することと、
    前記メタデータを保存することと、を行うようにさらに構成されている、請求項１５に記載のシステム。
23. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、前記外科用ビデオ内にメタデータを挿入するようにさらに構成されている、請求項１５に記載のシステム。
24. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、前記ビデオフレームを識別するメタデータを生成することと、前記メタデータを、前記外科用ビデオとは別個のファイルに保存することと、を行うようにさらに構成されている、請求項１５に記載のシステム。
25. 前記第１の訓練されたＭＬ技術が、前記第２の訓練されたＭＬ技術と同じ、訓練されたＭＬ技術である、請求項１５に記載のシステム。
26. 前記ブックマークが、第１のブックマークであり、前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    外科的ステップの識別を受信することと、
    前記外科的ステップのサブステップまたは前記外科的ステップと関連付けられたイベントと関連付けられた第２のビデオフレームの識別を受信することと、
    前記サブステップまたは前記イベントの識別を受信することと、
    前記第２のビデオフレームおよび前記サブステップまたは前記イベントに基づいて、第２のブックマークを生成することと、
    前記第２のブックマークを、前記第１のブックマークおよび前記第２のビデオフレームと関連付けることと、
    ブックマーク階層情報を生成し、かつ前記第２のブックマークを、前記第１のブックマークの子ブックマークとして関連付けることと、
    前記第２のブックマークおよび前記ブックマーク階層情報を、前記非一時的コンピュータ可読媒体に保存することと、を行うようにさらに構成されている、請求項１５に記載のシステム。
27. 前記第１のブックマークが、前記外科的ステップを識別するメタデータを含み、
    前記第２のブックマークが、前記サブステップまたは前記イベントを識別するメタデータを含む、請求項２６に記載のシステム。
28. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    （ｉ）前記外科用ビデオの識別、および（ｉｉ）前記ブックマークを含む、メッセージを生成することと、
    前記メッセージを受信者に送信することと、を行うようにさらに構成されている、請求項１５に記載のシステム。
29. プロセッサに、
    第１の訓練された機械学習（「ＭＬ」）技術を使用して、外科用ビデオで実行される外科手技のタイプを認識することと、
    前記外科手技の前記タイプを認識した後に、第２の訓練されたＭＬ技術を使用して、前記外科用ビデオのうちの１つ以上のステップを認識することと、
    前記認識されたステップに対応する前記外科用ビデオの１つ以上のビデオフレームを識別することと、
    前記１つ以上のビデオフレームの識別に応答して、前記外科手技の前記１つ以上のステップおよび前記１つ以上のビデオフレームに基づいて、１つ以上のブックマークを生成することと、
    前記１つ以上のブックマークを前記１つ以上のビデオフレームのそれぞれと関連付けることと、
    前記ブックマークを保存することと、を行わせるように構成されている、プロセッサ実行可能命令を含む、非一時的コンピュータ可読媒体。
30. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    マイクロフォンから音声情報を受信することと、
    前記音声情報に基づいて、前記ビデオフレームの前記識別を決定することと、を行うようにさらに構成されている、請求項２９に記載の非一時的コンピュータ可読媒体。
31. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    会話認識技術を使用して、前記プロセッサによって、前記音声情報から１つ以上の発話された単語を認識することと、
    前記１つ以上の発話された単語に基づいて、前記ビデオフレームの前記識別を決定することと、を行うようにさらに構成されている、請求項３０に記載の非一時的コンピュータ可読媒体。
32. 外科用ロボットシステムおよび前記マイクロフォンをさらに含み、前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、外科手技中に前記音声情報を受信することと、前記外科手技中にリアルタイムで行われる前記ビデオフレームの前記識別を決定することと、を行うようにさらに構成されている、請求項３０に記載の非一時的コンピュータ可読媒体。
33. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    入力デバイスから入力情報を受信することと、
    前記入力情報に基づいて、ジェスチャを検出することと、
    前記ジェスチャに基づいて、前記ビデオフレームの前記識別を決定することと、を行うようにさらに構成されている、請求項２９に記載の非一時的コンピュータ可読媒体。
34. 前記入力デバイスが、外科用ロボットの外科用ツールのためのコントロールデバイスを含む、請求項３３に記載の非一時的コンピュータ可読媒体。
35. 前記入力デバイスが、タッチセンシティブ入力デバイスを含む、請求項３３に記載の非一時的コンピュータ可読媒体。
36. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    グラフィックユーザインターフェース（「ＧＵＩ」）内の外科手技の選択を受信することと、
    前記ＧＵＩ内の前記外科手技のステップの選択を受信することと、
    前記外科手技の前記選択および前記外科手技の前記ステップの前記選択の後に、前記ビデオフレームの前記識別を受信することと、
    前記外科手技および前記外科手技の前記ステップに基づいて、識別子を生成することと、
    前記識別子に基づいて、メタデータを生成することと、
    前記メタデータを保存することと、を行うようにさらに構成されている、請求項２９に記載の非一時的コンピュータ可読媒体。
37. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、前記外科用ビデオ内にメタデータを挿入するようにさらに構成されている、請求項２９に記載の非一時的コンピュータ可読媒体。
38. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、前記ビデオフレームを識別するメタデータを生成することと、前記メタデータを、前記外科用ビデオとは別個のファイルに保存することと、を行うようにさらに構成されている、請求項２９に記載の非一時的コンピュータ可読媒体。
39. 前記第１の訓練されたＭＬ技術が、前記第２の訓練されたＭＬ技術と同じ、訓練されたＭＬ技術である、請求項２９に記載の非一時的コンピュータ可読媒体。
40. 前記ブックマークが、第１のブックマークであり、前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    外科的ステップの識別を受信することと、
    前記外科的ステップのサブステップまたは前記外科的ステップと関連付けられたイベントと関連付けられた第２のビデオフレームの識別を受信することと、
    前記サブステップまたは前記イベントの識別を受信することと、
    前記第２のビデオフレームおよび前記サブステップまたは前記イベントに基づいて、第２のブックマークを生成することと、
    前記第２のブックマークを、前記第１のブックマークおよび前記第２のビデオフレームと関連付けることと、
    ブックマーク階層情報を生成し、かつ前記第２のブックマークを、前記第１のブックマークの子ブックマークとして関連付けることと、
    前記第２のブックマークおよび前記ブックマーク階層情報を、前記非一時的コンピュータ可読媒体に保存することと、を行うようにさらに構成されている、請求項２９に記載の非一時的コンピュータ可読媒体。
41. 前記第１のブックマークが、前記外科的ステップを識別するメタデータを含み、
    前記第２のブックマークが、前記サブステップまたは前記イベントを識別するメタデータを含む、請求項４０に記載の非一時的コンピュータ可読媒体。
42. 前記プロセッサが、前記非一時的コンピュータ可読媒体に保存されたプロセッサ実行可能命令を実行して、
    （ｉ）前記外科用ビデオの識別、および（ｉｉ）前記ブックマークを含む、メッセージを生成することと、
    前記メッセージを受信者に送信することと、を行うようにさらに構成されている、請求項２９に記載の非一時的コンピュータ可読媒体。
    

Images