JP7326337B2 - オペレータのパフォーマンスの自動アセスメント - Google Patents

Description

本開示は、広義には、活動のパフォーマンスのアセスメントに関し、より具体的には、活動のパフォーマンスに関連付けられたアセスメントコンテンツをアセスメントして正規化するために人工知能を展開することに関するが、これに限定されない。

個人、又はチーム若しくは個人のグループのパフォーマンスをアセスメントすることは、多くのヘルスケア関連の専門職などにおいて有益であるか、又は必要とされている。例えば、一部のヘルスケア分野に参加する個人又はグループの訓練には、個人又はグループがその分野に関連する活動を実践する長期のサイクル、のみならず、既にその活動を習得した教師、訓練者、指導者、又はその他の個人（専門家）が個人又はグループをアセスメントすることが必要とされる。長期の訓練期間が過ぎても、特定のヘルスケア専門職は、その分野に関連する特定の活動を実施する個人又はグループの能力の継続的なアセスメントを必要とする。これらのヘルスケア専門職の一部では、他者のパフォーマンスを観察してアセスメントするための専門家の利用可能性は限定されている。更に、他者のパフォーマンスをアセスメントするヘルスケア専門家に関連するコストは極めて高価である場合がある。最後に、利用可能性及びコストの課題が克服される場合であっても、多くの場合非盲検的（unblinded）である専門家のピアレビューは、偏見のある不正確な結果をもたらし得る。

加えて、これらの多くのヘルスケア活動は価値の高い試みを伴う場合が多く、そのため、一見して小さな不成功率も、重大な経済的及び人的損失を有する場合がある。人間の教育、訓練、及び指導は、これらの分野の結果を改善するのに大いに役立ち得るが、それでも過失の原因が人間による検出を逃れる場合がある。更に、過失の潜在的な原因を人間が検出することが可能な場合であっても、改善領域に優先順位を付けること、実践者に改善の必要性を納得させること、及び改善の手段を特定することなどの現実的な懸念事項が更なる課題を提起する。以下の開示は、これら及びその他の懸念事項に対して提供される。

本発明の実施形態が実装され得る環境のシステム図である。 図１に示されるようなシステムに含まれ得るクライアントコンピュータの実施形態を示す。 図１に示されるようなシステムに含まれ得るネットワークコンピュータの実施形態を示す。 特許請求される実施形態のうちの１つの例示的な実施形態を示す。 様々な実施形態のうちの少なくとも１つによる、センテンスのトークン化の１つの例示的な実施形態を示す。 一実施形態でＡＴＳＣ１１０によって実施されるコメンタリの分類の様々な実施形態のうちの１つ以上を示す。 一実施形態でＡＴＳＣ１１０によって実施されるビデオの分類の様々な実施形態のうちの１つ以上を示す。 様々な実施形態のうちの少なくとも１つによる、「アプリ」又はウェブブラウザ内で閲覧可能なプロファイルページを示す。 レビュアによって受信されたコメンタリから抽出された意見極性の集約に基づいてフィードバックを提供するプロセスの概略フローチャートを示す。 機械学習システムを適用して活動のビデオを分析するためのプロセスの概略フローチャートを示す。 特定された工程を、実施される活動の予想される工程のタイムラインと相関させるためのプロセスの概略フローチャートを示す。 様々な実施形態のうちの１つ以上による、オペレータのパフォーマンスを自動アセスメントするためのシステムの論理アーキテクチャを示す。 様々な実施形態のうちの１つ以上による、オペレータのパフォーマンスを自動アセスメントするためのシステムの論理アーキテクチャを示す。 様々な実施形態のうちの１つ以上による、実施された処置に関連する提供された専門家レビュー情報（provided expert review information）のためのユーザインタフェースの論理的又は機能的表現を示す。 様々な実施形態のうちの１つ以上による、実施された処置に関連する専門家レビュー情報を提供するためのユーザインタフェースの論理的又は機能的表現を示す。 様々な実施形態のうちの１つ以上による、アセスメントされた処置の１つ以上の部分又は工程のアセスメントスコアを表すデータモデルの論理的又は機能的表現を示す。

以下で、本明細書の一部をなし、かつ本発明が実施され得る特定の実施形態を例示によって示す添付図面を参照して、様々な実施形態をより完全に説明する。しかしながら、本実施形態は、多種多様な形態で具体化されてもよく、本明細書に記載される実施形態に限定されるものと解釈されるべきではなく、むしろ、これらの実施形態は、本開示が徹底的かつ完全となり、また、当業者に本実施形態の範囲を完全に伝えるように提供される。とりわけ、様々な実施形態は、方法、システム、媒体、又は装置であってもよい。したがって、様々な実施形態は、全てハードウェアの実施形態、全てソフトウェアの実施形態、又はソフトウェア及びハードウェアの態様を組み合わせる実施形態であってもよい。したがって、以下の発明を実施するための形態は、限定するものではない。

本明細書及び特許請求の範囲全体をとおして、文脈により明確に別段の指示がなされない限り、以下の用語は本明細書に明示的に関連する意味を取る。用語「本明細書では」は、本出願に関連する明細書、特許請求の範囲、及び図面を指す。本明細書で使用するとき、語句「一実施形態では」は、必ずしも同じ実施形態を指すものではないが、同じ実施形態を指す場合もある。更に、本明細書で使用するとき、語句「別の実施形態では」は、必ずしも異なる実施形態を指すものではないが、異なる実施形態を指す場合もある。したがって、以下で説明されるように、本発明の様々な実施形態は、本発明の範囲又は趣旨から逸脱することなく容易に組み合わせることができる。

加えて、本明細書で使用するとき、用語「又は」は、包括的論理和演算子（inclusive「or」operator）であり、文脈により明確に別段の指示がなされない限り、用語「及び／又は」と同等である。用語「基づく（based on）」は、文脈により明確に別段の指示がなされない限り、排他的ではなく、記載されていない更なる因子を許容するものである。加えて、本明細書全体をとおして、「ある（a）」、「ある（an）」、及び「その（the）」の意味は、複数の引用を含む。「～の中（in）」という意味は、「～の中（in）」及び「～の上（on）」を含む。

本明細書で使用するとき、用語「対象は」、個々のヒト若しくは複数のヒト、のみならず、１つ以上のロボット、機械、又は任意の他の自律的若しくは半自律的機器、装置などを指し得、様々な実施形態が、対象の活動のパフォーマンスをアセスメントすることを目的とする。更に、本明細書で使用するとき、用語「対象の活動」又は「活動」は、身体活動、精神活動、機械的及び／又はロボット的活動、並びに、執筆、弁論、製造活動、運動パフォーマンスなどの他の種類の活動が挙げられるがこれらに限定されない、任意の活動を指し得る。身体活動は、対象によって実施又は制御されてもよく、様々な実施形態は、対象による対象活動のパフォーマンスをアセスメントすることを目的とする。本明細書で論じられる実施形態の多くは、ヒトによって実施される活動を指すが、本実施形態はそのように制約されない。したがって、その他の実施形態では、活動は、機械、ロボットなどによって実施される。これらの活動のパフォーマンスもまた、本明細書に開示される様々な実施形態によってアセスメントされ得る。

本明細書で使用するとき、用語「パフォーマンスコンテンツ」は、対象による対象活動のパフォーマンスを記録化（documents）する任意のデータを指し得る。例えば、コンテンツとしては、静止画像データ及び／又はビデオ画像データ、音声データ、テキストデータなどを含む画像データが挙げられ得るが、これらに限定されない。したがって、コンテンツは、画像コンテンツ、ビデオコンテンツ、音声コンテンツ、テキストコンテンツなどであってもよい。

本明細書で使用するとき、用語「専門家レビュア」は、専門教育、経験、及び／又は訓練のいずれかを介して、対象の活動に関するある水準の専門知識を習得した個人を指し得る。専門家レビュアは、対象の活動を記録化するアセスメントコンテンツに対する権限を有し、また、専門家レベルの判断を必要とする対象の活動の態様又は領域に対するアセスメントを提供することができる。専門家レビュアは、対象の同格者（peer）であってもよく、あるいは対象と比較して、対象の活動におけるより高いレベルの経験及び専門知識を有してもよい。専門家レビュアは、対象に知られていてもよく、又は完全に匿名であってもよい。

本明細書で使用するとき、用語「クラウドレビュア」は、対象の活動に関する専門的な教育、経験、及び／又は訓練を全く有しないか、又は最小限しか有しない非専門家であってもよい。クラウドレビュアは、対象の活動を記録化するアセスメントコンテンツに対する権限を有し、また、専門家レベルの判断を必要としない対象の活動の態様又は領域に対するアセスメントを提供することができる。クラウドレビュアは、様々な対象のパフォーマンスを評価することにおけるこれらの経験を開発又は増大させるために、本明細書で論じられる実施形態によって訓練されてもよい。

本明細書で使用するとき、用語「技術的態様」又は「技術的領域」は、クラウドレビュア及び／又は専門家レビュアによってレビュー及びアセスメントされ得る、対象の活動の態様又は領域を指し得る。本明細書で使用するとき、用語「非技術的態様」又は「非技術的領域」は、レビュー及びアセスメントするためには専門家レベルの判断を必要とする対象の活動の態様又は領域を指し得る。したがって、専門家レビュアは、対象活動のパフォーマンスの非技術的態様又は領域をレビュー及びアセスメントする権限を有する。対照的に、クラウドレビュアは、対象活動のパフォーマンスの非技術的態様又は領域をレビュー及びアセスメントする権限を本質的には有さない場合がある。しかしながら、実施形態はそのように制約されず、クラウドレビュアは、提供者－患者相互作用、患者に対する態度（bedside manner）などであるがこれらに限定されない、領域の非技術的態様をアセスメントする権限を有することができる。本明細書で使用するとき、用語「アセスメントコンテンツ」は、レビュアによって作成された活動又は副活動（例えば、工程）のアセスメントを指す。アセスメントコンテンツは、１人以上のレビュアが活動を観察する間にリアルタイムで作成されてもよく、又は記録されたパフォーマンスコンテンツに基づいて事後に作成されてもよい。アセスメントコンテンツは、テキスト、音声ディクテーションなどの非構造化データであってもよい。アセスメントコンテンツは、フォームに基づく調査回答などのいくつかの構造化又は半構造データを含んでもよい。また、いくつかの実施形態では、アセスメントコンテンツは、活動又は副活動を測定又は評価するように構成された１つ以上の機器によって機械生成されてもよい。場合によっては、アセスメントコンテンツは、活動の開始時点から経過した時間量などのある時点と相関されてもよく、その結果、後に、アセスメントコンテンツの一部分が、その時点で起きる活動又は副活動と関連付けられ得る。

簡潔に説明すると、実施形態は、身体活動のパフォーマンスをアセスメントすることを目的とする。様々な実施形態のうちの１つ以上では、１つ以上のアセスメントエンジンが、以下でより詳細に記載される様々なアクションを実施するために使用されてもよい。

様々な実施形態のうちの１つ以上では、アセスメントエンジンは、１つ以上の活動の１つ以上のパフォーマンスに関連付けられた情報を含むパフォーマンスコンテンツを収集することができる。いくつかの実施形態では、パフォーマンスコンテンツを収集することは、１人以上の対象によって実施される活動のビデオストリームを受信することと、ビデオストリームに含まれる１つ以上のパフォーマンスに基づいてアセスメントコンテンツを生成することと、を含み得る。

様々な実施形態のうちの１つ以上では、アセスメントエンジンは、１つ以上の分類子を使用して、パフォーマンスコンテンツを分類して、パフォーマンスコンテンツの１つ以上の特徴の１つ以上の発生を判定し、またアセスメントコンテンツを分類して、１つ以上のパフォーマンスに含まれる１つ以上の特徴に関連付けられている１つ以上のスコアを判定することができ、その結果、アセスメントコンテンツは、１つ以上の活動の１つ以上のパフォーマンスの１つ以上の特徴に関連付けられた情報を含む。

様々な実施形態のうちの１つ以上では、１つ以上のパフォーマンスに関連付けられた１つ以上の相関値を提供することは、１つ以上の活動を含む１つ以上の工程を定義するタイムラインを受信することと、１つ以上の工程の発生に基づいて、１つ以上のパフォーマンスをタイムラインと相関させることと、１つ以上のパフォーマンスとタイムラインとの相関に基づいて、１つ以上の分類子を修正することと、を含み得る。

様々な実施形態のうちの１つ以上では、アセスメントコンテンツを分類することは、異なるソースによって提供されている非構造化コンテンツを分類することと、非構造化コンテンツの分類に基づいて、１つ以上のスコアを更に判定することと、を含み得る。

様々な実施形態のうちの１つ以上では、アセスメントエンジンは、履歴パフォーマンスコンテンツ、アセスメントコンテンツ、及びスコアに基づいて、１つ以上のパフォーマンスに関連付けられた１つ以上の相関値を提供することができる。

様々な実施形態のうちの１つ以上では、アセスメントエンジンは、相関値、パフォーマンスコンテンツ、アセスメントコンテンツ、及びスコアに基づいて、１つ以上のパフォーマンスのローカライズされた評価を含むレポートを提供することができる。

様々な実施形態のうちの１つ以上では、アセスメントエンジンは、１つ以上の活動を実施し得る１人以上の対象にリアルタイムのフィードバックを提供することができる。したがって、リアルタイムのフィードバックに関連付けられている１人以上の対象から１つ以上の応答が収集され得る。

様々な実施形態のうちの１つ以上では、アセスメントエンジンは、１つ以上の相関値に基づいて１つ以上の分類子を更新するように構成され得る。

様々な実施形態のうちの１つ以上では、アセスメントエンジンは、規定値を超える１つ以上のスコアに基づいて、アセスメントコンテンツに関連付けられたパフォーマンスコンテンツの一部分を抽出するように構成され得る。したがって、アセスメントエンジンは、パフォーマンスコンテンツの抽出された一部分及びそのアセスメントコンテンツを、訓練データとして使用するために分類処理エンジンに提供するように構成され得る。

例示される稼働環境
図１は、本発明の実施形態が実装され得る環境１００のシステム図を示す。様々な実施形態を実践するために構成要素の全てが必要とされなくてもよく、本発明の趣旨又は範囲から逸脱することなく、構成要素の配置及び種類の変更がなされ得る。示されるように、図１のシステム１００は、アセスメントツールサーバコンピュータ（ＡＴＳＣ）１１０と、メタデータ記憶部１２０と、レビューコンピュータ１０２～１０７と、記録化コンピュータ１１２～１１８と、アセスメントツールクライアントコンピュータ１２２と、ネットワーク１０８と、を含み得る。様々な実施形態のうちの少なくとも１つでは、１つ以上のクラウドネットワーク内の１つ以上のクラウドインスタンスを使用して、上記で参照したコンピューティング装置のうちの１つ以上を実装することができる。したがって、これらの技術革新及び実施形態は、単一の環境に限定されるものとして解釈されるべきではなく、その他の構成及びアーキテクチャもまた想定される。

記録化コンピュータ１１２～１１８又はアセスメントツールクライアントコンピュータ１２２の様々な実施形態は、少なくともＡＴＳＣ１１０と通信するように構成される。様々な実施形態において、１つ以上の記録化コンピュータ１１２～１１８又はアセスメントツールクライアントコンピュータ１２２は、人間の活動を記録化するコンテンツを取得することが可能になり得る。コンテンツは、ビデオコンテンツが挙げられるがこれに限定されない画像コンテンツであってもよい。少なくとも１つの実施形態では、コンテンツとしては音声コンテンツが挙げられる。少なくともいくつかの実施形態では、１つ以上の記録化コンピュータ１１２～１１８は、様々な産業特有又は独自開発のシステムを含んでもよく、又はそれに含まれてもよい。例えば、記録化コンピュータ１１２～１１８のうちの１つ及び記憶装置は、Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ（商標）からのｄａ Ｖｉｎｃｉ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ（商標）などであるがこれに限定されない外科用ロボットに含まれてもよい。様々な実施形態のうちの少なくとも１つでは、レビューコンピュータ１０２～１０７のうちの１つのユーザは、記録化コンピュータ１１２～１１８によって記録された処置に関するコメンタリを生成することが可能になり得る。追加的に又は代替的に、記録化コンピュータ１１２～１１８のユーザは、ＡＴＳＣ１１０に転送される、トリム、タイムスタンプ、注釈、及び／又はタグなどの提案を作成することができる。

様々な実施形態のうちの少なくとも１つでは、記録化コンピュータ１１２～１１８又はアセスメントツールクライアントコンピュータ１２２は、画像センサ、カメラ、マイクロフォンなどを介して、人間の活動を記録化するコンテンツを取得することが可能となり得る。記録化コンピュータ１１２～１１８又はアセスメントツールクライアントコンピュータ１２２は、カメラと通信することが可能となり得る（例えば、Ｂｌｕｅｔｏｏｔｈ若しくは他の無線技術を介して、又はＵＳＢケーブル若しくは他の有線技術を介して）。いくつかの実施形態では、記録化コンピュータ１１２～１１８のうち少なくともいくつかは、ネットワーク１０８を含む有線及び／又は無線ネットワーク上で稼働して、レビューコンピュータ１０２～１０７及び／又はＡＴＳＣ１１０のいずれかを含む他のコンピューティング装置と通信することができる。

一般に、記録化コンピュータ１１２～１１８又はアセスメントツールクライアントコンピュータ１２２は、ネットワーク上で通信して、情報を送信及び／又は受信する、様々なオンライン及び／又はオフライン活動を実施することなどが可能なコンピューティング装置を含んでもよい。本明細書に記載される実施形態は、使用される記録化コンピュータの数又は種類によって制約されず、図１に示されるものよりも多い又は少ない記録化コンピュータ、及び／又は記録化コンピュータの種類が使用されてもよいことを認識されたい。少なくとも１つの記録化コンピュータ１１２～１１８は、クライアントコンピュータであってもよい。

記録化コンピュータ１１２～１１８又はアセスメントツールクライアントコンピュータ１２２として稼働し得る装置としては、有線及び／又は無線通信媒体を用いて一般的にはネットワーク又は他のコンピューティング装置に接続する様々なコンピューティング装置が挙げられ得る。記録化コンピュータ１１２～１１８としては、モバイル装置、ポータブルコンピュータ、及び／又は非ポータブルコンピュータが挙げられ得る。非ポータブルコンピュータの例としては、デスクトップコンピュータ、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベース若しくはプログラマブル電子装置、ネットワークＰＣなど、又は前述した装置のうちの１つ以上の機能を組み合わせた統合装置が挙げられ得るが、これらに限定されない。ポータブルコンピュータの例としては、ラップトップコンピュータ１１２が挙げられ得るが、これに限定されない。ラップトップコンピュータ１１２は、ユニバーサルシリアルバス（ＵＳＢ）ケーブル、又はデータ転送可能ないくつかの他の（有線若しくは無線）バスを介してカメラに通信結合される。モバイルコンピュータの例としては、スマートフォン１１４、タブレット、携帯電話、ディスプレイページャ、携帯情報端末（ＰＤＡ）、ハンドヘルドコンピュータ、ウェアラブルコンピューティング装置など、又は前述の装置のうちの１つ以上の機能を組み合わせた統合装置が挙げられるが、これらに限定されない。記録化コンピュータとしては、ネットワークカメラ１１６などのネットワークコンピュータが挙げられ得る。記録化コンピュータはまた、処置器具１１８、ＧｏＰｒｏ（登録商標）、ボディカムなどの、取得されている処置を実施するために利用される処置器具を含んでもよく、又はこれに接続されてもよい。したがって、記録化コンピュータ１１２～１１８としては、広範囲の機能及び特徴を備えるコンピュータが挙げられ得る。

記録化コンピュータ１１２～１１８又はアセスメントツールクライアントコンピュータ１２２は、様々なコンピューティングアプリケーションにアクセスする、かつ／又はこれらを使用して、ユーザが様々なオンライン及び／又はオフライン活動を実施するのを可能にすることができる。こうした活動としては、文書を生成する、データを収集／監視する、画像／ビデオを取得／操作する、媒体を管理する、金融情報を管理する、ゲームをプレイする、個人情報を管理する、インターネットをブラウジングすることなどが挙げられ得るが、これらに限定されない。いくつかの実施形態では、記録化コンピュータ１１２～１１８又はアセスメントツールクライアントコンピュータ１２２は、ブラウザ又は他のウェブベースアプリケーションを介してネットワークに接続することが可能となり得る。

記録化コンピュータ１１２～１１８又はアセスメントツールクライアントコンピュータ１２２は、更に、記録化コンピュータを識別する情報を提供するように構成されてもよい。こうした識別情報としては、記録化コンピュータの種類、能力、構成、名前などが挙げられ得るが、これらに限定されない。少なくとも１つの実施形態では、記録化コンピュータは、インターネットプロトコル（ＩＰ）アドレス、電話番号、移動体識別番号（ＭＩＮ）、媒体アクセス制御（ＭＡＣ）アドレス、電子シリアル番号（ＥＳＮ）、又は他の装置識別子などの様々な機構のうちのいずれかを介してそれ自身を一意的に識別することができる。

レビューコンピュータ１０２～１０７の様々な実施形態を、図２のクライアントコンピュータ２００と共に、以下でより詳細に説明する。要約すると、いくつかの実施形態では、レビューコンピュータ１０２～１０７のうちの少なくとも１つは、ＡＴＳＣ１１０と通信するように構成され得る。様々な実施形態では、１つ以上のレビューコンピュータ１０２～１０７は、ウェブブラウザを介するなどして、ＡＴＳＣ１１０からのライブ又は記録されたストリーミングコンテンツにアクセス、それと相互作用、及び／又はそれを閲覧することが可能となり得る。様々な実施形態のうちの少なくとも１つでは、レビューコンピュータのユーザは、ＡＴＳＣ１１０によって提供されるコンテンツをアセスメントすることが可能となり得る。ユーザは、文書又は口頭でＡＴＳＣ１１０にコメンタリを提供することが可能となり得る。

一般に、記録化コンピュータ１０２～１０７は、ネットワーク上で通信して、情報を送信及び／又は受信する、様々なオンライン及び／又はオフライン活動を実施することなどが可能なコンピューティング装置を含んでもよい。本明細書に記載される実施形態は、使用されるレビューコンピュータの数又は種類によって制約されず、図１に示されるものよりも多い又は少ないレビューコンピュータ、及び／又はレビューコンピュータの種類が使用されてもよいことを認識されたい。少なくとも１つのレビューコンピュータ１０２～１０７は、クライアントコンピュータであってもよい。

レビューコンピュータ１０２～１０７として稼働し得る装置としては、有線及び／又は無線通信媒体を用いて一般的にはネットワーク又は他のコンピューティング装置に接続する様々なコンピューティング装置が挙げられ得る。レビューコンピュータ１０２～１０７としては、モバイル装置、ポータブルコンピュータ、及び／又は非ポータブルコンピュータが挙げられ得る。非ポータブルコンピュータの例としては、デスクトップコンピュータ１０２、パーソナルコンピュータ、マルチプロセッサシステム、マイクロプロセッサベース若しくはプログラマブル電子装置、ネットワークＰＣなど、又は前述した装置のうちの１つ以上の機能を組み合わせた統合装置が挙げられ得るが、これらに限定されない。ポータブルコンピュータの例としては、ラップトップコンピュータ１０４が挙げられ得るが、これに限定されない。モバイルコンピュータの例としては、スマートフォン１０６、タブレットコンピュータ１０７、携帯電話、ディスプレイページャ、携帯情報端末（ＰＤＡ）、ハンドヘルドコンピュータ、ウェアラブルコンピューティング装置など、又は前述の装置のうちの１つ以上の機能を組み合わせた統合装置が挙げられるが、これらに限定されない。したがって、記録化コンピュータ１０２～１０７としては、広範囲の機能及び特徴を備えるコンピュータが挙げられ得る。

レビューコンピュータ１０２～１０７は、様々なコンピューティングアプリケーションにアクセスする、かつ／又はこれらを使用して、ユーザが様々なオンライン及び／又はオフライン活動を実施するのを可能にすることができる。こうした活動としては、文書を生成する、データを収集／監視する、画像を取得／操作する、コンテンツをレビューする、媒体を管理する、金融情報を管理する、ゲームをプレイする、個人情報を管理する、インターネットをブラウジングすることなどが挙げられ得るが、これらに限定されない。いくつかの実施形態では、レビューコンピュータ１０２～１０７は、ブラウザ又は他のウェブベースアプリケーションを介してネットワークに接続することが可能となり得る。

レビューコンピュータ１０２～１０７は、更に、レビューコンピュータを識別する情報を提供するように構成されてもよい。こうした識別情報としては、レビューコンピュータの種類、能力、構成、名前などが挙げられ得るが、これらに限定されない。少なくとも１つの実施形態では、レビューコンピュータは、インターネットプロトコル（ＩＰ）アドレス、電話番号、移動体識別番号（ＭＩＮ）、媒体アクセス制御（ＭＡＣ）アドレス、電子シリアル番号（ＥＳＮ）、又は他の装置識別子などの様々な機構のうちのいずれかを介してそれ自身を一意的に識別することができる。

ＡＴＳＣ１１０の様々な実施形態を、図３のネットワークコンピュータ３００と共に、以下でより詳細に説明する。要約すると、いくつかの実施形態では、ＡＴＳＣ１１０は、記録化コンピュータ１１２～１１８又はアセスメントツールクライアントコンピュータ１２２によって取得されたビデオを受信し、レビューコンピュータ１０２～１０７にビデオを提供してレビューコンピュータ１０２～１０７からのコメンタリを要請し、コメンタリをセンテンスへとトークン化して、センテンスを肯定的、中立的、又は否定的として分類し、分類結果を集約し、分類結果をメタデータ記憶部１２０に記憶するように稼働することができる。いくつかの実施形態では、アセスメントツールクライアントコンピュータ１２２などのアセスメントツールクライアントコンピュータは、後に又はリアルタイムでＡＴＳＣ１１０に提供され得る処置データを収集又は取得するように構成され得る。ＡＴＳＣ１１０は、追加的に又は代替的に、記録されたビデオを分類して、活動の過程で関連するイベントを特定するように稼働することができる。例えば、手術の分野では、出血、焼灼、煙、縫合、身体部分などのイベントを特定することができる。ＡＴＳＣ１１０は、より高いレベルの分析を実施することもできる。手術の例を続けると、ＡＴＳＣは、ビデオを記録しているカメラが身体の内部にあるか又は外部にあるか、縫合が組織に十分近接しているか（過度にきつくも過度に緩くもないか）、焼灼が手術野に過剰な血液がない状態を維持するのに十分であるか、及びその他の外科処置を検出し得る。

ＡＴＳＣ１１０の様々な実施形態は、続いて、分類情報を処理し、利用可能にし、またこれに対して作用し得る。例えば、ＡＴＳＣ１１０は、集約分類情報（メタデータ記憶部１２０から検索された分類情報を含む）を処理して、傾向、パターン、例外、又は他のデータとの相関若しくは関係（例えば、どのデータ要素が、外科医のパフォーマンス及び／又は患者の成果に最も影響を及ぼすか）を特定することができる。ＡＴＳＣは、例えばウェブサイトを介してこの情報を利用可能にして、レビューコンピュータ１０２～１０７から受信したコメンタリの関連部分へのアクセス、ビデオの直接分類によって実現される洞察、又は他の媒体若しくは外科医のパフォーマンスに関するものを含む他のデータ要素との比較を可能にすることができる。更に、ＡＴＳＣは、今後のタスクを割り当てることを助けるためにスケジューリングシステムと統合されてもよい。手術の例を続けると、次回の１組の外科処置がスケジュール決めされる場合、ＡＴＳＣ１１０は、様々な外科医の効率性及び有効性に関するデータを提供して、外科医を、彼らが効果的に完了することの可能なタスクにより最適に割り当てることを可能にすることができる。

ネットワーク１０８としては、ＵＳＢケーブル、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ－Ｆｉなどが挙げられるがこれらに限定されない、遠隔装置と通信するためのほぼ全ての有線及び／又は無線技術が挙げられ得る。いくつかの実施形態では、ネットワーク１０８は、ネットワークコンピュータを、レビューコンピュータ１０２～１０７、記録化コンピュータ１１２～１１８、又はアセスメントツールクライアントコンピュータ１２２、アセスメントツールサーバコンピュータ１１０、アセスメントツールクライアントコンピュータ１２２、メタデータ記憶部１２０などを含む他のコンピューティング装置と結合するように構成されたネットワークであってもよい。様々な実施形態では、装置間で通信される情報としては、プロセッサ可読命令、遠隔要求、サーバ応答、プログラムモジュール、アプリケーション、生データ、制御データ、システム情報（例えば、ログファイル）、ビデオデータ、音声データ、画像データ、テキストデータ、構造化／非構造化データなどが挙げられるがこれらに限定されない、様々な種類の情報が挙げられ得る。いくつかの実施形態では、この情報は、１つ以上の技術及び／又はネットワークプロトコルを使用して装置間で通信されてもよい。

いくつかの実施形態では、このようなネットワークとしては、様々な有線ネットワーク、無線ネットワーク、又はこれらの任意の組み合わせが挙げられ得る。様々な実施形態では、ネットワークは、１つの電子装置から別の電子装置に情報を通信するために、様々な形態の通信技術、トポロジー、コンピュータ可読媒体などを使用することが可能となり得る。例えば、ネットワークとしては、インターネットに加えて、ＬＡＮ、ＷＡＮ、パーソナルエリアネットワーク（ＰＡＮ）、キャンパスエリアネットワーク、メトロポリタンエリアネットワーク（ＭＡＮ）、直接通信接続（ユニバーサルシリアルバス（ＵＳＢ）ポートを介するなどした）など、又はこれらの任意の組み合わせが挙げられ得る。

様々な実施形態では、ネットワーク内及び／又はネットワーク間の通信回線としては、ツイストペア線、光ファイバ、オープンエアレーザ、同軸ケーブル、単純旧式電話サービス（ＰＯＴＳ）、導波管、音響、完全若しくは部分専用デジタル回線（Ｔ１、Ｔ２、Ｔ３、又はＴ４など）、Ｅ回線、サービス統合デジタル通信網（ＩＳＤＮ）、デジタル加入者回線（ＤＳＬ）、無線回線（衛星回線を含む）、又は当業者に既知の他の回線及び／若しくはキャリア機構が挙げられ得るが、これらに限定されない。更に、通信回線は、例えば、ＤＳ－０、ＤＳ－１、ＤＳ－２、ＤＳ－３、ＤＳ－４、ＯＣ－３、ＯＣ－１２、ＯＣ－４８などが挙げられるがこれらに限定されない、様々なデジタル信号伝達技術のいずれかを更に使用することができる。いくつかの実施形態では、ルータ（又は他の中間ネットワーク装置）は、様々なアーキテクチャ及び／又はプロトコルに基づくものを含む様々なネットワーク間の回線として機能して、情報が１つのネットワークから別のネットワークに転送されることを可能にすることができる。他の実施形態では、リモートコンピュータ及び／又は他の関連する電子装置は、モデム及び一時的電話回線を介してネットワークに接続することができる。本質的に、ネットワークとしては、情報がコンピューティング装置間で移動することができる任意の通信技術が挙げられ得る。

いくつかの実施形態では、ネットワークとしては、様々なポータブルネットワーク装置、リモートコンピュータ、有線ネットワーク、他の無線ネットワークなどを結合するように構成され得る様々な無線ネットワークが挙げられ得る。無線ネットワークとしては、少なくともレビューコンピュータ１０２～１０７、記録化コンピュータ１１２～１１８、又はアセスメントツールクライアントコンピュータ１２２などのためにインフラストラクチャ指向の接続を提供するために、スタンドアロンのアドホックネットワークなどを更にオーバーレイすることができる様々なサブネットワークのうちのいずれかが挙げられ得る。こうしたサブネットワークとしては、網状ネットワーク、無線ＬＡＮ（ＷＬＡＮ）ネットワーク、セルラーネットワークなどが挙げられ得る。様々な実施形態のうちの少なくとも１つでは、システムは、２つ以上の無線ネットワークを含み得る。

ネットワークは、複数の有線及び／又は無線通信プロトコル及び／又は技術を使用することができる。ネットワークによって使用され得る様々な世代の通信プロトコル及び／又は技術（例えば、第３世代（３Ｇ）、第４世代（４Ｇ）、又は第５世代（５Ｇ）の例としては、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、汎用パケット無線サービス（ＧＰＲＳ）、拡張データＧＳＭ環境（ＥＤＧＥ）、符号分割多元アクセス（ＣＤＭＡ）、広域符号分割多元アクセス（Ｗ－ＣＤＭＡ）、符号分割多元アクセス２０００（ＣＤＭＡ２０００）、高速ダウンリンクパケット接続（ＨＳＤＰＡ）、ロングタームエボリューション（ＬＴＥ）、ユニバーサルモバイルテレコミュニケーションシステム（ＵＭＴＳ）、エボリューション・データ最適化（Ｅｖ－ＤＯ）、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭａｘ）、時分割多重アクセス（ＴＤＭＡ）、直交周波数分割多重（ＯＦＤＭ）、超広帯域（ＵＷＢ）、ワイヤレスアプリケーションプロトコル（ＷＡＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、開放型システム間相互接続参照（ＯＳＩ）モデルプロトコルの任意の部分、セッション開始プロトコル／リアルタイムトランスポートプロトコル（ＳＩＰ／ＲＴＰ）、ショートメッセージサービス（ＳＭＳ）、マルチメディアメッセージングサービス（ＭＭＳ）、又は様々な他の通信プロトコル及び／若しくは技術のいずれかが挙げられ得るが、これらに限定されない。本質的に、ネットワークは、情報が、レビューコンピュータ１０２～１０７、記録化コンピュータ１１２～１１８、又はアセスメントツールクライアントコンピュータ１２２、ＡＴＳＣ１１０、メタデータ記憶部１２０、例示されていないその他のコンピューティング装置、その他のネットワークなどの間で移動することができる通信技術を含んでもよい。

様々な実施形態では、ネットワークの少なくとも一部分は、様々な通信回線によって接続され得るノード、リンク、パス、端子、ゲートウェイ、ルータ、スイッチ、ファイアウォール、ロードバランサ、フォワーダ、リピータ、光電コンバータなどの自律システムとして構成され得る。これらの自律システムは、ネットワークのネットワークトポロジーが修正され得るように、現在の稼働条件及び／又はルールベースのポリシーに基づいて自己組織化するように構成されてもよい。

例示的なクライアントコンピュータ
図２は、図１に示されるようなシステムに含まれ得るクライアントコンピュータ２００の実施形態を示す。クライアントコンピュータ２００は、例えば、記録化コンピュータ１１２～１１８、レビューコンピュータ１０２～１０７、アセスメントツールクライアントコンピュータ１２２などの少なくとも１つの実施形態を表し得る。また、クライアントコンピュータ２００は、モバイル装置（例えば、スマートフォン又はタブレット）、固定式／デスクトップコンピュータなどであってもよい。

クライアントコンピュータ２００は、バス２２８を介してメモリ２０４と通信する中央処理装置（ＣＰＵ）などのプロセッサ２０２を含んでもよい。クライアントコンピュータ２００はまた、電源２３０、ネットワークインタフェース２３２、プロセッサ可読固定記憶装置２３４、プロセッサ可読リムーバブル記憶装置２３６、入力／出力インタフェース２３８、カメラ（複数可）２４０、ビデオインタフェース２４２、タッチインタフェース２４４、プロジェクタ２４６、ディスプレイ２５０、キーパッド２５２、照明装置２５４、音声インタフェース２５６、全地球測位システム（ＧＰＳ）受信機２５８、オープンエアジェスチャインタフェース２６０、温度インタフェース２６２、触覚インタフェース２６４、ポインティング装置インタフェース２６６などを含んでもよい。クライアントコンピュータ２００は、任意選択的に、基地局（図示せず）と、又は直接別のコンピュータと、通信することができる。また、一実施形態では、図示されていないが、クライアントコンピュータ２００の向きを測定及び／又は維持するために、クライアントコンピュータ２００内で加速度計又はジャイロスコープが使用されてもよい。

更に、１つ以上の実施形態では、クライアントコンピュータ２００は論理回路２６８を含んでもよい。論理回路２６８は、プロセッサ２０２とは対照的な、又はプロセッサ２０２に対して補完的な埋め込み論理ハードウェア装置であってもよい。埋め込み論理ハードウェア装置は、その埋め込み論理を直接実行して、アクション、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを実施する。

また、１つ以上の実施形態（図示せず）では、モバイルコンピュータは、ＣＰＵの代わりにハードウェアマイクロコントローラを含んでもよい。少なくとも１つの実施形態では、システムオンチップ（ＳＯＣ）などのマイクロコントローラは、それ自体の埋め込み論理を直接実行してアクションを実施し、また、それ自体の内部メモリ及びそれ自体の外部入出力インタフェース（例えば、ハードウェアピン及び／又は無線送受信機）にアクセスしてアクションを実施する。

電源２３０は、クライアントコンピュータ２００に電力を供給することができる。電力を供給するために、再充電可能又は非再充電可能バッテリーが用いられ得る。電力はまた、バッテリーを補充及び／又は再充電するＡＣアダプター又は給電ドッククレードルなどの外部電源により供給されてもよい。

ネットワークインタフェース２３２は、クライアントコンピュータ２００を１つ以上のネットワークに結合するための回路を含み、ＯＳＩモデル、ＧＳＭ、ＣＤＭＡ、時分割多重アクセス（ＴＤＭＡ）、ＵＤＰ、ＴＣＰ／ＩＰ、ＳＭＳ、ＭＭＳ、ＧＰＲＳ、ＷＡＰ、ＵＷＢ、ＷｉＭａｘ、ＳＩＰ／ＲＴＰ、ＧＰＲＳ、ＥＤＧＥ、ＷＣＤＭＡ、ＬＴＥ、ＵＭＴＳ、ＯＦＤＭ、ＣＤＭＡ２０００、ＥＶ－ＤＯ、ＨＳＤＰＡの任意の部分を実装するプロトコル及び技術、又は様々な他の無線通信プロトコルのいずれかが挙げられるがこれらに限定されない、１つ以上の通信プロトコル及び技術と共に用いるように構築される。ネットワークインタフェース２３２は、送受信機、送受信装置、又はネットワークインタフェースカード（ＮＩＣ）としても知られている場合がある。

音声インタフェース２５６は、人間の声の音などの音声信号を生成及び受信するよう構成され得る。例えば、音声インタフェース２５６は、スピーカ及びマイクロフォン（図示せず）に結合されて、他者との遠隔通信を可能にし、かつ／又は何らかのアクションのための音声確認応答を生成することができる。音声インタフェース２５６内のマイクロフォンも、例えば、音声認識、音に基づくタッチの検出などを用いて、クライアントコンピュータ２００への入力又はその制御のために用いることができる。マイクロフォンを用いて、対象の活動のパフォーマンスを記録化するコンテンツを取得することができる。

ディスプレイ２５０は、液晶ディスプレイ（ＬＣＤ）、ガスプラズマ、電子インク、発光ダイオード（ＬＥＤ）、有機ＬＥＤ（ＯＬＥＤ）、又はコンピュータと共に用いることができる任意の他の種類の光反射若しくは光透過ディスプレイであってもよい。ディスプレイ２５０はまた、スタイラスなどの物体又は人間の手の指からの入力を受信するように構成されたタッチインタフェース２４４を含んでよく、抵抗性、容量性、表面音響波（ＳＡＷ）、赤外線、レーダ、又はタッチ及び／若しくはジェスチャを感知する他の技術を用いてよい。

プロジェクタ２４６は、遠くの壁、又は遠隔スクリーンのような任意の他の反射物体上に画像を投影できる遠隔ハンドヘルドプロジェクタ又は統合型プロジェクタであってもよい。

ビデオインタフェース２４２は、スチール写真、ビデオセグメント、赤外線ビデオなどのビデオ画像を取得するように構成されてもよい。例えば、ビデオインタフェース２４２は、デジタルビデオカメラ、ウェブカメラなどに結合することができる。ビデオインタフェース２４２は、レンズ、画像センサ、及び他の電子機器を備えてもよい。画像センサは、相補型金属酸化膜半導体（ＣＭＯＳ）集積回路、電荷結合素子（ＣＣＤ）、又は光を感知する任意の他の集積回路を含んでもよい。

キーパッド２５２は、ユーザから入力を受信するように構成された任意の入力装置を備えてもよい。例えば、キーパッド２５２は、押しボタン式数字ダイヤル、又はキーボードを含んでもよい。キーパッド２５２はまた、画像の選択及び送信に関連するコマンドボタンを含んでもよい。

照明装置２５４は、状態表示を提供し、かつ／又は光を提供することができる。照明装置２５４は、特定の期間、又はイベントに応答してアクティブであり続けることができる。例えば、照明装置２５４がアクティブであるとき、キーパッド２５２上のボタンをバックライト照明し、モバイル装置が給電されている間はそのままの状態でいることができる。また、照明装置２５４は、別のモバイルコンピュータをダイヤリングするなど特定のアクションが実施されるときに、これらのボタンを様々なパターンでバックライト照明することができる。照明装置２５４はまた、アクションに応答して、モバイル装置の透明又は半透明のケース内に配置された光源を照明させることができる。

クライアントコンピュータ２００はまた、外部周辺装置、又はその他のモバイルコンピュータ及びネットワークコンピュータなどのその他のコンピュータと通信するための入力／出力インタフェース２３８を備えることができる。入力／出力インタフェース２３８は、クライアントコンピュータ２００が、図１のＡＴＳＣ１１０などの１つ以上のサーバと通信することを可能にし得る。いくつかの実施形態では、入力／出力インタフェース２３８は、クライアントコンピュータ２００が、図１の記録化コンピュータ１１２～１１８及びレビューコンピュータ１０２～１０７などの１つ以上のネットワークコンピュータと接続及び通信することを可能にし得る。クライアントコンピュータ２００が通信し得る他の周辺装置としては、リモートスピーカ及び／又はマイクロフォン、ヘッドホン、ディスプレイスクリーンガラスなどが挙げられ得る。入力／出力インタフェース２３８は、ユニバーサルシリアルバス（ＵＳＢ）、赤外線、Ｗｉ－Ｆｉ、ＷｉＭａｘ、Ｂｌｕｅｔｏｏｔｈ（商標）、有線技術などの１つ以上の技術を利用することができる。

触覚インタフェース２６４は、クライアントコンピュータ２００のユーザに触覚フィードバックを提供するように構成されてもよい。例えば、触覚インタフェース２６４は、別のコンピュータのユーザが呼び出しているときに、特定の方法でクライアントコンピュータ２００を振動させるように使用されてもよい。温度インタフェース２６２は、温度測定入力及び／又は温度変化出力をクライアントコンピュータ２００のユーザに提供するように用いられ得る。オープンエアジェスチャインタフェース２６０は、例えば、単一又は立体ビデオカメラ、レーダ、ユーザが保持又は着用するコンピュータ内部のジャイロセンサなどを用いることによりクライアントコンピュータ２００のユーザの物理的ジェスチャを感知することができる。カメラ２４０は、クライアントコンピュータ２００のユーザの物理的眼球運動を追跡するために用いられ得る。カメラ２４０を用いて、対象の活動のパフォーマンスを記録化するコンテンツを取得することができる。

ＧＰＳ送受信機２５８は、クライアントコンピュータ２００の地球表面上の物理座標を判定することができ、これは、一般的には、緯度及び経度値として位置を出力する。ＧＰＳ送受信機を含むモバイルコンピュータの物理座標は、ジオロケーションデータと呼ばれることがある。また、ＧＰＳ送受信機２５８は、三角測量、補助ＧＰＳ（ＡＧＰＳ）、強化観測時間差法（Ｅ－ＯＴＤ）、セル識別子（ＣＩ）、サービスエリア識別子（ＳＡＩ）、拡張タイミングアドバンス（ＥＴＡ）、基地局サブシステム（ＢＳＳ）などが挙げられるがこれらに限定されないその他のジオポジショニング機構を使用して、地球表面上のクライアントコンピュータ２００の物理的位置を更に決定することもできる。異なる条件下では、ＧＰＳ送受信機２５８は、クライアントコンピュータ２００の物理的位置を判定することができることが理解されよう。しかしながら、少なくとも１つの実施形態では、クライアントコンピュータ２００は、他の構成要素を介して、例えば、媒体アクセス制御（ＭＡＣ）アドレス、ＩＰアドレスなどを含む、モバイルコンピュータの物理的位置を判定するために使用され得るその他の情報を提供することができる。少なくとも１つの実施形態では、ＧＰＳ送受信機２５８は、本明細書で論じられる様々な実施形態のローカライゼーションのために使用される。例えば、様々な実施形態は、ＧＰＳ送受信機２５８を介してローカライズされて、クライアントコンピュータ２００のユーザの位置に基づいて、言語、技術的パラメータ、時間帯、構成パラメータ、測定の単位、通貨単位などをカスタマイズすることができる。

ヒューマンインタフェース構成要素は、クライアントコンピュータ２００から物理的に分離され、クライアントコンピュータ２００への遠隔入力及び／又は出力を可能にする周辺装置であり得る。例えば、ディスプレイ２５０又はキーボード２５２などのヒューマンインタフェース構成要素を介して本明細書で説明されるようにルーティングされる情報は、代わりに、ネットワークインタフェース２３２を介して、遠隔に位置する適切なヒューマンインタフェース構成要素にルーティングされ得る。遠隔に存在し得るヒューマンインタフェース周辺構成要素の例としては、音声装置、ポインティング装置、キーパッド、ディスプレイ、カメラ、プロジェクタなどが挙げられるが、これらに限定されない。これらの周辺構成要素は、Ｂｌｕｅｔｏｏｔｈ（商標）、Ｚｉｇｂｅｅ（商標）などのピコネットワークを介して通信することができる。こうした周辺ヒューマンインタフェース構成要素を備えたモバイルコンピュータの非限定的な一実施例はウェアラブルコンピュータであり、これは、遠隔のピコプロジェクタと、離れて位置するモバイルコンピュータと遠隔通信して、壁又はユーザの手などの反射面上にピコプロジェクタによって投影される画像の一部に向けたユーザのジェスチャを感知する１つ以上のカメラと、を含むことができる。

クライアントコンピュータ２００は、ウェブページ、ウェブベースのメッセージ、図形、テキスト、マルチメディアなどを送受信するように構成されているブラウザアプリケーションを含んでもよい。モバイルコンピュータの２００のブラウザアプリケーションは、無線アプリケーションプロトコルメッセージ（ＷＡＰ）などを含む、実質的にあらゆるプログラミング言語を使用することができる。少なくとも１つの実施形態では、ブラウザアプリケーションは、ハンドヘルドデバイスマークアップ言語（ＨＤＭＬ）、ワイヤレスマークアップ言語（ＷＭＬ）、ＷＭＬスクリプト、ジャバスクリプトＪａｖａ、標準一般化マークアップ言語（ＳＧＭＬ）、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張マークアップ言語（ＸＭＬ）、ＨＴＭＬ５などを使用することが可能である。

様々な実施形態において、ブラウザアプリケーションは、ユーザがアカウント及び／又はユーザインタフェースにログインしてコンテンツデータにアクセス／それを閲覧するのを可能にするように構成されてもよい。様々な実施形態のうちの少なくとも１つでは、ブラウザは、ユーザが、図１のＡＴＳＣサーバ１１０によって生成されるアセスメントデータのレポートを閲覧することを可能にし得る。いくつかの実施形態では、ブラウザ／ユーザインタフェースは、ユーザがレポートのビューをカスタマイズすること、及び自身のアセスメントデータに基づいて個人的改善（例えば、規範的改善）のための規範的推奨事項を受信することを可能にし得る。本明細書に記載されるように、ユーザがレポートをカスタマイズすることができる範囲は、その特定のユーザに対する許可／制限に依存し得る。

様々な実施形態では、ユーザインタフェースは、パフォーマンスを記録化するコンテンツを取得するための１つ以上のウェブインタフェースをユーザに提示することができる。いくつかの実施形態では、ユーザインタフェースは、コンテンツをレビューし、対象の活動のパフォーマンスをアセスメントするための１つ以上のウェブインタフェースをユーザに提示することができる。

メモリ２０４としては、ＲＡＭ、ＲＯＭ、及び／又は他の種類のメモリが挙げられ得る。メモリ２０４は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するためのコンピュータ可読記憶媒体（装置）の一実施例を示す。メモリ２０４は、クライアントコンピュータ２００の低レベルの稼働を制御するためのシステムファームウェア２０８（例えばＢＩＯＳ）を記憶することができる。メモリはまた、クライアントコンピュータ２００の稼働を制御するためのオペレーティングシステム２０６を記憶することができる。この構成要素が、あるバージョンのＵＮＩＸ若しくはＬＩＮＵＸ（商標）などの汎用オペレーティングシステム、又はＷｉｎｄｏｗｓ Ｐｈｏｎｅ（商標）又はＳｙｍｂｉａｎ（登録商標）オペレーティングシステムなどの専用のモバイルコンピュータ通信オペレーティングシステムを含み得ることは理解されよう。オペレーティングシステムは、Ｊａｖａアプリケーションプログラムを介してハードウェア構成要素の制御及び／若しくはオペレーティングシステムの稼働を可能にするＪａｖａ仮想マシンモジュールを含むか、又はこれとインタフェースすることができる。

メモリ２０４は、とりわけアプリケーション２２０及び／又はその他のデータを記憶するためにクライアントコンピュータ２００によって利用され得る１つ以上のデータ記憶装置２１０を更に含んでもよい。例えば、データ記憶装置２１０は、コンテンツ２１２及び／又はコメンタリ２１４を記憶することができる。記録化コンピュータ１１２～１１８の文脈では、コンテンツ２１２は、ＡＴＳＣ１１０に送信されるようにカメラ（又は他の入力装置）によって取得されたコンテンツを表す。しかしながら、レビューコンピュータ１０２～１０７の文脈では、コンテンツ２１２は、専門家によってレビューされているコンテンツを表し、専門家がコメンタリ２１４を生成することを可能にする。

データ記憶装置２１０は、アクションを実行及び実施するためプロセッサ２０２などのプロセッサによって使用されるためのプログラムコード、データ、アルゴリズムなどを更に含んでもよい。一実施形態では、データ記憶装置２１０の少なくとも一部はまた、非一時的プロセッサ可読リムーバブル記憶装置２３６、プロセッサ可読固定記憶装置２３４が挙げられるがこれらに限定されないクライアントコンピュータ２００の別の構成要素上、又は更にはモバイル装置の外部に記憶されてもよい。リムーバブル記憶装置２３６は、ＵＳＢドライブ、ＵＳＢサムドライブ、ドングルなどであってもよい。

アプリケーション２２０は、クライアントコンピュータ２００によって実行されると、命令及びデータを送信、受信、及び／又は他の方法で処理するコンピュータ実行可能命令を含むことができる。アプリケーション２２０は、コンテンツクライアント２２２を含むことができる。記録化コンピュータ１１２～１１８の文脈では、コンテンツクライアント２２２は、人間の活動を記録化するコンテンツを取得、管理、及び／又は受信することができる。アプリケーション２２０は、アセスメントクライアント２２４を含むことができる。レビューコンピュータ１０２～１０７の文脈では、アセスメントクライアント２２４は、コンテンツの一部分に関するユーザからのフィードバックを選択、表示、及び要請することができる。

アプリケーション２２０に含まれ得るアプリケーションプログラムの他の例としては、カレンダ、検索プログラム、電子メールクライアントアプリケーション、ＩＭアプリケーション、ＳＭＳアプリケーション、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）アプリケーション、連絡先マネージャ、タスクマネージャ、トランスコーダ、データベースプログラム、文書処理プログラム、セキュリティアプリケーション、スプレッドシートプログラム、ゲーム、検索プログラムなどが挙げられるが、これらに限定されない。

更に、様々な実施形態のうちの少なくとも１つでは、アプリケーション２２０などは、クラウドベースのコンピューティング環境で稼働することができる。様々な実施形態のうちの少なくとも１つでは、この文脈において、アプリケーションは、クラウドコンピューティング環境によって自動的に管理されるパフォーマンス及びスケーリング考慮事項に応じて、クラウドベース環境内の１つの物理ネットワークコンピュータから別の物理ネットワークコンピュータにフローすることができる。同様に、様々な実施形態のうちの少なくとも１つでは、仮想マシン及び／又は仮想サーバは、自動的にプロビジョニング及びデコミッショニングされてもよい。

そのため、いくつかの実施形態では、クライアントコンピュータ２００は、本明細書に記載されるように、様々な実施形態、実施形態の組み合わせ、プロセス、又はプロセスの部分を使用することが可能になり得る。更に、様々な実施形態では、クライアントコンピュータ２００は、図１のコンピュータ装置と共に上記で説明した様々な実施形態を使用することが可能となり得る。

例示的なネットワークコンピュータ
図３は、図１に示されるようなシステムに含まれ得るネットワークコンピュータ３００の実施形態を示す。ネットワークコンピュータ３００は、例えば、アセスメントツールサーバコンピュータ１１０を表し得る。ネットワークコンピュータ３００は、デスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ、クライアントコンピュータなどであってもよい。

ネットワークコンピュータ３００は、全てバス３３８を介して互いに通信する、ＣＰＵなどのプロセッサ３０２、プロセッサ可読記憶媒体３２８、ネットワークインタフェースユニット３３０、入力／出力インタフェース３３２、ハードディスクドライブ３３４、ビデオディスプレイアダプタ３３６、ＧＰＳ３３８、及びメモリ３０４を含み得る。いくつかの実施形態では、プロセッサ３０２は、１つ以上の中央演算処理装置を含み得る。

更に、１つ以上の実施形態（図示せず）では、ネットワークコンピュータは、ＣＰＵの代わりに埋め込み論理ハードウェア装置を含んでもよい。埋め込み論理ハードウェア装置は、その埋め込み論理を直接実行して、アクション、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを実施する。

また、１つ以上の実施形態（図示せず）では、ネットワークコンピュータは、ＣＰＵの代わりにハードウェアマイクロコントローラを含んでもよい。少なくとも１つの実施形態では、システムオンチップ（ＳＯＣ）などのマイクロコントローラは、それ自体の埋め込み論理を直接実行してアクションを実施し、また、それ自体の内部メモリ及びそれ自体の外部入出力インタフェース（例えば、ハードウェアピン及び／又は無線送受信機）にアクセスしてアクションを実施する。

図３に示すように、ネットワークコンピュータ３００はまた、様々な通信プロトコルと共に使用するように構築されたネットワークインタフェースユニット３３０を介して、インターネット、セルラーネットワーク、又はいくつかの他の通信ネットワーク（有線若しくは無線のいずれか）と通信することができる。ネットワークインタフェースユニット３３０は、送受信機、送受信装置、又はネットワークインタフェースカード（ＮＩＣ）としても知られている場合がある。いくつかの実施形態では、ネットワークコンピュータ３００は、ネットワークインタフェースユニット３３０を介して、記録化コンピュータ、レビューコンピュータ、若しくはＡＴＰプラットフォームに含まれるコンピュータ、又は任意の他のネットワークコンピュータと通信することができる。

ネットワークコンピュータ３００はまた、図３に示されていない様々なセンサ又は他の入力若しくは出力装置などの外部装置と通信するための入力／出力インタフェース３３２を備える。入力／出力インタフェース３３２は、ＵＳＢ、赤外線、Ｂｌｕｅｔｏｏｔｈ（商標）などの１つ以上の通信技術を利用することができる。

メモリ３０４は、一般に、ＲＡＭ、ＲＯＭ、並びに、ハードディスクドライブ３３４、テープドライブ、光学ドライブ、及び／又はフロッピーディスクドライブなどの１つ以上の永久大容量記憶装置を含む。メモリ３０４は、ネットワークコンピュータ３００の低レベルの稼働を制御するためのシステムファームウェア３０６（例えばＢＩＯＳ）を記憶することができる。いくつかの実施形態では、メモリ３０４はまた、ネットワークコンピュータ３００の稼働を制御するためのオペレーティングシステムを記憶することができる。

別個に図示されているが、メモリ３０４は、プロセッサ可読記憶媒体３２８を含んでもよい。プロセッサ可読記憶媒体３２８は、コンピュータ可読媒体、コンピュータ可読記憶媒体、及び／又はプロセッサ可読記憶装置と称されてもよく、かつ／又はこれらを含んでもよい。プロセッサ可読リムーバブル記憶媒体３２８としては、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するための任意の方法又は技術で実装された、揮発性、不揮発性、リムーバブル、及び非リムーバブル媒体が挙げられ得る。プロセッサ可読記憶媒体の例としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ若しくは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）若しくは他の光学式記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶若しくは他の磁気記憶装置、又は所望の情報を記憶するために利用でき、コンピューティング装置によってアクセス可能な任意の他の媒体が挙げられる。

メモリ３０４としては、とりわけ、コンテンツ３１２、分類３１４、集約分類結果３１６、及び／又は他のデータを記憶するためにネットワークコンピュータ３００によって利用され得る１つ以上のデータ記憶装置３１０が更に挙げられる。例えば、データ記憶装置３１０は、アクションを実行及び実施するためにプロセッサ３０２などのプロセッサによって使用されるためのプログラムコード、データ、アルゴリズムなどを更に含んでもよい。一実施形態では、データ記憶装置３１０の少なくとも一部はまた、プロセッサ可読記憶媒体３２８、ハードディスクドライブ３３４などが挙げられるがこれらに限定されない、ネットワークコンピュータ３００の別の構成要素に記憶されてもよい。

コンテンツデータ３１２としては、写真、ビデオ、音声などの対象活動の対象のパフォーマンスを記録化するコンテンツが挙げられ得る。分類３１４は、コンテンツデータ３１２に適用される機械学習アルゴリズムの出力を含み得る。追加的に又は代替的に、分類３１４は、コメンタリ２１４に適用される機械学習アルゴリズムの出力を含んでもよい。集約分類結果３１６は、分類結果に適用される分析の結果を含んでもよい。例えば、手術の文脈では、集約分類結果としては、いつ処置の特定の態様が開始したか、特定の工程がどれほど有効であったか（例えば、焼灼は出血を十分に止めたか）などが挙げられ得る。複数の記録セッションにわたる複数の対象に関連付けられた分類結果が検討され、対象間の比較、所与の対象の進歩又は退歩などのレビューを可能にする。

アプリケーション３２０は、アクションを実施するためにプロセッサ３０２上で実行することができるコンピュータ実行可能命令を含むことができる。いくつかの実施形態では、アプリケーション３２０のうちの１つ以上は、大容量メモリにロードされ、オペレーティングシステム上で実行され得るアプリケーションの一部であり得る。

アプリケーション３２０は、テキスト分類子３２２、ビデオ分類子３２４、分類処理エンジン３２６、及びアセスメントエンジン３２７を含み得る。テキスト分類子３２２は、単語、センテンス、及び／又はパラグラフを処理して、書かれたコメンタリの特徴を特定する。例えば、テキスト分類子３２２は、肯定的、否定的、又は中立的なコメント、並びに重大度及び／又は関連度を特定することができる。ビデオ分類子３２４は、ビデオに記録された活動の様々なイベント／属性を特定することができる。例えば、手術の文脈では、ビデオ分類子は、出血、焼灼、縫合、又は他の手術イベント若しくは技術を特定し得る。一実施形態では、分類子とは、例えばある特徴を特定するために「グラウンドトゥルース」を用いて訓練されたニューラルネットワークなどの機械学習システムを指す。手術の文脈では、例えば、機械学習システムは、縫合を含むものとして人間の専門家がビデオを特定したことを示す表示（すなわち、グラウンドトゥルース）と共に、縫合を示すビデオを用いて訓練されてもよい。機械学習技術を適用することによって、これらの分類子はこの入力を処理し、続いて、ある程度の信頼度で、訓練されたイベント、例えば縫合の存在を特定するために用いられ得る。

分類処理エンジン３２６は、一実施形態では、特定された特徴を集約し、対象間で同じ又は異なる活動の分類を比較することなどによって、分類結果を分析することができる。分類処理エンジン３２６はまた、レビュアデータを照合し、並びに／又はレビュアデータに基づいてレポートを生成、提供、及び／若しくは受信してもよい。

いくつかの実施形態では、以下でより詳細に説明されるように、アセスメントエンジン３２７は、オペレータのパフォーマンスの自動アセスメントの様々な部分を制御又は実施することができる。

更に、アプリケーション３２０は、１つ以上の追加のアプリケーションを含み得る。例えば、アプリケーション３２０内のサーバアプリケーションの少なくとも一部分は、図１のメタデータ記憶部１２０のデータ層を少なくとも部分的に形成してもよい。

ＧＰＳ送受信機３５８は、ネットワークコンピュータ３００の地球表面上の物理座標を判定することができ、これは、一般的には、緯度及び経度値として位置を出力する。ＧＰＳ送受信機を含むネットワークコンピュータの物理座標は、ジオロケーションデータと呼ばれることがある。また、ＧＰＳ送受信機３５８は、三角測量、補助ＧＰＳ（ＡＧＰＳ）、強化観測時間差法（Ｅ－ＯＴＤ）、セル識別子（ＣＩ）、サービスエリア識別子（ＳＡＩ）、拡張タイミングアドバンス（ＥＴＡ）、又は基地局サブシステム（ＢＳＳ）などが挙げられるがこれらに限定されないその他のジオポジショニング機構を使用して、地球表面上のネットワークコンピュータ３００の物理的位置を更に決定することもできる。異なる条件下では、ＧＰＳ送受信機３５８は、ネットワークコンピュータ３００の物理的位置を判定することができることが理解されよう。しかしながら、少なくとも１つの実施形態では、ネットワークコンピュータ３００は、他の構成要素を介して、例えば、媒体アクセス制御（ＭＡＣ）アドレス、ＩＰアドレスなどを含む、モバイルコンピュータの物理的位置を判定するために使用され得るその他の情報を提供することができる。少なくとも１つの実施形態では、ＧＰＳ送受信機３５８は、本明細書で論じられる様々な実施形態のローカライゼーションのために使用される。例えば、様々な実施形態は、ＧＰＳ送受信機２５８を介してローカライズされて、クライアントコンピュータ２００のユーザの位置に基づいて、言語、文化的嗜好、地理・地域的嗜好、政治的嗜好、宗教的嗜好、祝日、気候情報、災害情報、技術的パラメータ、時間帯、構成パラメータ、測定の単位、通貨単位などをカスタマイズすることができる。

音声インタフェース３６４は、人間の声の音などの音声信号を生成及び受信するよう構成され得る。例えば、音声インタフェース３５４は、スピーカ及びマイクロフォン（図示せず）に結合されて、他者との遠隔通信を可能にし、かつ／又は何らかのアクションのための音声確認応答を生成することができる。音声インタフェース３６４内のマイクロフォンも、例えば、音声認識、音に基づくタッチの検出などを用いて、ネットワークコンピュータ３００への入力又はその制御のために用いることができる。マイクロフォンを用いて、対象の活動のパフォーマンスを記録化するコンテンツを取得することができる。同様に、カメラ３４０を用いて、対象の活動のパフォーマンスを記録化するコンテンツを取得することができる。位置又は他の環境構成要素を感知するために、他のセンサ３６０が含まれてもよい。

更に、１つ以上の実施形態では、ネットワークコンピュータ３００は論理回路３６２を含んでもよい。論理回路３６２は、プロセッサ３０２とは対照的な、又はプロセッサ３０２に対して補完的な埋め込み論理ハードウェア装置であってもよい。埋め込み論理ハードウェア装置は、その埋め込み論理を直接実行して、アクション、例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、テンソルプロセッシングユニット（Tensor Processing Unit）（ＴＰＵ）などを実施する。

そのため、いくつかの実施形態では、ネットワークコンピュータ３００は、本明細書に記載されるように、様々な実施形態、実施形態の組み合わせ、プロセス、又はプロセスの部分を使用することが可能になり得る。更に、様々な実施形態では、ネットワークコンピュータ３００は、図１のコンピュータ装置と共に上記で説明した様々な実施形態を使用することが可能となり得る。

例示的実施形態
図４は、様々な実施形態のうちの１つ以上の１つの例示的な実施形態４００を示す。看護、歯科学、ソノグラフィなどといった他の種類のヘルスケア関連活動も同様に企図されるが、簡潔さ及び明快さのために、図４及び本文書全体をとおして論じられる他の実施形態は、手術及び関連する活動を参照する。例えば、外科医４０２及び助手４０４は、手術室内に立って手術台４０８上の患者４０６を看護する。

様々な実施形態のうちの１つ以上では、外科手術は、記録化コンピュータ１１２～１１８などの１つ以上のカメラによって記録される。例えば、手術のビデオを作成するためにカメラ４１０及び／又は４１２が使用され得る。しかしながら、内視鏡カメラ１１８などの任意の種類のカメラも同様に企図される。様々な実施形態のうちの１つ以上では、カメラによって取得されたビデオは、機械学習エージェントによるビデオの分類を含む、後述するリアルタイム処理のためにＡＴＳＣ１１０に転送される。この処理の結果は、差し迫った問題を外科医に警告することができるモニタ４１６又は拡張視野眼鏡４１８上に表示するために、手術室に返されてもよい。

様々な実施形態のうちの１つ以上では、ビデオストリーム上で実施される分類は、メス４１４などの外科用器具の特定を含む。外科用器具を特定することによって、分類処理エンジン３２６によって実施されるより高レベルの処理は、どの特定の器具（型、モデル、バージョン）が誰によって使用されているか、外科用器具がいつ使用されていないか、それがいつ患者に損傷を生じさせようとしているか、及び／又は使用中の外科用器具がいつ準最適であり、交換されるべきかを特定することができる。

追加的に又は代替的に、レビュア４２０は、記録された外科処置のテキスト又は音声ベースのコメンタリを生成する。以下で論じられるように、これらのレビュアは同僚であってもよく、又は対象の処置を実施している人物には未知の他の外科医であってもよい。追加的に又は代替的に、これらのレビュアは、助手又は非専門家であってもよい。レビュアは、リアルタイムで、又は記録に基づいてのいずれかで、手術に対してコメントすることができる。様々な実施形態のうちの１つ以上では、これらのコメントは、分類及び更なる処理のためにＡＴＳＣ１１０に送信される。

様々な実施形態のうちの１つ以上では、ネットワークコンピュータ４２２は、パフォーマンスコンテンツが生成されているときにそれを局部的に取得するために使用される取得エンジン又は取得エージェントを実行しているコンピュータ又はコンピューティング設備であってもよい。パフォーマンスコンテンツは、１つ以上のルールベースのポリシーに従う更なる分析のためにデータ記憶部にアップロードされてもよい。

図５は、コメント分析における第１の工程の１つの例示的な実施形態５００（センテンスのトークン化）を示す。様々な実施形態のうちの１つ以上では、レビュアはテキストの１つ以上のパラグラフを生成することができる。追加的に又は代替的に、レビュアはテキストをディクテーションすることができ、これは、後で文字起こしされてもよく、又は音声テキスト技術（speech to text technology）を介してリアルタイムでテキストに変換されてもよい。

いずれの場合でも、特許請求される実施形態のうちの一実施形態は、テキストをセンテンスにトークン化する（分割する）。センテンスは、句読点、センテンス構造、文法分析などに基づいてトークン化されてもよい。例えば、図５は、センテンス５０４にトークン化されているコメント５０２を示す。

しかしながら、特許請求される実施形態のその他の実施形態も同様に企図される。例えば、コメンタリは、語句ごと、行ごとにトークン化されてもよく、又は全くトークン化されなくてもよい。

図６は、一実施形態でＡＴＳＣ１１０によって実施されるコメンタリ分類の様々な実施形態６００のうちの１つ以上を示す。コメンタリ分類は、入力、この場合はセンテンス６０２を、針作業意見分類子６０４、焼灼意見分類子６０６、及び進行意見分類子６０８などの１つ以上の分類子に通すことによって実施され得る。これらの分類子は単なる例であり、任意の他の種類又は数の分類子も同様に企図される。一実施形態では、分類子６０４～６０８は、人間の訓練者によって特定されるこれらの尊重される（respected）入力の肯定的、否定的、及び中立的な意見の例を特定する「グラウンドトゥルース」の複数の例で訓練されている。例えば、針作業又は縫合意見分類子６０４は、肯定的、否定的、又は中立的な意見のグラウンドトゥルース表示と共に縫合を説明するセンテンスの多くの例を供給されることによって訓練されるニューラルネットワークであってもよい。この入力データから、ニューラルネットは、人間の介入なしに、内部的にパターン、ルール、及びヒューリスティックスを特定して、新規なセンテンスを適切に分類する。

各分類子は、この例では、センテンス６０２（「Ｊｏｎｅｓ医師は、徹底的である－良好な針作業、良質な焼灼、しかし遅い進行」）を審査し、センテンスが分類を満たすコンテンツを含むか否かを判定する。例えば、針作業意見分類子６０４は、「良好な針作業」及び「良質な縫合」の両方を肯定的な意見として認識するように訓練されていてもよい。同様に、焼灼意見分類子６０６は、「良質な焼灼」を肯定的な意見として認識するように訓練されていてもよい。しかしながら、進行意見分類子は、「遅い進行」、及びそのように割り当てられた「しかし遅い進行」を否定的な意見と認識するように訓練されていてもよい。一実施形態では、「１」の数値が肯定的な意見の全てのインスタンスに与えられ、「－１」が否定的な意見の全てのインスタンスに与えられる。

他の意見分類子は、「掻爬」、「煙」、「出血」、「右手を好む」、「外科手術を通して動きが実際に遅い」などを否定的な意見として認識するように訓練されてもよい。分類子はまた、「良好な両手の器用さ」、「優れた深さ知覚」、「素早い進行」、「しっかりした針の引き」などを肯定的な意見を有するとして認識するように訓練されてもよい。

一実施形態では、様々な分類子が、様々な種類のコメンテータに使用される。例えば、外科における同僚の場合、そのコメンタリが「縫合」などの技術的な外科用語で訓練された分類子によって処理されていてもよく、一方で、助手又は非専門家の場合は、そのコメンタリが「縫い」などのあまり正式ではない用語で訓練された分類子によって処理されていてもよい。一実施形態では、全ての種類のレビュアからのコメントが集約され得るように、主題の専門家及び非専門家によって作成されたコメント間で相関が実施される。

各分類子の適用に続いて、様々な実施形態のうちの１つ以上では、各分類子からの意見を合わせて追加してセンテンスに対する意見を判定する。実施例を続けると、２つの肯定的及び１つの否定的な意見が追加されて、「１」の意見６１０がセンテンス６０２に付与される。

様々な実施形態のうちの１つ以上では、複数のセンテンスは、パラグラフ又は完全なコメンタリの総合的な意見を生成するためにそれらの意見を集約させる。例えば、パラグラフ／コメンタリ全体について「１」の意見６１４を判定するために、１、－２、２、及び０の意見６１２が合計される。

図７は、一実施形態でＡＴＳＣ１１０によって実施されるビデオの分類などのパフォーマンスコンテンツの分類の様々な実施形態７００のうちの１つ以上を示す。ビデオの分類は、ビデオクリップ７０４などのビデオクリップを、体内カメラ分類子７０８、解剖学的構造分類子７１０、器具検出分類子７１２、ガーゼ、焼灼、及び煙分類子７１４、組織取扱分類子７１６、静止器具分類子７１８、及び両手の器用さ分類子７２０などの１つ以上の分類子に通すことによって実施され得る。これらの分類子は単なる例であり、任意の他の種類又は数の分類子も同様に企図される。各分類子はグラウンドトゥルース、すなわち、人間の専門家によって未解決の問題を含む（又は含まない）と特定された１組のビデオを用いて訓練される。ビデオクリップが各分類子によって処理されると、ビデオクリップが表示された活動を含むと分類子が判定する表示及び／又はその程度が特定される。

様々な実施形態のうちの１つ以上では、ビデオクリップは、ビデオカメラ、ビデオ取得システム、ローカル取得エージェント、又はローカルネットワークコンピュータ上でローカルにキャッシュされてもよい。したがって、様々な実施形態のうちの１つ以上では、ローカル取得エージェントは、ネットワーク品質又は接続性を監視するように構成され得る。いくつかの実施形態では、ローカル取得エージェントは、ビデオクリップなどのパフォーマンスコンテンツをローカルに記憶し、続いて処理するためにデータ記憶部にアップロードするように構成されてもよい。様々な実施形態のうちの１つ以上では、ローカル取得エージェントは、パフォーマンスコンテンツがいつアップロードされたか、又はパフォーマンスコンテンツがアップロードされたか否かを判定するために適用される、１つ以上のルールベースのポリシーを適用するように構成されてもよい。また、いくつかの実施形態では、ルールベースのポリシーは、取得エージェントによって実行され得る機械命令にコンパイル又は解釈され得る命令又は構成情報を含み得る。いくつかの実施形態では、ルールベースのポリシーは、ネットワーク帯域幅、ネットワーク利用、レイテンシ、コストなどの１つ以上の監視対象メトリックに依存するポリシーであってもよい。例えば、いくつかの実施形態において、パフォーマンスコンテンツのアップロードを病院間ネットワークがあまり利用されない時間に制限又は限定するルールが提供され得る。同様に、いくつかの実施形態では、いくつかのパフォーマンスコンテンツは、他のパフォーマンスコンテンツとは異なるポリシー（例えば、ＱＯＳ考慮事項）を有するとタグ付けされてもよい。例えば、高優先度のパフォーマンスコンテンツが、低優先度のコンテンツより先にアップロードされ得る。

いくつかの実施形態では、取得エージェントは、ネットワーク接続性が失われた場合は自動的にキャッシングを開始するように構成され得る。したがって、パフォーマンスは、パフォーマンスコンテンツを損失することなく、減退しないままであり続けることができる。したがって、いくつかの実施形態では、この実施例では、ネットワークがオンラインに戻ると、キャッシュされたパフォーマンスコンテンツは、定義されたポリシーに従ってアップロードされ得る。

更に、１つ以上の実施形態では、パフォーマンスコンテンツは、パフォーマンスコンテンツを処理するためにリアルタイムで使用されるローカル資源を節約するために、少なくとも部分的にリモートで処理されてもよい。１つ以上の実施形態では、ローカル及びリモートの記憶資源の両方を節約するために、生のパフォーマンスコンテンツの全てが保存されるわけではない。例えば、パフォーマンスコンテンツの全部を記憶するのではなく、分類、相関値、レポート、推奨事項、メタデータ、及び特定の外科的工程に対応するパフォーマンスコンテンツの一部分が永続的に記憶されてもよい。

更に、いくつかの実施形態では、ＧＰＳ信号又はＷｉ－Ｆｉネットワーク信号に基づくローカライゼーションサービスを使用して、データスタンプ、タイムスタンプ、ユニット、メタデータなどを変換して、パフォーマンスコンテンツのソース又はコンテンツの宛先のいずれかと一致させることができる。いくつかの実施形態では、パフォーマンスコンテンツが取得される場所にローカライズされた情報が生成されて、パフォーマンスコンテンツと共に送信され得る。したがって、様々な実施形態のうちの１つ以上では、アセスメントエンジン又は他のサードパーティサービスは、ローカライズされた情報を活用して、パフォーマンスコンテンツに関する追加のコンテキストを提供することができる。例えば、追加のコンテキストとしては、言語、文化的嗜好、地理・地域的嗜好、政治的嗜好、宗教的嗜好、祝日、気候情報、災害情報、技術的パラメータ、時間帯、構成パラメータ、測定の単位、通貨単位などのうちの１つ以上に基づいて、ユーザ向けのパフォーマンスコンテンツを最適化させるメタデータが挙げられ得る。また、様々な実施形態のうちの１つ以上では、分類子を生成するために使用される機械学習は、この追加のコンテキストをその分析の一部とみなすように構成されてもよい。

一実施形態では、体内カメラ分類子７０８は、内視鏡カメラ１１８などのカメラが体内にあるか否かを判定する。これは、追加の処理を実施する前の閾値の判定であり、体内にあるように設計されたカメラが落下した場合の警告の根拠として機能することができる。カメラが体内にあるかどうかを判定することは、レンズがヒトの内部に押し付けられ、及び／又は流体で覆われてレンズを覆い隠す場合があるため、容易ではない。

一実施形態では、解剖学的構造分類子７１０は、１つ以上の解剖学的構造が視認可能であるときを、判定及び／又は概要説明（outline）する。例えば、解剖学的構造分類子は、静脈、動脈、神経、筋肉、骨、靭帯、脂肪組織、又は他の重要な及び／若しくは敏感な身体部位を特定及び識別することができる。これらのアイテムの特定は、単独で、又は他の分類子と共に使用されてもよい。例えば、解剖学的構造分類子は、器具検出分類子７１２と共に用いられて、外科医が患者内の安全でない誤った位置である、若しくは境界外である場所で活動を実行しているとき、又は外科医が活動を実施するのに時間がかかり過ぎるときに、対象に危険な又は差し迫ったミスを警告し、続いて、パーソナライズされた推奨事項を、リアルタイムの決定支援のために実施中の外科医に返し、かつ／又は将来の事例に適用するための規範的改善の機会としてパフォーマンス後に返すことできる。

一実施形態では、器具検出分類子７１２は、処置中に使用中の器具を特定及び／又は概要説明する。上述したように、この情報は、推奨事項を提供する、特定の対象に対する又は特定の工程に関する統計を収集するなどのために、他の分類子と共に使用することができる。更に、器具検出分類子７１２からの結果は、場合によっては現行の器具を使用し続けることのコスト概算及び成果予測と併せて、対象がどの工程を試みようとしているのかの知識と併せて用いることができる。一実施形態では、これらの要因は検討され、新しい器具の推奨事項が推奨される。例えば、対象は、単極剪断のための血管シーラに交換するように勧告されてもよく、これは、交換には３分しかかからず、また異なる用具を用いることによって時間が削減されるためである。更に、活動のパフォーマンスに悪影響を及ぼす可能性がある、現在の器具の寸法又は配向などの可能性のあるミスマッチを特定するために、現在の器具の寸法並びに対象の手の寸法及び利き手が、患者の寸法を含む様々な要因と比較される。

一実施形態では、ガーゼ、焼灼、及び煙分類子７１４は、外科活動中に、予測された及び予想外の両方のイベントを特定する。例えば、外科活動の知識と併せて、ガーゼ及び焼灼分類子７１４からの出力を用いて、ガーゼ及び焼灼が予測されたとおりに用いられていることを確認することができる。更に、検出された煙の程度を含むスモーク分類子７１４からの出力を用いて、焼灼が過剰に使用されているとき、又はその実施が長くかかり過ぎているときを特定することができる。

一実施形態では、組織取扱分類子７１６は、組織が肯定的であるか又は否定的であるときを示す。一実施形態では、引きが適度に強かったか否か、組織が十分に近接していて、縫合糸が過度にきつくも過度に緩くもなかったか否かなどを判定するために縫合が評価される。同様に、組織取扱分類子７１６は、焼灼が手術野に過剰な血液がない状態を維持するのに十分であるときを示し得る。組織取扱分類子７１６の出力は、特に否定的な成果が観察されたときに、リアルタイムで対象に向けられてよい。別の実施形態では、組織取扱分類子７１６の出力は、後続のマイニング及び分析のためにメタデータ１２０内に記憶されてもよい。

一実施形態では、静止器具分類子７１８は、患者の体内の器具が静止しているか否かを示す。典型的には、これは、患者内部での手術用具の喪失を含むがこれに限定されないミス又は過失を示す。

一実施形態では、両手の器用さ分類子７２０は、対象の両手の器用さを評価し、すなわち、これは、対象が両手を上手に使用するか否か、又は対象が一方の手若しくはもう一方の手を好むか否かを評価する。この分類子からの出力は、後続のマイニング及び分析のためにメタデータ１２０内に記憶され得る。例えば、両手の器用さが優れているか又は劣っている対象は、特定の工程又は特定の手術活動において、実施が優れるか又は劣る傾向があり得る。続いてこれらのデータは、リアルタイムの決定支援のためパフォーマンス中に、かつ／又は将来の事例に適用するための規範的改善の機会としてパフォーマンス後に、パーソナライズされた推奨事項として対象に返される。

分類子の完成時に、ビデオクリップ及び分類子の結果は、リアルタイム推奨エンジン７２２、事後分析エンジン７２６、又はその両方によって処理されてもよい。リアルタイム推奨エンジン７２２は、追加の患者データ７２４の任意選択的な入力により、対象の外科医４０２に対するリアルタイムの推奨事項を生成することができる。これらの推奨事項は、モニタ４１６又は拡張現実眼鏡４１８上に表示され得る。例えば、対象／外科医が活動を過度に遅く実施しているとき、外科医が安全でない位置で活動を実施しているときに、リアルタイム推奨エンジン７２２は、手術活動の成果を改善するための様々な推奨事項を提供することができる。推奨事項は、手術を行うための異なる技術、外科的工程を行うための異なる器具、患者に投与される薬剤若しくは治療を含んでもよく、又は、過去にこの手術活動を行って肯定的な結果を有する別の外科医に、現行の外科医がおそらく補助を必要としていることを通知してもよい。通知は、手術のリアルタイムビデオへのメッセージ、電子メール、電話通信、及び／又はリンクのうちの１つ以上を含むことができる。事後分析エンジン７２６は、追加の患者データ７２４の任意選択的な入力により、なされるべき改善のリストを含む、手術の肯定的及び否定的部分を特定することができる。

一実施形態では、追加の患者データ７２４は、患者の人口統計、患者の健康状態、患者の手術歴、患者の病状、又は任意の他の関連情報を記載する属性を含み得る。この情報は、例えば、患者の年齢、性別、又は病歴に基づいて解剖学的構造分類子７１０の結果を洗練させる（又は異なる解剖学的構造分類子から選択する）など、分類子の結果を補完するために用いられ得る。

上述したように、様々な実施形態のうちの１つ以上では、分類子７０８～７２０は、サンプルデータのコーパスを供給されることによって訓練され、それによってグラウンドトゥルースを確立する。例えば、体内カメラ分類子７０８は、体内にカメラを含むと人間によってマークされた多くのビデオの例、並びに体外のカメラを含むと人間によってマークされたビデオの例を供給されることによって訓練されたニューラルネットワークであってもよい。しかしながら、特定の分類子は、図６に関連して上述したように、コメンタリから抽出されたデータで訓練されてもよい。例えば、外科活動の一部分に関する専門家によって生成されたコメンタリが優れた組織の取り扱いを示す場合、対応するビデオ及びグラウンドトゥルースは、組織取扱分類子７１６への入力として使用され得る。

図８は、「アプリ」又はウェブブラウザで閲覧可能なプロファイルページ８００を示す。プロファイルページは、要約部分８０２、詳細部分８０４、及び／又は公開プロファイル部分８０６を含み得る。

様々な実施形態のうちの１つ以上では、要約部分８０２は、対象のパフォーマンスの１つ以上の要約を含む。要約は、「肯定的」であるスキル８０８、すなわち対象が良好に実施するスキルと、「努力を要する」スキル８１０、すなわち個人が不十分に実施するスキルと、を含んでもよい。一実施形態では、それぞれ図９及び１０に関して下記で論じるように、スキルは、分類子、並びにコメンタリ及び／又はビデオストリームに適用される任意選択的な追加の処理に基づいて、肯定的又は否定的であると特定される。様々な実施形態のうちの１つ以上では、要約における各エントリは、代表的なコメント、例えば、「迅速かつ機敏な縫い」及び「通常よりも遅い」によって特定される。

様々な実施形態のうちの１つ以上では、対象の長所及び弱点は、データセット処置アセスメント全体にわたるこれらと同様の他の対象と比較して報告又は示されてもよい。例えば、「あなたの手術は手荒な組織の取り扱いを伴う可能性が２５％高く、これは、あなたの同格者と比較して２０％多い合併症をもたらすことが予想される」。続いて、これらの観察結果を、望まれているスキルの改善及び患者の成果を生む可能性が最も統計的に高い改善のためのパーソナライズされた推奨事項に変えることができる。

様々な実施形態のうちの１つ以上では、詳細部分８０４は、対象によって実施される処置のリスト８１２を含んでもよく、その各要素は、コメンタリから抽出された詳細な集約されたフィードバックを閲覧するために拡大され得る。例えば、処置２４が拡大され、２つの活動、すなわち「良好な針作業」８１４及び「遅い進行」８１６が、重大であるとして（すなわち、コメンタリの閾値パーセンテージを上回るように見える）列挙される。これらの活動のそれぞれは、「迅速かつ機敏な縫い」又は「通常より遅い」などの活動の説明を含む実際のセンテンスの断片を見るために、それら自体が拡大されてもよい。

様々な実施形態のうちの１つ以上では、外科医の対象は、コメントが誤っているとしてフラグを立てることが可能となる。これらの場合、訓練されたレビュアが、ビデオ及びフラグ付けされたコメントをレビューするように割り当てられる。外科医の対象が正しいとみなされる場合、コメントは削除される。コメンテータが有心である（cored）とみなされる場合、後続の分類子の訓練に利用可能なグラウンドトゥルースとして正しい分類が追加される。

様々な実施形態のうちの１つ以上では、公開プロファイル８０６は、ソーシャルネットワークのユーザが、対象のプロファイルページを訪問した際に見ることができるものを示す。一実施形態では、公開プロファイルのコンテンツは、本明細書で論じるように、コメンタリ及び／又はビデオ分類の結果に基づいてコンピュータにより生成される。このようにして、公開プロファイルの閲覧者は、その中に含まれるデータの正確性及び公平性に対して信頼を持つことができる。ソーシャルネットワークがこうしたプロファイルを含むように特別に構築されてもよく、又はコンテンツが既存のソーシャルネットワークに統合されてもよい。

一般的な稼働
本発明の特定の態様の稼働について、図９～１１を参照して説明する。様々な実施形態のうちの少なくとも１つでは、それぞれ図９～１１と併せて説明されるプロセス９００、１０００、及び１１００、又はこれらのプロセスの一部が、図３のネットワークコンピュータ３００などのネットワークコンピュータによって実装され、かつ／又はそのネットワークコンピュータ上で実行されてもよい。その他の実施形態では、これらのプロセス又はこれらのプロセスの一部は、図３のネットワークコンピュータ３００などの複数のネットワークコンピュータによって実装され、かつ／又はその複数のネットワークコンピュータ上で実行されてもよい。また、様々な実施形態のうちの少なくとも１つでは、これらのプロセス又はこれらのプロセスの一部は、１つ以上のクラウドネットワーク内で稼働する１つ以上のクラウドインスタンスによって実装され、かつ／又はその１つ以上のクラウドインスタンス上で実行されてもよい。しかしながら、実施形態はそのように限定されず、ネットワークコンピュータ、クライアントコンピュータ、クラウドコンピュータなどの様々な組み合わせが利用され得る。これらのプロセス又はこれらのプロセスの一部は、記録化コンピュータ１１２～１１８、レビューコンピュータ１０２～１０７、又はＡＴＳＣ１１０が挙げられるがこれらに限定されない、図１の任意のコンピュータ上に実装されてもよい。

図９は、レビュアによって受信されたコメンタリから抽出された意見極性の集約に基づいてフィードバックを提供するプロセス９００の概略フローチャートを示す。開始ブロックの後、ブロック９０２において、様々な実施形態のうちの少なくとも１つでは、対象の処置を記録化したコンテンツが取得される。様々な実施形態のうちの１つ以上では、対象の活動のパフォーマンスを記録化するコンテンツは、記録化コンピュータなどであるがこれに限定されないコンテンツ取得装置を介して取得される。例えば、図１の記録化コンピュータ１１２～１１８のうちの少なくとも１つは、対象によって実施される対象活動を記録化するコンテンツを取得してもよい。

取得されたコンテンツは、静止画像、ビデオコンテンツ、音声コンテンツ、テキストコンテンツ、バイオメトリクスなどが挙げられるがこれらに限定されない、対象の活動を記録化する任意のコンテンツであってもよい。例えば、手術（ロボット手術が挙げられるがこれに限定されない）を実施する外科医を記録化するビデオが取得され得る。他の実施形態では、患者から血液を引き出す瀉血専門医のビデオ、又は血糖値計を稼働させて患者の血糖値を得る看護師のビデオを取得することができる。コンテンツは、手洗い手順、家庭透析手順、訓練手順などの様々な手順を実施する対象を記録化することができる。以下で更に説明するように、取得されたコンテンツの少なくとも一部分は、同僚、メンタ、又は他の主題の専門家などのレビュアに提供される。全体にわたって論じられるように、レビュアはコンテンツをレビューし、対象の活動のパフォーマンスに関して、テキストベース、又はディクテーションされたコメンタリを提供する。各レビュアは、対象活動の対象のパフォーマンスの独立したアセスメントを示すコメンタリを提供する。

様々な実施形態のうちの１つ以上では、対象、記録化コンピュータ１１２～１１８のオペレータ、又は活動の知識を有する別の人物は、注釈提案をリアルタイムで生成することができる。追加的に又は代替的に、これらの人々のうちの１人以上は、重大なイベントが発生すると、マーカを有するタイムスタンプを作成することができる。追加的に又は代替的に、これらの人々のうちの１人以上が、発生時に重大なイベントをタグ付けして、レビュアが、特定のイベントまで「早送り」すること、特定のイベントの種類に基づいてフィルタリングすることなどを可能にすることができる。

ブロック９０４において、アセスメントツールは、ブロック９０２で取得されたコンテンツに関連付けられる。一実施形態では、アセスメントツールは、レビュアからのテキストベース又はディクテーションされたコメンタリを要請する。コメンタリは、自由形式の定性的質問に応答してもよく、又は一般化されたコメント、フィードバックなどのプロンプトに応答してもよい。

様々な実施形態のうちの１つ以上では、アセスメントツールによってタイムスタンプなどのメタデータがコンテンツにオーバーレイされてもよい。別の実施形態では、１つ以上のソースから同時に取得された音声がビデオコンテンツと共に再生されて、活動を実施している１人以上の人々がその時点で何を言っていたかをレビュアが理解することを可能にすることができる。別の実施形態では、図１０と併せて下記で説明するように、解剖学的特徴の位置、外科用器具の位置など、機械学習システムによってビデオから抽出された特徴が、強調されるか、又は別の方法で特定されてもよい。

様々な実施形態では、レビュアは、図１のレビューコンピュータ１０２～１１８などであるがこれに限定されないレビューコンピュータのユーザであってもよい。少なくとも１つの実施形態では、コンテンツは、ウェブインタフェースを介してレビュアに提供される。例えば、ウェブインタフェースにリンクするハイパーリンクなどのリンクがレビュアに提供されてもよい。

ブロック９０６において、アセスメントコメンタリがレビュアから受信される。一実施形態では、アセスメントとしては、レビュアによってタイプされたテキストベースのアセスメントが挙げられる。しかしながら、更なる処理のために文字起こしされ得る、ディクテーションされたアセスメントもまた企図される。

一実施形態では、コメンタリに関連付けられたメタデータもコメントと共に受信される。一実施形態では、コンテンツの再生に関連してアセスメントの一部が作成された時間がメタデータに含まれる。例えば、コメンタリの一部が処置の２３分に生成された場合、そのような表示がコメントに含まれるであろう。このようにして、外科処置中、焼灼が処置の６、２３、及び５０分で実施された場合、コメントと実際のイベントとの間の相関が確立され得る。例えば、コメントが焼灼に言及した場合、コメントが２３分目で発生した焼灼を参照したということが高い信頼度で判定され得る。

ブロック９０８において、任意選択的に、ディクテーションされたコメンタリがテキストに変換される。しかしながら、別の実施形態では、後述するように、テキストベースのコメンタリから抽出された特徴と同様の特徴を抽出するために、ディクテーションされたコメンタリが音声分類子によって処理される。

ブロック９１０において、様々な実施形態のうちの１つ以上では、コメンタリは、パラグラフ及びセンテンスにトークン化される。パラグラフは、一実施形態では、タブ及び改行文字によって特定され得るが、センテンスは、センテンス構造、文法、及び句読点の分析に基づいてトークン化され得る。

ブロック９１２において、図６に関連して上述したように、１つ以上の分類子がセンテンスのそれぞれに適用される。

ブロック９１４において、ブロック９１２で特定された意見極性の集約に基づいてフィードバックが提供される。一実施形態では、フィードバックは、図８に関連して上述した対象のプロファイル内に示される。同様に、フィードバックは、図８に関連して上述した「要約」及び「詳細」ページに集約及び要約されてもよい。

一実施形態では、意見極性の集約に基づくフィードバックを使用して、図１０に関連して下記で論じられる機械学習システムを訓練することができる。例えば、優れた縫合を特定するための訓練材料として、かなりの割合（例えば、９０％超）のレビュアが特定の工程に関して肯定的な感想を述べたことによって判定される優れた縫合の例が機械学習システムに提供され得る。他の実施形態では、特定の工程の３つの最良のスコアが、機械学習システムの学習機会として推奨され得る。

別の実施形態では、活動のうちの特に肯定的又は否定的にレビューされた部分が、対象又は他の実践者のパーソナライズされた規範的学習機会として特定され得る。このように、例えばプロファイルページを介して優秀な又は不十分なコンテンツが提供されてもよく、その結果、レポートの閲覧者が、優秀な例と不十分な例とを比較及び対比することができる。

様々な実施形態のうち別のもの（An another of the various embodiments）、スクリーン４１６又は対象４０２によって着用される眼鏡４１８上に表示されるフィードバックが、手術の対象に対するリアルタイムのアドバイスとして提供される。

続いて、プロセス９００は、戻りブロックに進む。

図１０は、機械学習システムを適用して活動のビデオを分析するためのプロセス１０００の概略フローチャートを示す。一実施形態では、プロセス１０００によって処理されたコンテンツは、プロセス９００によって処理されたコンテンツと同様である。処理は、リアルタイムで同様に発生して、リアルタイムなフィードバックを可能にすることができる。追加的に又は代替的に、処理は活動のアーカイブ映像に適用されてもよく、その場合、結果は、対象によって実施される将来の事例のパフォーマンス及び患者成果を予測すること、改善活動のためのパーソナライズされたフィードバック及び規範的推奨事項を対象に提供すること、訓練材料を特定すること、対象の次回の活動をスケジュール決めするのに使用可能なランキングを提供することなどのために使用される。

開始ブロックの後、ブロック１００２において、コンテンツ、注釈、及びタイムスタンプが、分析のために機械学習システムに提供される。様々な実施形態のうちの１つ以上では、対象の処置のパフォーマンスを記録化するコンテンツは、記録化コンピュータなどであるがこれに限定されないコンテンツ取得装置を介して取得される。例えば、図１の記録化コンピュータ１１２～１１８のうちの少なくとも１つは、対象によって実施される対象処置を記録化するコンテンツを取得してもよい。一般に、コンテンツは、図９のブロック９０２と併せて上述されるように取得される。

ブロック１００４において、図７に関連して上述したように、１つ以上の分類子がコンテンツに適用される。

ブロック１００６において、任意選択的に、コンテンツから抽出された特徴が、患者に関する追加情報と併せて分析される。例えば、患者が悪性形態の癌を有することが知られている場合、この処置中に追加のリスクを冒す価値があると判定され得る。結果として、リスクのある工程を示す特徴、例えば、動脈の過度に近くを通るメスが、リアルタイムのフィードバックのために過小評価又は無視され得る。

ブロック１００８において、任意選択的に、スケジューリングシステムを使用して、コンテンツから抽出された特徴を用いて対象を次回の活動に割り当てる。例えば、外科医が処置中に遅い進行を示す場合、この情報は、より速い動きを必要とする複雑な事例に外科医を割り当てることを回避するために、管理スケジューリングシステムによって使用され得る。同様に、外科医が手術の一態様で特定のスキルを示す場合、外科医は、過度な量（disproportionate amount）のそのスキルを必要とする後続の事例に割り当てられ得る。

ブロック１０１０において、任意選択的に、対象にリアルタイムのフィードバックを提供するために特徴が分析される。一実施形態では、このフィードバックはビデオモニタ４１６上に提供されるが、別の実施形態では、これはヘッドアップディスプレイ眼鏡４１８を介して提供される。例えば、１つの特徴が外科用器具、例えばメス４１４の位置を特定し、別の特徴が尿管などの脆弱性の解剖学的構造の位置を特定する場合、ブロック１０１０は、メスが尿道に近接していることを対象の外科医に警告し、後退を提案することができる。

ブロック１０１２において、任意選択的に、特徴と成果との間の新規な相関を特定するために特徴が分析される。例えば、人間から生じる知識は、機械学習によって特定可能な微妙又は複雑な相関を含まない場合がある。例えば、両手の器用さは、特定の種類の手術のために特定の手術技術を実施する際に、多少重要である場合がある。同様に、利き手、手の寸法、及び他の要因が、より良い又はより悪い手術の成果をもたらすものとして特定され得る。

更に、いくつかの実施形態では、更なる成果に関連する洞察が発見され得る。例えば、アセスメント又は成果は、時刻、患者のタイプ、処置のタイプ、又は１つ以上の対象、患者、アセスメントなどに関連するその他の特徴にマッピングされてもよい。同様に、いくつかの実施形態では、成果情報は、他の対象によって実施される、他の機関で実施される、同じ又は異なる器具を用いて実施されるなどした処置の評価の比較に基づいて生成されてもよい。

ブロック１０１４において、機械学習システムによって抽出された特徴は、メタデータ記憶部１２０に記憶される。

続いて、プロセス１０００は、戻りブロックに進む。

図１１は、特定された外科的工程を、実施される活動の予想される外科的工程のタイムラインと相関させるためのプロセス１１００の概略フローチャートを示す。一実施形態では、プロセス１１００は、図１０、例えば図１０のブロック１００４と併せて実行される。

開始ブロックの後、ブロック１１０２において、処置の開始時間が判定される。一実施形態では、処置の開始時間は００：００であるが、活動の副部分のビデオクリップは任意の時点で開始することができる。

ブロック１１０４において、外科的工程が特定される。一実施形態では、特定された工程は、切開、縫合、焼灼などの基本的な外科的工程を含む。工程は、身体部位に対して特定されてもよい。追加的に又は代替的に、特定された外科的工程は、特定の解剖学的構造の切除（例えば、虫垂の除去）など、より複雑である場合がある。

ブロック１１０６において、特定された工程と、所与の活動のために行われることが予想される工程との間の相関が作成される。例えば、活動の５分目あたりに発生することが予想される切開は、処置の５分３０秒で発生したことが観察された切開と相関され得る。

ブロック１１０８において、特定された工程に基づいて分類子が修正される。一実施形態では、タイムラインとの相関に基づいて、特定の分類子が、コンテンツの関連する（例えば、隣接する）部分に適用されるものとして選択又は強調されてもよい。例えば、活動のタイムラインが、延展器の適用が、５分目あたりで発生することが予想される切開の１５秒以内に発生することを示す場合、コンテンツの５分４５秒（すなわち、実際の切開がなされた１５秒後）あたりで、延展器工程を特定する、かつ／又は延展器工程の態様を評価する分類子が選択及び／又は強調される。

続いて、プロセス１１００は、戻りブロックに進む。

フローチャート図の各ブロック、並びにフローチャート図におけるブロックの組み合わせは、コンピュータプログラム命令によって実装可能であることは理解されるであろう。これらのプログラム命令は、プロセッサ上で実行される命令が、フローチャートのブロック（複数可）において指定されたアクションを実装するための手段を作り出すようなマシンを作成するためにプロセッサに提供され得る。コンピュータプログラム命令は、一連の稼働工程をプロセッサによって実施させてコンピュータ実装プロセスを作成するためにプロセッサによって実行されてもよく、その結果、プロセッサ上で実行する命令が、フローチャートのブロック（複数可）内で指定されたアクションを実装するための工程を提供する。コンピュータプログラム命令はまた、フローチャートのブロックに示される稼働工程の少なくとも一部を並行して実施させることができる。更に、工程のうちいくつかはまた、マルチプロセッサコンピュータシステムなどにおいて起こり得るように、２つ以上のプロセッサにわたって実施され得る。加えて、フローチャート図における１つ以上のブロック又はブロックの組み合わせもまた、本発明の範囲又は趣旨から逸脱することなく、他のブロック又はブロックの組み合わせと同時に、又は更には図示されるものとは異なる順序で実施され得る。

更に、１つ以上の工程又はブロックが、コンピュータプログラムの代わりに、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルアレイ論理（ＰＡＬ）、テンソルプロセッシングユニット（ＴＰＵ）など、又はそれらの組み合わせなどの埋め込み論理ハードウェアを用いて実装されてもよい。埋め込み論理ハードウェアは、埋め込み論理を直接実行して、１つ以上の工程又はブロック内のアクションの一部又は全てを実施することができる。また、１つ以上の実施形態（図示せず）では、工程又はブロックのうちの１つ以上のアクションの一部又は全ては、ＣＰＵの代わりにハードウェアマイクロコントローラによって実施されてもよい。少なくとも１つの実施形態では、システムオンチップ（ＳＯＣ）などのマイクロコントローラは、それ自体の埋め込み論理を直接実行してアクションを実施し、また、それ自体の内部メモリ及びそれ自体の外部入出力インタフェース（例えば、ハードウェアピン及び／又は無線送受信機）にアクセスしてアクションを実施することができる。

上記の明細書、実施例、及びデータは、本発明の構成物の製造及び使用の完全な説明を提供する。本発明の多くの実施形態が、本発明の趣旨及び範囲から逸脱することなくなされ得るため、本発明は、以下に添付の特許請求の範囲に帰するものである。

図１２は、様々な実施形態のうちの１つ以上による、オペレータのパフォーマンスを自動アセスメントするためのシステム１２００の論理アーキテクチャを示す。様々な実施形態のうちの１つ以上では、上述のように、ビデオカメラ、器具からのテレメトリなどを使用して、処置のパフォーマンスを取得することができる。様々な実施形態のうちの１つ以上では、取得された処置情報は、ネットワーク経路１２０４などの様々なネットワークを介して、取得された処置情報を分析して、それを成果データ１２０６と対応付けすることのできる様々なアセスメントツールコンピュータに通信され得る。様々な実施形態のうちの１つ以上では、成果データ１２０６は、患者が処置を受けた後に得た成果に関連する情報を含んでもよい。レビュア１２０８などのエキスポート（export）レビュアは、処置のビデオプレゼンテーションなどのパフォーマンスコンテンツをレビューすることができる。様々な実施形態のうちの１つ以上では、専門家レビュアは、処置の位置で取得され、続いて後のレビューのために記憶された記録ビデオをレビューすることができる。いくつかの実施形態では、専門家レビュアは、ストリーミングビデオなどを介してリアルタイムのレビューを行うことが可能となり得る。したがって、いくつかの実施形態では、専門家レビュアは、処置を実施するオペレータにリアルタイムの是正を提供し得る。その他の実施形態では、専門家レビュアによってレビューされているビデオは、アセスメントエンジン、ビデオ分類子、マシンビジョンなどに基づいて含まれるか又は生成される１つ以上の注釈を含むことができる。

様々な実施形態のうちの１つ以上では、注釈情報は、処置の実施者又はその他の実施者に関連付けられた評価又は成果情報に基づいて、１つ以上の強調点を含んでもよい。

更に、様々な実施形態のうちの１つ以上では、ユーザ及びスタッフ１２１０は、処置取得データに関連付けられ得る有用なコンテキスト情報を提供し得るシステムユーザ又はパフォーマンスサポートスタッフを表す。例えば、ユーザ又はスタッフは、パフォーマンスデータに、関心の強調点、患者情報などのコンテキスト情報で注釈付けすることができる。また、いくつかの実施形態では、コンテキスト情報は、専門家レビュアに無関係であり得る活動を除外するように、処置データを編集することを含み得る。

図１３は、様々な実施形態のうちの１つ以上によるオペレータのパフォーマンスを自動アセスメントするためのシステム１３００の論理アーキテクチャを示す。様々な実施形態のうちの１つ以上では、システム１３００は、カメラ１３０２などの１つ以上の処置データ取得装置、処置器具１３０４などの処置器具、処置取得クライアントコンピュータ１３０６、ネットワーク１３０８、アセスメントツールコンピュータ１３１０などの１つ以上のアセスメントツールコンピュータなどを含む。

様々な実施形態のうちの１つ以上では、取得装置１３０２などの取得装置は、ビデオカメラ、超音波スキャナー（例えば、断層撮影反射（tomographic reflection））、音声マイクロフォン、光学位置センサ、磁気位置センサなど、又はこれらの組み合わせを含み得る。いくつかの実施形態では、取得装置のうちの１つ以上が、処置器具１３０４と一体式であってもよい。あるいは、いくつかの実施形態では、取得装置は、処置器具の外部にあってもよい。いくつかの実施形態では、１つ以上の取得装置は、取得装置にデータフィードを提供する処置器具上のポートに接続されてもよい。

様々な実施形態のうちの１つ以上では、処置器具１３０４は、処置を実施するための通常のツールセット（例えば、外科用システム）の一部であり得る１つ以上の器具を表す。いくつかの実施形態では、処置器具１３０４は、統合ビデオ取得、マシンビジョンシステム、ヘッドアップディスプレイ、拡張現実（augment reality）ディスプレイ、１つ以上のロボットアームなど、又はこれらの組み合わせを含む、高度な装置を含んでもよい。いくつかの実施形態では、処置データが１つ以上の取得装置を介して取得されるという条件で、高度でない器具を用いてもよい。例えば、いくつかの実施形態では、ビデオカメラは、単独型のメス、縫合針などの代表的な器具を用いて実施される外科処置を取得するように構成されてもよい。

様々な実施形態のうちの１つ以上では、処置取得クライアントコンピュータ１３０６などの処置取得コンピュータが、１つ以上の処置器具又は１つ以上の取得装置に連結されるか又は他の方法で統合されてもよい。いくつかの実施形態では、上述したように、処置データを取得するために、取得クライアントコンピュータが、処置が実施されている場所、又はその近くに位置付けられてもよい。いくつかの実施形態では、処置取得クライアントコンピュータ１３０６などの処置取得コンピュータが、処置器具から物理的に分離されるのではなく、処置器具又は処置システムと統合されてもよい。

様々な実施形態のうちの１つ以上では、ネットワーク１３０８は、処置側のコンピュータ又は装置をシステムのアセスメント側に結合するネットワークを表す。様々な実施形態のうちの１つ以上では、ネットワーク１３０８は、ネットワーク１０８などと類似するか又は同じであると考えられてもよい。

様々な実施形態のうちの１つ以上では、アセスメントツールコンピュータ１３１０は、取得された処置データを記憶する、評価する、分類するなどのためのサポートを提供する１つ以上のコンピュータを表すと考えられてもよい。同様に、アセスメントツールコンピュータ１３１０は、テキスト分類子３２２、ビデオ分類子３２４、分類処理エンジン３２６、及びアセスメントエンジン３２７などのうちの１つ以上をホスト、インスタンス化、又は実行することができる１つ以上のネットワークコンピュータを表すものと考えられ得る。

当業者であれば、システム１３００は、様々な実施形態のうちの１つ以上によるシステムの非限定的な一例を示すということを理解するであろう。したがって、コンピュータ、ネットワーク、装置、データ取得装置などの他の構成は、本明細書に記載される革新の一部又は全てを実施するように組み立てられてもよい。簡潔さ及び明瞭さのため、これらの代替的な構成は省略する。しかしながら、提示される実施例及び説明は、特許請求される主題を立証するのに少なくとも十分である。

図１４は、様々な実施形態のうちの１つ以上による、実施された処置に関連する提供された専門家レビュー情報（provided expert review information）のためのユーザインタフェース１４００の論理的又は機能的表現を示す。様々な実施形態のうちの１つ以上では、ユーザインタフェース１４００は、ウィンドウ１４０２などの１つ以上のグラフィカルユーザインタフェース構成要素と、処置データビューワ１４０４と、プロンプト１４０６及び制御部１４０８、プロンプト１４１０及び制御部１４１２、プロンプト１４１４及び制御部１４１６などといった１つ以上の付随する入力制御部を備える１つ以上のレビュー／評価プロンプトと、を含んでもよく、この実施例では、制御部１４１８は次のレビューアクションに進むためのボタンであってもよい。

当業者であれば、ユーザインタフェース１４００は、様々な実施形態のうちの１つ以上によるユーザインタフェースシステムの非限定的な一例を示すということを理解するであろう。したがって、ユーザインタフェース要素の他の構成が、本明細書に記載される革新の一部又は全てを実施するように組み立てられ得る。簡潔さ及び明瞭さのため、これらの代替的な構成は省略する。しかしながら、提示される実施例及び説明は、特許請求される主題を立証するのに少なくとも十分である。

図１５は、様々な実施形態のうちの１つ以上による、実施された処置に関連する専門家レビュー情報を提供するためのユーザインタフェース１４００の論理的又は機能的表現を示す。この実施例では、ユーザインタフェース１５００は、アセスメントツールと相互作用するためのモバイル装置インタフェース又はアプリケーション（携帯電話アプリ）からの２つのスクリーンを示す。この実施例では、スクリーン１５０２は、アセスメントレポートが利用可能であることを示す、対象（例えば外科医）に提供されている通知を示す。したがって、様々な実施形態のうちの１つ以上では、対象は、通知を開くか、又は他の方法で、対象がアセスメントレポートをレビューするか又はそれと相互作用することを可能にするスクリーン１５０４などのクライアントアセスメントツールスクリーンをインスタンス化することができる。同様に、対象がそれらのアセスメントを読む又はそれと相互作用することを可能にするために、必要に応じて他のビュー又はスクリーンが提供されてもよい。また、様々な実施形態のうちの１つ以上では、ユーザ、スタッフ、専門家レビュア、非専門家レビュア、管理者などにアセスメントシステムの様々な特徴へのアクセスを提供するように、モバイルアプリが構成されてもよい。

当業者であれば、ユーザインタフェース１５００は、様々な実施形態のうちの１つ以上によるユーザインタフェースシステムの非限定的な一例を示すということを理解するであろう。したがって、ユーザインタフェース要素の他の構成が、本明細書に記載される革新の一部又は全てを実施するように組み立てられ得る。簡潔さ及び明瞭さのため、これらの代替的な構成は省略する。しかしながら、提示される実施例及び説明は、特許請求される主題を立証するのに少なくとも十分である。

図１６は、様々な実施形態のうちの１つ以上による、アセスメントされた処置の１つ以上の部分又は工程のアセスメントスコアを表すデータモデル１６００の論理的又は機能的表現を示す。この実施例では、深さ知覚、両手の器用さ、効率性、力感度、ロボット制御などの様々なアセスメント特徴は、様々なビン又はバケットされたスコア値と関連付けされる。異なるスコアの意味は、それが関連付けられ得る特徴に応じて変化し得る。なお、データモデル１６００は、アセスメントに関連付けられたスコアデータを表す１つの方法を表す。当業者は、様々な実施形態のうちの１つ以上によるアセスメントシステムは、より多くの又はより少ない特徴などを含み得るということを理解するであろう。また、いくつかの実施形態では、本明細書で示されるよりも多くの又は少ないスコアバケット又はスコアビンが存在してもよい。しかしながら、データモデル１６００は、当業者が本明細書に記載される革新を実践することを可能にするのに少なくとも十分である。

〔実施の態様〕
（１） １つ以上のネットワークコンピュータ内の１つ以上のプロセッサがアクションを実施するために命令を実行する、身体活動のパフォーマンスをアセスメントするための方法であって、
アクションを実施するために１つ以上のアセスメントエンジンを使用することであって、
１つ以上の活動の１つ以上のパフォーマンスに関連付けられた情報を含むパフォーマンスコンテンツを収集することと、
アクションを実施するために１つ以上の分類子を使用することであって、
前記パフォーマンスコンテンツを分類して、前記パフォーマンスコンテンツの１つ以上の特徴の１つ以上の発生を判定することと、
アセスメントコンテンツを分類して、前記１つ以上のパフォーマンスに含まれる１つ以上の特徴に関連付けられている１つ以上のスコアを判定することであって、前記アセスメントコンテンツが、前記１つ以上の活動の前記１つ以上のパフォーマンスの１つ以上の特徴に関連付けられた情報を含む、判定することと、を含む、使用することと、
履歴パフォーマンスコンテンツ、アセスメントコンテンツ、及びスコアに基づいて、前記１つ以上のパフォーマンスに関連付けられた１つ以上の相関値を提供することと、
前記相関値、パフォーマンスコンテンツ、アセスメントコンテンツ、及びスコアに基づいて、前記１つ以上のパフォーマンスのローカライズされた評価を含むレポートを提供することと、を含む、使用すること、を含む、方法。
（２） 前記パフォーマンスコンテンツを収集することは、
１人以上の対象によって実施される活動のビデオストリームを受信することと、
前記ビデオストリームに含まれる前記１つ以上のパフォーマンスに基づいて前記アセスメントコンテンツを生成することと、を含む、実施態様１に記載の方法。
（３） 前記アセスメントコンテンツを分類することは、
異なるソースによって提供されている非構造化コンテンツを分類することと、
前記非構造化コンテンツの前記分類に基づいて、前記１つ以上のスコアを更に判定することと、を更に含む、実施態様１に記載の方法。
（４） アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
前記１つ以上の活動を実施している１人以上の対象にリアルタイムのフィードバックを提供することと、
前記リアルタイムのフィードバックに関連付けられている前記１人以上の対象から１つ以上の応答を収集することと、を更に含む、実施態様１に記載の方法。
（５） 前記１つ以上の相関値に基づいて前記１つ以上の分類子を更新することを更に含む、実施態様１に記載の方法。

（６） アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
規定値を超える前記１つ以上のスコアに基づいて、前記アセスメントコンテンツに関連付けられた前記パフォーマンスコンテンツの一部分を抽出することと、
前記パフォーマンスコンテンツの抽出された前記一部分及びそのアセスメントコンテンツを、訓練データとして使用するために分類処理エンジンに提供することと、を更に含む、実施態様１に記載の方法。
（７） 前記１つ以上のパフォーマンスに関連付けられた１つ以上の相関値を提供することは、
前記１つ以上の活動を含む１つ以上の工程を定義するタイムラインを受信することと、
前記１つ以上の工程の発生に基づいて、前記１つ以上のパフォーマンスを前記タイムラインと相関させることと、
前記１つ以上のパフォーマンスと前記タイムラインとの前記相関に基づいて、前記１つ以上の分類子を修正することと、を更に含む、実施態様１に記載の方法。
（８） 身体活動のパフォーマンスをアセスメントするためのシステムであって、
ネットワークコンピュータであって、
前記ネットワークを介して通信する送受信機と、
少なくとも命令を記憶するメモリと、
アクションを実施する命令を実行する１つ以上のプロセッサ装置であって、
アクションを実施するために１つ以上のアセスメントエンジンを使用することであって、
１つ以上の活動の１つ以上のパフォーマンスに関連付けられた情報を含むパフォーマンスコンテンツを収集することと、
アクションを実施するために１つ以上の分類子を使用することであって、
前記パフォーマンスコンテンツを分類して、前記パフォーマンスコンテンツの１つ以上の特徴の１つ以上の発生を判定することと、
アセスメントコンテンツを分類して、前記１つ以上のパフォーマンスに含まれる１つ以上の特徴に関連付けられている１つ以上のスコアを判定することであって、前記アセスメントコンテンツが、前記１つ以上の活動の前記１つ以上のパフォーマンスの１つ以上の特徴に関連付けられた情報を含む、判定することと、を含む、使用することと、
履歴パフォーマンスコンテンツ、アセスメントコンテンツ、及びスコアに基づいて、前記１つ以上のパフォーマンスに関連付けられた１つ以上の相関値を提供することと、
前記相関値、パフォーマンスコンテンツ、アセスメントコンテンツ、及びスコアに基づいて、前記１つ以上のパフォーマンスのローカライズされた評価を含むレポートを提供することと、を含む、使用すること、を含む、アクションを実施する命令を実行する１つ以上のプロセッサ装置と、
を備える、ネットワークコンピュータと、
クライアントコンピュータであって、
前記ネットワークを介して通信する送受信機と、
少なくとも命令を記憶するメモリと、
アクションを実施する命令を実行する１つ以上のプロセッサ装置であって、
前記パフォーマンスコンテンツ又は前記アセスメントコンテンツのうちの１つ以上を提供することを含む、アクションを実施する命令を実行する１つ以上のプロセッサ装置と、
を備える、クライアントコンピュータと、
を備える、システム。
（９） 前記パフォーマンスコンテンツを収集することは、
１人以上の対象によって実施される活動のビデオストリームを受信することと、
前記ビデオストリームに含まれる前記１つ以上のパフォーマンスに基づいて前記アセスメントコンテンツを生成することと、を含む、実施態様８に記載のシステム。
（１０） 前記アセスメントコンテンツを分類することは、
異なるソースによって提供されている非構造化コンテンツを分類することと、
前記非構造化コンテンツの前記分類に基づいて、前記１つ以上のスコアを更に判定することと、を更に含む、実施態様８に記載のシステム。

（１１） アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
前記１つ以上の活動を実施している１人以上の対象にリアルタイムのフィードバックを提供することと、
前記リアルタイムのフィードバックに関連付けられている前記１人以上の対象から１つ以上の応答を収集することと、を更に含む、実施態様８に記載のシステム。
（１２） 前記１つ以上の相関値に基づいて前記１つ以上の分類子を更新することを更に含む、実施態様８に記載のシステム。
（１３） アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
規定値を超える前記１つ以上のスコアに基づいて、前記アセスメントコンテンツに関連付けられた前記パフォーマンスコンテンツの一部分を抽出することと、
前記パフォーマンスコンテンツの抽出された前記一部分及びそのアセスメントコンテンツを、訓練データとして使用するために分類処理エンジンに提供することと、を更に含む、実施態様８に記載のシステム。
（１４） 前記１つ以上のパフォーマンスに関連付けられた１つ以上の相関値を提供することは、
前記１つ以上の活動を含む１つ以上の工程を定義するタイムラインを受信することと、
前記１つ以上の工程の発生に基づいて、前記１つ以上のパフォーマンスを前記タイムラインと相関させることと、
前記１つ以上のパフォーマンスと前記タイムラインとの前記相関に基づいて、前記１つ以上の分類子を修正することと、を更に含む、実施態様８に記載のシステム。
（１５） 身体活動のパフォーマンスをアセスメントするための命令を含むプロセッサ可読非一時的記憶媒体であって、１つ以上のハードウェアプロセッサによる前記命令の実行が、
アクションを実施するために１つ以上のアセスメントエンジンを使用することであって、
１つ以上の活動の１つ以上のパフォーマンスに関連付けられた情報を含むパフォーマンスコンテンツを収集することと、
アクションを実施するために１つ以上の分類子を使用することであって、
前記パフォーマンスコンテンツを分類して、前記パフォーマンスコンテンツの１つ以上の特徴の１つ以上の発生を判定することと、
アセスメントコンテンツを分類して、前記１つ以上のパフォーマンスに含まれる１つ以上の特徴に関連付けられている１つ以上のスコアを判定することであって、前記アセスメントコンテンツが、前記１つ以上の活動の前記１つ以上のパフォーマンスの１つ以上の特徴に関連付けられた情報を含む、判定することと、を含む、使用することと、
履歴パフォーマンスコンテンツ、アセスメントコンテンツ、及びスコアに基づいて、前記１つ以上のパフォーマンスに関連付けられた１つ以上の相関値を提供することと、
前記相関値、パフォーマンスコンテンツ、アセスメントコンテンツ、及びスコアに基づいて、前記１つ以上のパフォーマンスのローカライズされた評価を含むレポートを提供することと、を含む、使用すること、を含む、アクションを実施する、プロセッサ可読非一時的記憶媒体。

（１６） 前記パフォーマンスコンテンツを収集することは、
１人以上の対象によって実施される活動のビデオストリームを受信することと、
前記ビデオストリームに含まれる前記１つ以上のパフォーマンスに基づいて前記アセスメントコンテンツを生成することと、を含む、実施態様１５に記載の媒体。
（１７） 前記アセスメントコンテンツを分類することは、
異なるソースによって提供されている非構造化コンテンツを分類することと、
前記非構造化コンテンツの前記分類に基づいて、前記１つ以上のスコアを更に判定することと、を更に含む、実施態様１５に記載の媒体。
（１８） アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
前記１つ以上の活動を実施している１人以上の対象にリアルタイムのフィードバックを提供することと、
前記リアルタイムのフィードバックに関連付けられている前記１人以上の対象から１つ以上の応答を収集することと、を更に含む、実施態様１５に記載の媒体。
（１９） 前記１つ以上の相関値に基づいて前記１つ以上の分類子を更新することを更に含む、実施態様１５に記載の媒体。
（２０） アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
規定値を超える前記１つ以上のスコアに基づいて、前記アセスメントコンテンツに関連付けられた前記パフォーマンスコンテンツの一部分を抽出することと、
前記パフォーマンスコンテンツの抽出された前記一部分及びそのアセスメントコンテンツを、訓練データとして使用するために分類処理エンジンに提供することと、を更に含む、実施態様１５に記載の媒体。

（２１） 前記１つ以上のパフォーマンスに関連付けられた１つ以上の相関値を提供することは、
前記１つ以上の活動を含む１つ以上の工程を定義するタイムラインを受信することと、
前記１つ以上の工程の発生に基づいて、前記１つ以上のパフォーマンスを前記タイムラインと相関させることと、
前記１つ以上のパフォーマンスと前記タイムラインとの前記相関に基づいて、前記１つ以上の分類子を修正することと、を更に含む、実施態様１５に記載の媒体。
（２２） 身体活動のパフォーマンスをアセスメントするためのネットワークコンピュータであって、
前記ネットワークを介して通信する送受信機と、
少なくとも命令を記憶するメモリと、
アクションを実施する命令を実行する１つ以上のプロセッサ装置であって、
アクションを実施するために１つ以上のアセスメントエンジンを使用することであって、
１つ以上の活動の１つ以上のパフォーマンスに関連付けられた情報を含むパフォーマンスコンテンツを収集することと、
アクションを実施するために１つ以上の分類子を使用することであって、
前記パフォーマンスコンテンツを分類して、前記パフォーマンスコンテンツの１つ以上の特徴の１つ以上の発生を判定することと、
アセスメントコンテンツを分類して、前記１つ以上のパフォーマンスに含まれる１つ以上の特徴に関連付けられている１つ以上のスコアを判定することであって、前記アセスメントコンテンツが、前記１つ以上の活動の前記１つ以上のパフォーマンスの１つ以上の特徴に関連付けられた情報を含む、判定することと、を含む、使用することと、
履歴パフォーマンスコンテンツ、アセスメントコンテンツ、及びスコアに基づいて、前記１つ以上のパフォーマンスに関連付けられた１つ以上の相関値を提供することと、
前記相関値、パフォーマンスコンテンツ、アセスメントコンテンツ、及びスコアに基づいて、前記１つ以上のパフォーマンスのローカライズされた評価を含むレポートを提供することと、を含む、アクションを実施する命令を実行する１つ以上のプロセッサ装置と、を備える、ネットワークコンピュータ。
（２３） 前記パフォーマンスコンテンツを収集することは、
１人以上の対象によって実施される活動のビデオストリームを受信することと、
前記ビデオストリームに含まれる前記１つ以上のパフォーマンスに基づいて前記アセスメントコンテンツを生成することと、を含む、実施態様２２に記載のネットワークコンピュータ。
（２４） 前記アセスメントコンテンツを分類することは、
異なるソースによって提供されている非構造化コンテンツを分類することと、
前記非構造化コンテンツの前記分類に基づいて、前記１つ以上のスコアを更に判定することと、を更に含む、実施態様２２に記載のネットワークコンピュータ。
（２５） アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
前記１つ以上の活動を実施している１人以上の対象にリアルタイムのフィードバックを提供することと、
前記リアルタイムのフィードバックに関連付けられている前記１人以上の対象から１つ以上の応答を収集することと、を更に含む、実施態様２２に記載のネットワークコンピュータ。

（２６） 前記１つ以上の相関値に基づいて前記１つ以上の分類子を更新することを更に含む、実施態様２２に記載のネットワークコンピュータ。
（２７） アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
規定値を超える前記１つ以上のスコアに基づいて、前記アセスメントコンテンツに関連付けられた前記パフォーマンスコンテンツの一部分を抽出することと、
前記パフォーマンスコンテンツの抽出された前記一部分及びそのアセスメントコンテンツを、訓練データとして使用するために分類処理エンジンに提供することと、を更に含む、実施態様２２に記載のネットワークコンピュータ。
（２８） 前記１つ以上のパフォーマンスに関連付けられた１つ以上の相関値を提供することは、
前記１つ以上の活動を含む１つ以上の工程を定義するタイムラインを受信することと、
前記１つ以上の工程の発生に基づいて、前記１つ以上のパフォーマンスを前記タイムラインと相関させることと、
前記１つ以上のパフォーマンスと前記タイムラインとの前記相関に基づいて、前記１つ以上の分類子を修正することと、を更に含む、実施態様２２に記載のネットワークコンピュータ。

Claims (28)

1. １つ以上のネットワークコンピュータ内の１つ以上のプロセッサがアクションを実施するために命令を実行する、身体活動のパフォーマンスをアセスメントするための方法であって、
   アクションを実施するために１つ以上のアセスメントエンジンを使用することであって、
   １つ以上の活動の１つ以上のパフォーマンスに関連付けられた情報を含むパフォーマンスコンテンツを収集することと、
   アクションを実施するために１つ以上の分類子を使用することであって、
   前記パフォーマンスコンテンツを分類して、前記パフォーマンスコンテンツの１つ以上の特徴の１つ以上の発生を判定することと、
   アセスメントコンテンツを分類して、前記１つ以上のパフォーマンスに含まれる１つ以上の特徴に関連付けられている１つ以上のスコアを判定することであって、前記アセスメントコンテンツが、前記１つ以上の活動の前記１つ以上のパフォーマンスの１つ以上の特徴に関連付けられた情報を含む、判定することと、を含む、使用することと、
   前記パフォーマンスコンテンツ、前記アセスメントコンテンツ、前記スコア、前記１つ以上の活動を含む１つ以上の工程を定義するタイムライン及び前記１つ以上の工程の発生に基づいて、前記１つ以上のパフォーマンスを前記タイムラインと相関させることと、
   前記相関、前記パフォーマンスコンテンツ、前記アセスメントコンテンツ、及び前記スコアに基づいて、前記１つ以上のパフォーマンスの評価を含むレポートを提供することと、を含む、使用すること、を含む、方法。
2. 前記パフォーマンスコンテンツを収集することは、
   １人以上の対象によって実施される活動のビデオストリームを受信することと、
   前記ビデオストリームに含まれる前記１つ以上のパフォーマンスに基づいて前記アセスメントコンテンツを生成することと、を含む、請求項１に記載の方法。
3. 前記アセスメントコンテンツを分類することは、
   異なるソースによって提供されている非構造化コンテンツを分類することと、
   前記非構造化コンテンツの前記分類に基づいて、前記１つ以上のスコアを更に判定することと、を更に含む、請求項１に記載の方法。
4. アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
   前記１つ以上の活動を実施している１人以上の対象にリアルタイムのフィードバックを提供することと、
   前記リアルタイムのフィードバックに関連付けられている前記１人以上の対象から１つ以上の応答を収集することと、を更に含む、請求項１に記載の方法。
5. 前記相関に基づいて前記１つ以上の分類子を更新することを更に含む、請求項１に記載の方法。
6. アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
   規定値を超える前記１つ以上のスコアに基づいて、前記アセスメントコンテンツに関連付けられた前記パフォーマンスコンテンツの一部分を抽出することと、
   前記パフォーマンスコンテンツの抽出された前記一部分を機械学習システムに提供することと、を更に含む、請求項１に記載の方法。
7. 前記１つ以上のパフォーマンスと前記タイムラインとの前記相関に基づいて、前記１つ以上の分類子を修正することと、を更に含む、請求項１に記載の方法。
8. 身体活動のパフォーマンスをアセスメントするためのシステムであって、
   ネットワークコンピュータであって、
   ネットワークを介して通信する送受信機と、
   少なくとも命令を記憶するメモリと、
   アクションを実施する命令を実行する１つ以上のプロセッサ装置であって、
   アクションを実施するために１つ以上のアセスメントエンジンを使用することであって、
   １つ以上の活動の１つ以上のパフォーマンスに関連付けられた情報を含むパフォーマンスコンテンツを収集することと、
   アクションを実施するために１つ以上の分類子を使用することであって、
   前記パフォーマンスコンテンツを分類して、前記パフォーマンスコンテンツの１つ以上の特徴の１つ以上の発生を判定することと、
   アセスメントコンテンツを分類して、前記１つ以上のパフォーマンスに含まれる１つ以上の特徴に関連付けられている１つ以上のスコアを判定することであって、前記アセスメントコンテンツが、前記１つ以上の活動の前記１つ以上のパフォーマンスの１つ以上の特徴に関連付けられた情報を含む、判定することと、を含む、使用することと、
   前記パフォーマンスコンテンツ、前記アセスメントコンテンツ、前記スコア、前記１つ以上の活動を含む１つ以上の工程を定義するタイムライン及び前記１つ以上の工程の発生に基づいて、前記１つ以上のパフォーマンスを前記タイムラインと相関させることと、
   前記相関、前記パフォーマンスコンテンツ、前記アセスメントコンテンツ、及び前記スコアに基づいて、前記１つ以上のパフォーマンスの評価を含むレポートを提供することと、を含む、使用すること、を含む、アクションを実施する命令を実行する１つ以上のプロセッサ装置と、
   を備える、ネットワークコンピュータと、
   クライアントコンピュータであって、
   前記ネットワークを介して通信する送受信機と、
   少なくとも命令を記憶するメモリと、
   アクションを実施する命令を実行する１つ以上のプロセッサ装置であって、
   前記パフォーマンスコンテンツ又は前記アセスメントコンテンツのうちの１つ以上を提供することを含む、アクションを実施する命令を実行する１つ以上のプロセッサ装置と、
   を備える、クライアントコンピュータと、
   を備える、システム。
9. 前記パフォーマンスコンテンツを収集することは、
   １人以上の対象によって実施される活動のビデオストリームを受信することと、
   前記ビデオストリームに含まれる前記１つ以上のパフォーマンスに基づいて前記アセスメントコンテンツを生成することと、を含む、請求項８に記載のシステム。
10. 前記アセスメントコンテンツを分類することは、
    異なるソースによって提供されている非構造化コンテンツを分類することと、
    前記非構造化コンテンツの前記分類に基づいて、前記１つ以上のスコアを更に判定することと、を更に含む、請求項８に記載のシステム。
11. アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
    前記１つ以上の活動を実施している１人以上の対象にリアルタイムのフィードバックを提供することと、
    前記リアルタイムのフィードバックに関連付けられている前記１人以上の対象から１つ以上の応答を収集することと、を更に含む、請求項８に記載のシステム。
12. 前記相関に基づいて前記１つ以上の分類子を更新することを更に含む、請求項８に記載のシステム。
13. アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
    規定値を超える前記１つ以上のスコアに基づいて、前記アセスメントコンテンツに関連付けられた前記パフォーマンスコンテンツの一部分を抽出することと、
    前記パフォーマンスコンテンツの抽出された前記一部分を機械学習システムに提供することと、を更に含む、請求項８に記載のシステム。
14. 前記１つ以上のパフォーマンスと前記タイムラインとの前記相関に基づいて、前記１つ以上の分類子を修正することと、を更に含む、請求項８に記載のシステム。
15. 身体活動のパフォーマンスをアセスメントするための命令を含むプロセッサ可読非一時的記憶媒体であって、１つ以上のハードウェアプロセッサによる前記命令の実行が、
    アクションを実施するために１つ以上のアセスメントエンジンを使用することであって、
    １つ以上の活動の１つ以上のパフォーマンスに関連付けられた情報を含むパフォーマンスコンテンツを収集することと、
    アクションを実施するために１つ以上の分類子を使用することであって、
    前記パフォーマンスコンテンツを分類して、前記パフォーマンスコンテンツの１つ以上の特徴の１つ以上の発生を判定することと、
    アセスメントコンテンツを分類して、前記１つ以上のパフォーマンスに含まれる１つ以上の特徴に関連付けられている１つ以上のスコアを判定することであって、前記アセスメントコンテンツが、前記１つ以上の活動の前記１つ以上のパフォーマンスの１つ以上の特徴に関連付けられた情報を含む、判定することと、を含む、使用することと、
    前記パフォーマンスコンテンツ、前記アセスメントコンテンツ、前記スコア、前記１つ以上の活動を含む１つ以上の工程を定義するタイムライン及び前記１つ以上の工程の発生に基づいて、前記１つ以上のパフォーマンスを前記タイムラインと相関させることと、
    前記相関、前記パフォーマンスコンテンツ、前記アセスメントコンテンツ、及び前記スコアに基づいて、前記１つ以上のパフォーマンスの評価を含むレポートを提供することと、を含む、使用すること、を含む、アクションを実施する、プロセッサ可読非一時的記憶媒体。
16. 前記パフォーマンスコンテンツを収集することは、
    １人以上の対象によって実施される活動のビデオストリームを受信することと、
    前記ビデオストリームに含まれる前記１つ以上のパフォーマンスに基づいて前記アセスメントコンテンツを生成することと、を含む、請求項１５に記載の媒体。
17. 前記アセスメントコンテンツを分類することは、
    異なるソースによって提供されている非構造化コンテンツを分類することと、
    前記非構造化コンテンツの前記分類に基づいて、前記１つ以上のスコアを更に判定することと、を更に含む、請求項１５に記載の媒体。
18. アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
    前記１つ以上の活動を実施している１人以上の対象にリアルタイムのフィードバックを提供することと、
    前記リアルタイムのフィードバックに関連付けられている前記１人以上の対象から１つ以上の応答を収集することと、を更に含む、請求項１５に記載の媒体。
19. 前記相関に基づいて前記１つ以上の分類子を更新することを更に含む、請求項１５に記載の媒体。
20. アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
    規定値を超える前記１つ以上のスコアに基づいて、前記アセスメントコンテンツに関連付けられた前記パフォーマンスコンテンツの一部分を抽出することと、
    前記パフォーマンスコンテンツの抽出された前記一部分を機械学習システムに提供することと、を更に含む、請求項１５に記載の媒体。
21. 前記１つ以上のパフォーマンスと前記タイムラインとの前記相関に基づいて、前記１つ以上の分類子を修正することと、を更に含む、請求項１５に記載の媒体。
22. 身体活動のパフォーマンスをアセスメントするためのネットワークコンピュータであって、
    ネットワークを介して通信する送受信機と、
    少なくとも命令を記憶するメモリと、
    アクションを実施する命令を実行する１つ以上のプロセッサ装置であって、
    アクションを実施するために１つ以上のアセスメントエンジンを使用することであって、
    １つ以上の活動の１つ以上のパフォーマンスに関連付けられた情報を含むパフォーマンスコンテンツを収集することと、
    アクションを実施するために１つ以上の分類子を使用することであって、
    前記パフォーマンスコンテンツを分類して、前記パフォーマンスコンテンツの１つ以上の特徴の１つ以上の発生を判定することと、
    アセスメントコンテンツを分類して、前記１つ以上のパフォーマンスに含まれる１つ以上の特徴に関連付けられている１つ以上のスコアを判定することであって、前記アセスメントコンテンツが、前記１つ以上の活動の前記１つ以上のパフォーマンスの１つ以上の特徴に関連付けられた情報を含む、判定することと、を含む、使用することと、
    前記パフォーマンスコンテンツ、前記アセスメントコンテンツ、前記スコア、前記１つ以上の活動を含む１つ以上の工程を定義するタイムライン及び前記１つ以上の工程の発生に基づいて、前記１つ以上のパフォーマンスを前記タイムラインと相関させることと、
    前記相関、前記パフォーマンスコンテンツ、前記アセスメントコンテンツ、及び前記スコアに基づいて、前記１つ以上のパフォーマンスの評価を含むレポートを提供することと、を含む、アクションを実施する命令を実行する１つ以上のプロセッサ装置と、を備える、ネットワークコンピュータ。
23. 前記パフォーマンスコンテンツを収集することは、
    １人以上の対象によって実施される活動のビデオストリームを受信することと、
    前記ビデオストリームに含まれる前記１つ以上のパフォーマンスに基づいて前記アセスメントコンテンツを生成することと、を含む、請求項２２に記載のネットワークコンピュータ。
24. 前記アセスメントコンテンツを分類することは、
    異なるソースによって提供されている非構造化コンテンツを分類することと、
    前記非構造化コンテンツの前記分類に基づいて、前記１つ以上のスコアを更に判定することと、を更に含む、請求項２２に記載のネットワークコンピュータ。
25. アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
    前記１つ以上の活動を実施している１人以上の対象にリアルタイムのフィードバックを提供することと、
    前記リアルタイムのフィードバックに関連付けられている前記１人以上の対象から１つ以上の応答を収集することと、を更に含む、請求項２２に記載のネットワークコンピュータ。
26. 前記相関に基づいて前記１つ以上の分類子を更新することを更に含む、請求項２２に記載のネットワークコンピュータ。
27. アクションを実施するために１つ以上のアセスメントエンジンを使用することは、
    規定値を超える前記１つ以上のスコアに基づいて、前記アセスメントコンテンツに関連付けられた前記パフォーマンスコンテンツの一部分を抽出することと、
    前記パフォーマンスコンテンツの抽出された前記一部分を機械学習システムに提供することと、を更に含む、請求項２２に記載のネットワークコンピュータ。
28. 前記１つ以上のパフォーマンスと前記タイムラインとの前記相関に基づいて、前記１つ以上の分類子を修正することと、を更に含む、請求項２２に記載のネットワークコンピュータ。

Images